AI 不缺智商缺纪律：一场 Harness 工程化实践

来源: https://mp.weixin.qq.com/s?__biz=Mzg4NTczNzg2OA==&mid=2247509774&idx=1&sn=02c8d0506c7d6ebc8fd58669160f1db3 出处: 微信公众号文章（2026 年第 22 篇），作者为一线工程师的两个月 harness 演进复盘 归档日期: 2026-06-10 owner 原话: 私聊发来截图（「学习AI的1000天·白泽」群里小学 bot 的精读交付范例）+ 本文链接， 「你可以看看人家是怎么做到在群里@微信机器人 然后学习的」

核心论点

AI Coding 的瓶颈正从「模型能力」转移到「流程工程」：模型已经足够聪明但不稳定， 稳定性必须由外部框架（harness）供给。堆 prompt 是负债，做框架才是资产—— prompt 是一次性的说服，harness 是结构性的约束；模型供给智商，harness 供给纪律。

要点摘录（保留原文数字）

遗忘的三重根因（Agent 遗忘不是 bug，是当前架构的必然代价）： 压缩丢失（Auto-Compact 省略"看似不重要"的流程步骤）、检索失败（记忆文件在但没被加载）、 指令遵循失败（信息都在但模型仍然跳步）。harness 三层设计（规则外置/状态持久化/门禁阻断）逐一对应。

三层加载模型（核心思想：把上下文当预算管理）： - 常驻入口层 CLAUDE.md ≤8K（角色+触发规则+门禁速查），深内容按需 Read - 依据：LLM 注意力 U 型分布，中部信息准确率显著下降（Stanford "Lost in the Middle", TACL 2024）； 声称 32K+ 的模型仅半数能在该长度保持可靠（NVIDIA RULER） - 分层唯一标准不是"按功能分类"，而是"按何时被读取"

检查比预算重要（arXiv 2605.29682, Effective Feedback Compute）： 原始 token 消耗和工具调用次数仅解释 agent 成功率方差的 R²=0.33~0.42； 验证反馈质量达到 R²=0.94~0.99。决定 AI 干活靠谱度的不是"给多少预算"，是"检查做得多好"。

门禁要阻断不要建议：G1-G8 门禁全是确定性 Python 函数（产物在不在/编译过不过/单测通不通）， 任一 FAIL 流程退回，fail-closed（默认拒绝）。"流程强制执行必须从 LLM 推理中外置到确定性 基础设施"——不能依赖模型'记住'该执行哪步。hook 是实时围栏不是事后审计。

改完必部署：检测到真实业务代码改动 → 自动把部署预发+接口测试追加为必需节点， 堵死"改了代码、没验证就收工"。

四阶段演进（每次切换都是止损不是优化）： 拿来主义（开源模板）→ 重 prompt 约束（三天就崩：选择性遵守/上下文爆炸/自我矛盾）→ 减负+分层加载 → Agent 调度编排（dispatcher 状态机 + 文件交接）。 24 agent 过度拆分后又合并——"真正需要警惕的不是 agent 多，是 agent 间耦合多"。

评测驱动：把 harness 本身当被测软件。7 维确定性评分（流程完整性 22% + 代码正确性 22% 为最重）， 零 LLM 调用、3 次跑分 hash 一致。"宁要可复现的粗糙分，不要会漂移的精准分"。 代码正确性真编译真跑单测，并算 AI 自报 vs 实际的"诚实度差距"（honesty gap）。

经验三级进化：lesson（单次记录）→ pattern（跨项目归纳）→ instinct（自动注入新项目规则）， 每级晋升需人工确认防错误经验扩散。"每条规则都是一次事故的墓志铭"。

编排三分法：Workflow 管计算平面（高并行单阶段）、Agent Team 管协作平面、 dispatcher+文件交接管控制平面（有状态工序链+人工门禁+跨天续跑）。文件交接三优势： 天然持久化、可审计（git diff 看得见）、强一致（单写者+schema 校验）。

记忆前沿：VikingMem（VLDB 2026）——更少 Token 留存+更智能组织 > 全量保留 （16.82% 留存得分 75.80 vs 朴素 RAG 100% 留存仅 63.81）；Sverklo 双时态记忆 （valid_from_sha/valid_until_sha，更新插新行不覆盖）。

与本项目（wechat-agent）的落地点

1. 已对齐·门禁哲学：self_modify worker 的 syntax+ruff fail-closed+健康检查+冒烟探针、 记忆对账的 lesson Python 层硬保护、任务接力的 owner 闸/链深闸——全是"确定性代码拦截， 不靠模型自觉"。文章证实这是业界共识方向，坚持。
2. 已对齐·分层加载：记忆目录化（250 字目录+get_reflection 按需取全文）≈ 文章的按需上下文层； 前缀缓存按变化频率分层 ≈ 把上下文当预算。警惕点：system_prompt 已 ~10K，group_note 2.4K 常驻——可引入文章/MemoryOS 的"热度决定常驻资格"（recall_count 高的晋升常驻、长期没碰的降回 FTS 层）。
3. 可抄·验证反馈质量 R²=0.94：bot_tasks 的任务执行目前零验证层（Claude 输出直接交付）。 可加最小验证：交付前让 worker 自查"答案是否回应了任务标题"+关键事实有出处，不过度工程。
4. 可抄·经验三级进化：现在 lesson 是单级。夜间反思可加"同类 lesson 出现 ≥2 次 → 提议晋升 bot_rule（owner 确认）"——对应 lesson→pattern→instinct 的前两跳。
5. 可抄·诚实度差距：self_modify 已对比 Claude 自报 JSON vs 实际 changed_files； 可推广到 bot_tasks（自报"查到了" vs tool_use_log 里真调了搜索工具吗）。
6. 暂不抄：七维评测平台（重资产，等 harness 改动频率高到"改完不知好坏"再上）； 向量记忆（文章和咱们的调研结论一致：SQLite+FTS 未被证明是瓶颈前不动）。