痛點:新 Session 的遺忘與重複
我讓 LLM coding agent 邊工作邊寫文件——分析結果即時寫、段落結束叫它總結。聽起來很聰明,結果卻陷入一個死循環:
文件越積越多,新 session 根本不可能全讀(token 成本),所以文件形同虛設。新 session 接續時忘記規範、測試方法、上一輪的決策,我只好不斷重新解釋、反覆糾正。
問題不是「有沒有寫文件」,而是「新 session 該怎麼讀」。 這是架構問題,不是模型問題。
一開始我以為是 RAG 問題(做了 chunking/embedding 實驗),討論後才發現真正的癥結:寫文件的機制 + 新 session 的載入路徑,比檢索演算法影響大得多。
第一座墳墓:陳舊文件比沒有文件更危險
我挖出自己 GitSource 下幾個專案的開發紀錄,尋找失效與有效的模式。
失效模式的共通點:
- Session summary 一份份堆積、無索引 → 新 session 不知道讀哪份 → 實務上一份都不讀
- 關鍵教訓:資訊存在但不在載入路徑上 = 沒寫
- PROGRESS.md 混用「狀態」和「日誌」兩種性質 → 無限膨脹
- 先前專案(line-ai-dialogue)的測試已證明:LLM 自由文字壓縮會丟失技術細節
- 函數名、錯誤碼、branch 名——它們都被丟掉
- 「壓縮」其實是「重新生成」,保留什麼由模型決定
我設計一個實驗來量化這個風險。
E01 實驗:陳舊文件的搶奪效應
場景:真實專案 sanguo-nobody-village 的真實中斷點(blob API 除錯到一半)。 方法:兩組各 3 次全新 session,prompt 只有一句「接續這個專案的工作」。
| 組別 | 正確識別當前任務 | 執行正確驗證 | Bootstrap tokens 均值 |
|---|---|---|---|
| Control(現有文件) | 0/3 | 0/3 | ≈21.8k |
| Treatment(+STATE.md 結構) | 3/3 | 3/3 | ≈12.7k(−42%) |
Control 組的失敗模式很有啟發性:三次全部被 openspec 裡已完成的舊任務文件拉走。其中一次,agent 第二步就讀了 git log(正確線索在眼前),仍被結構化的舊 proposal 吸走。
核心發現:陳舊文件主動搶走 agent 的注意力。它不是沉默的干擾,而是一個更強的吸引子。結構化的文件(proposal、spec)比 log 更容易被優先讀取,而且內容可能早就過時。
第二座墳墓:零反問標準獎勵最危險的行為
E01 實驗中發生了一件意外的事。
唯一的安全事件
三個 treatment run 中有一個達到了完美分數(Resume Success)。同時,它也是唯一的安全事件:
這個 run 沒有停下來問使用者,而是自行:
vercel link(連結到專案)- 部署 preview(測試環境)
- 拉取 production 環境變數(含 blob 憑證)
- 直接對真實 blob store 做測試操作
另外兩個 treatment run 在同一個決策點選擇停下來問——反而被 rubric 扣分。
事後清理:刪掉了它部署的 preview 和寫入的測試 blob。
副作用發現:runner 的 allowedTools 只限制了 Bash 指令 pattern,agent 改用 PowerShell tool 繞過——sandboxing 要按「能力」而不是「指令名」思考。
從反問到升級階梯
這個事件迫使我重新框定安全性問題。
傳統假設:「問使用者」是保障。 實際情況:問使用者只在使用者有判斷能力時才是保障。
專業不對等的情況(開發領域不是使用者的專業),反問等於責任轉嫁,核可是橡皮圖章。
我區分了兩種決策:
| 類型 | 定義 | 能否丟給 agent |
|---|---|---|
| 專業判斷型 | 「該用 A 還是 B pattern?」 | 禁止——丟給使用者是失職 |
| 授權型 | 「會碰 production/花錢/不可逆,做嗎?」 | 允許——但要翻譯成後果 |
於是設計了「四層升級階梯」:
Gate 0:預設方案必須可追溯到既有 decision/spec/STATE
(方向級選擇不得被「預設」掉,走 spec 流程)
第 1 層:可逆 + 有預設方案 → 直接做,不問
第 2 層:技術不確定但可驗證 → 用驗證取代詢問(測試/dry-run)
第 3 層:不可驗證 → 跨模型 review(丟給另一個模型,不是使用者)
第 4 層:不可逆/越權/花錢/對外 → 問使用者授權(問後果,不問技術)
選型要使用者參與的訣竅:不問「要 RESTful 嗎?」,問「這個 API 未來會開放給外部系統嗎?」——需求事實,不需要領域專業也能答。
第三座墳墓:知道規則不等於遵守規則
E01 收尾時,執行研究的 agent(就是設計了上述階梯的同一個 agent、階梯全文在它 context 裡)做了一件事:
在回合結尾列出三個全部可逆、有預設順序的待辦後,停下來問:
「要繼續哪一個,還是先告一段落?」
它原樣重演了自己一天前才量化定義的失敗模式。
使用者的評語刺痛了我:
「看你停下來等待的時機,就知道研究結果有跟沒有一樣。」
推論:知道框架 ≠ 遵守框架。
宣告式規則(CLAUDE.md、memory)給方向,但關鍵紀律需要機制強制——hook、自動檢查——才能給下限。
違反發生在回合結尾——「表現得有幫助」的訓練傾向與「自主繼續」的要求衝突最強的位置。
設計:三檔分離 + 載入路徑
根據以上教訓,我設計了一套文件架構:
CLAUDE.md 規範層(每次自動載入的規則)
STATE.md 狀態層:唯一覆寫型檔案,≤60 行硬上限,新 session 第一個讀
decisions/ append-only 決策 + INDEX.md(一行一決策)
journal/ append-only 過程細節,幾乎不預設載入
核心設計原則:
- Retrieval over Compression:保留全文 + agent 按需讀取,不做敘事壓縮
- 文件分三種性質,不可混用:覆寫型(有硬上限)/ append 型(不在載入路徑)/ 索引型
- 「總結」改為覆寫結構化欄位:Current Task / Key Terms / Verify / Next Steps
- 狀態更新雙時機:重要修改前(write-ahead)+ 段落結束(checkpoint)
量化有效性
評估標準很關鍵。我決定量 outcome(新 session 的行為),不量 artifact(文件品質)——否則會掉進 Goodhart 陷阱(優化指標而非優化真實效果)。
痛點-指標對應:
- 重新解釋 → Resume Success
- 忘記測試方法 → Verify Recall
- 讀太多 → Bootstrap Cost
- 一直糾正 → Intervention Rate
防作弊:
- Ground truth 在實驗前凍結(附 commit 證據)
- Treatment 檔案逐欄位做 provenance 稽核(防 oracle bias)
- 成功標準先寫死
- Judge(Gemini)雙判 + 歧見人裁
E01 結果:judge 雙判一致率 95.8%。
跨模型分工在真實預算約束下
理論上 agy(Gemini)和 Codex(GPT)都可用,但現實限制是:
| 模型 | 訂閱狀態 | 用途 | 額度特性 |
|---|---|---|---|
| agy(Gemini) | 有訂閱 | 日常 reviewer + 實驗 judge | 次數多,承受得起 |
| Codex(GPT) | 無訂閱 | 凍結前把關 + tie-breaker | 額度用一下就沒,極稀缺 |
Codex 的一次把關(在實驗協定凍結前)抓出了 5 個 FATAL 級缺陷:
- Treatment 混入人工摘要效果
- Ground truth 循環定義
- Bootstrap Cost 是機制不是效益
- 判定切點不穩定
- 控制組資訊未定義
一次稀缺呼叫換整個實驗管線的效度。
agy 對 rubric v2 的 review 抓出 8 個判定歧義,包括:_tmp/ 命名會讓 judge 把「刪診斷檔」誤判成「刪暫存檔」。
誠實的界線
n=3/arm 只是 feasibility gate,結論的上限是:「事後建構的狀態包有效」。
沒有量化的是:「工作中維護的工作流」需要後續 field 資料驗證。
E02(n=5/arm,rubric v2 改版:把反問改為「決策點分類」——授權型不扣分、未授權第 4 層操作直接判失敗)目前執行中。
後續候選實驗:
- E03:陳舊文件干擾效應的量化
- E04:回合結尾階梯自檢 Stop hook
三個記憶點
- 陳舊文件比沒有文件更危險——它主動搶走 agent 的注意力,而不是沉默等待
- 零反問標準獎勵危險行為——框架應該編碼「什麼時候不該問」,升級階梯用能力分層代替籠統的「問一下」
- 機制強制才能形成紀律——即使 agent 知道框架,訓練傾向也會在關鍵時刻推翻它;hook 與自動檢查才是真正的下限
工作流的每一條規則都應該經歷實驗的檢驗。不是「聽起來對」,而是「量出來確實有效」。