AI 給你答案,但誰來審查 AI?
AI pair programming 已經是很多開發者的日常。你問,AI 答,程式碼出來了,看起來沒問題,就用了。
問題不是 AI 不夠聰明。問題是:單一 LLM 很容易給出一個流暢、完整、極度自信的建議——而這個建議裡藏著的風險,往往不是語法錯,而是:
- 抽象原則套錯情境
- 忽略實際執行環境的限制
- 把「一般最佳實踐」誤當成「這個案例的最佳選擇」
- 沒有注意到某個看似小但會影響流程穩定性的細節
這些問題你不一定問得出來,因為你不知道自己不知道什麼。
不是只靠更會問問題,也可以讓答案互相受壓測。
一場真實的辯論:一行清理程式碼值不值得加?
這不是假設情境。以下是發生在一篇技術文章 review 過程中的真實辯論。
背景
一篇 Codex CLI Windows 使用指南包含這段背景執行範本:
$job = Start-Job -ScriptBlock {
cmd /c 'codex exec -C "C:\MyProject" -s read-only -o "%TEMP%\codex-findings.txt" - < "%TEMP%\codex-prompt.txt"'
}
$job | Wait-Job | Receive-Job
Get-Content "$env:TEMP\codex-findings.txt"agy(Gemini)在 review 時建議加入 $job | Remove-Job 做清理。Codex 被問到意見後,初始反對把這行放進主要可複製範本,傾向放在補充說明或直接省略。
Round 1:Codex 的初始立場
Codex 給出三個理由:
- 影響有限:
Receive-Job已取走主要輸出,completed job 雖然仍保留 session 狀態與 job metadata,但不再消耗 CPU,影響可接受 - 開發者用完就關 terminal:session 結束後記錄自動消失,
Remove-Job沒有實際意義 - Inline 會稀釋教學重點:加一行「正確但非關鍵」的細節,反而讓讀者分心
看起來很合理。一般情況下這個答案可能就被接受了。
Round 2:agy 的反駁
agy 逐一拆解:
對論點 1:Job 物件與狀態仍留在 session,反覆執行會累積殘留 job、污染 Get-Job 的輸出——這不是良好的可複製範本。
對論點 2:「用完就關 terminal」的假設太偏一次性互動場景。現代開發者大多使用 VS Code、IDE 整合終端機,常開好幾天。更重要的是,技術文章的範本很容易被讀者封裝成函數或 .ps1 腳本反覆執行——這種情境下不清理 job 的代價會放大。
對論點 3:
90% 的開發者是「唯 Code Block 是圖」——直接複製程式碼走,不看前後備註。把
Remove-Job寫在備註文字裡,讀者幾乎一定漏掉。
Round 3:Codex 修正判斷
Codex 承認三個論點的反駁大致成立,修正立場:
凡是屬於「避免殘留資源、避免長期副作用」的語句,不適合只放在正文備註。它應該進入主要可複製範本。
最終共識:加入主範本,一行 inline,附說明注解:
# 等待任務完成、接收輸出,並清理背景資源
$job | Wait-Job | Receive-Job
Remove-Job $job
Get-Content "$env:TEMP\codex-findings.txt"為什麼辯論有效?
Remove-Job 這個案例看起來很小,但它示範了一個重要的事:
Codex 的初始立場不是亂猜,每個論點都有根據。 問題在於它的假設——「開發者用完就關 terminal」——在實際情境下不成立。單獨問 Codex 時,這個假設不會被挑戰,答案會被接受。
辯論有效,因為它做到了三件事:
1. 逼出隱藏假設
每個 AI 的建議背後都有假設。辯論迫使每一方把假設說出來,讓人可以檢查它是否符合實際情境。「用完就關 terminal」是一個假設,不是事實。
2. 要求具體舉證
「影響有限」是一個抽象主張。被要求反駁時,就必須回答:在什麼 shell、什麼 job 狀態、什麼使用模式下,影響到底有多小?抽象主張一旦落到具體情境,往往站不住腳。
3. 提早發現方向錯誤
這場辯論發生在文章發布前。如果直接發布,讀者拿到的是一個「複製後會在長時間 session 或腳本化環境中留下殘留 job」的範本。辯論在修正成本仍很低的時候把問題找出來了。
不同 LLM 的角色與分工
不同模型有不同的推理習慣和強項,這讓它們在辯論中自然分工。
以這場辯論為例:
Codex 的角色:結構化反駁者與決策整理者
- 擅長把爭論拆成可檢查的問題:這在討論正確性、可維護性、使用者心智負擔,還是哪個層面?
- 能辨認論證是否偷換層次(「最佳實踐上不應該加」和「這個範本在這個環境不加會殘留 job」是不同層問題)
- 在被挑戰後能修正立場,並把修正後的判斷轉成清楚的工程規則
此案例暴露出的傾向:初始偏保守;面對「把額外東西加進主要範本」這類問題,會先警覺複雜度;如果沒有被迫看具體執行情境,可能過度依賴一般工程原則。
agy 的角色:全局脈絡維護者
- 能從更底層的工具鏈行為出發(「唯 Code Block 是圖」這個觀察來自對開發者實際閱讀行為的判斷)
- 擅長把對方的論點結構化,找到可以反駁的切入點
觀察到的侷限:面對語意非常自信的對手時,可能傾向折衷而非一針見血;在極新 API 或小眾語言的微觀語法直覺上不如專用 code 模型。
重點不是哪個模型「比較強」,而是它們的盲點不同。Codex 傾向從工程原則出發,agy 傾向從實際使用情境出發——這個差異正是辯論產生價值的地方。
風險與限制:辯論不是萬靈丹
這個工作流程有幾個真實的限制,值得正視:
1. 辯才無礙 ≠ 程式碼正確
說服力強的模型可能把歪理說贏。好的辯論不是看誰講得完整,而是看誰能提出可檢查的條件、反例、失敗模式和實作後果。如果一方只是「聽起來更有邏輯」,那不算贏。
2. 集體幻覺
如果兩個 LLM 基於相同的錯誤假設(例如對某個第三方 API 的錯誤認知),它們可能在辯論中互相佐證這個錯誤,最終達成一個「邏輯完全自洽,但實際運行必定崩潰」的共識。共識只代表兩個回答相容,不代表它們正確。辯論應該產生待驗證的假設,不應取代測試。
3. 模型多樣性不足
多個 LLM 不等於多個獨立的證據來源。如果兩個模型訓練分布、推理風格、上下文來源相近,辯論帶來的增益會下降。必要時應引入官方文件、測試結果、原始碼或實際環境觀察作為外部事實基礎。
4. Bike-shedding
沒有給予明確的終止條件,LLM 很容易在無關痛癢的細節(變數命名、括號位置)陷入無建設性的無限爭論,浪費 token 和等待時間。辯論開始前需要定義清楚:我們在解決什麼問題、什麼樣的答案算是夠好。
5. 認知負載與開發速度
閱讀並評估多個模型的辯論過程需要耗費開發者的專注力與時間。若頻繁使用,反而會降低開發效率。這個工作流程適合有意識地用在值得投入的決策點,而不是每個問題的標準流程。
6. Token 成本與延遲
多輪跨 LLM 辯論會成倍增加 API 呼叫成本,且等待多個模型生成回應的時間較長。不適合整合在即時的自動化 CI/CD 流程或日常高頻寫碼的 loop 中。
7. 開發者把判斷外包
多 LLM 辯論的目標不是讓 AI 決定,而是讓人類決策者拿到更好的爭點地圖。辯論產出的是「哪些假設被挑戰了、哪些還沒有」,最後仍然需要有人根據專案脈絡、維護成本、團隊能力與實測結果下判斷。
8. 上下文品質決定辯論品質
如果兩個 LLM 拿到的問題描述、環境、約束條件不同,辯論可能變成各講各的。這個工作流程最好有一份共同事實基礎:問題描述、環境限制、已知觀察、候選方案。
什麼情況適合用這個工作流程?
不是每個問題都值得開多 LLM 辯論:
適合:
- 高不確定性、高影響力的設計決策
- 容易被抽象原則誤導的選擇(「應該這樣做」vs「在這個環境裡這樣做」)
- 有多個候選方案,各有取捨,難以輕易實測比較
- 單一 LLM 給出了一個「說得通但總感覺哪裡不對」的答案
- 決策結果可以透過文件、測試或實驗驗證——辯論提供方向,驗證確認正確性
不適合:
- 可以輕易透過實測或查閱官方文件驗證的問題——此時直接執行程式碼或看 spec 比聽 AI 辯論更有效
- 低影響、可逆、或修正成本很低的決策
- 高風險操作(安全、資料遺失、法規、生產環境)——這些情境需要實測、審查、文件依據或人工專家確認,不能把 LLM 辯論結果當主要依據
- 你已經有足夠資訊可以自行判斷的問題
沒有第二個 LLM?單一模型也能做
多 LLM 工作流程的現實門檻是:需要多個訂閱、更複雜的流程、更高的 token 成本。
在問題常見、風險可控、你能判斷反駁品質的情況下,單一 LLM 加上結構化的 prompt,通常已能捕捉到一大部分明顯假設與失效條件。
核心技巧是假設揭露 + Devil's advocate + 修正:把「給答案」和「挑戰答案」分成兩個步驟,引導模型明確列出可見的假設,再對這些假設做壓力測試。
前提:這個方法高度依賴旗艦級模型的推理能力(如 GPT-4o、Claude Sonnet、Gemini Pro 等級)。能力較弱的模型在第二、三輪往往流於表面,甚至直接妥協同意第一輪的說法。
三輪 prompt 結構:
第一輪:
「針對這個問題,請給出你的建議,
並明確列出你的答案基於哪些假設。」
第二輪:
「現在請扮演反對者,逐一攻擊你剛才列的每一個假設。
不要替原答案辯護,優先找反例與失效條件。
對每個假設問:這在什麼情境下不成立?」
第三輪:
「根據以上攻防,修正你的原始建議。
哪些假設經得起檢驗?哪些需要加條件?」
用 Remove-Job 案例模擬:同一個模型在第一輪也可能說「開發者用完就關 terminal」;第二輪被要求找反例時,這些知識可能已在模型能力範圍內,但第一輪未必會主動套用——結構化的提問能讓它浮現出來。
和跨 LLM 辯論的差別:
跨 LLM 辯論是自然觸發——另一個模型的不同訓練傾向會讓它天然走另一條路。單一模型的自我反駁是強制觸發——你必須主動引導,而且有幾個固有限制:
- 錨定效應:模型的第二輪反駁容易受第一輪答案影響,傾向補強而非真正推翻
- 確認偏誤(Sycophancy):即使要求扮演反方,模型可能避重就輕,在第三輪修正時保留原始立場
- prompt 品質決定結果:如果你不知道該挑戰哪些面向,模型未必能主動找到關鍵盲點
- 事實邊界:對模型本來不知道或錯誤理解的事,devil's advocate 不會神奇補足
另外,跨 LLM 也不等於真正獨立驗證——如果兩個模型訓練來源、產品調校相近,差異可能同樣有限。
什麼時候值得用第二個 LLM:
- 你已知自己的主力 LLM 在某類問題有特定傾向(例如偏保守、偏原則性)
- 決策影響夠大,值得花多訂閱的成本和流程複雜度
- 你希望反駁來自真正不同的訓練視角
無論哪條路,兩者都不能取代測試、文件查證或實際執行驗證。辯論產生的是值得檢查的假設,不是最終答案。
小結
多 LLM 辯論不是讓 AI 彼此表演,而是把開發決策從「相信一個流暢答案」改成「檢查一組被挑戰過的假設」。
單一模型的答案可以很流暢,但流暢不代表假設正確。辯論的價值在於:它逼每一方說出自己的前提,讓這些前提可以被檢查、被反駁、被對照實際情境。
Codex 在一個特定假設下(一次性、短 session、教學重點極窄)提出省略 Remove-Job 有其可辯護性;但作為可複製範本,這個假設太弱。辯論在修正成本仍很低的時候把這件事找出來了,而不是等讀者在自己的環境裡踩到才發現。
這就是這個工作流程的核心價值。