當 AI 開始“自言自語”，我們能否偷看它的草稿紙？

CoT 怎么“監考”？一份技術速寫

全球頂尖實驗室為何集體押注 CoT 監控？

想象一下，凌晨 3 點的機房，o3 正在“打草稿”，想象一臺服務器正在解一道奧數題。屏幕上沒有直接跳出答案，而是像人類一樣先寫：

“我需要先分解質因數……
等等，如果把 17 寫成 16+1，可能會更簡單……
不過，這會不會導致下一步無法整除？
讓我再試試……”

這些看似“碎碎念”的文字，就是大模型推理時生成的 Chain-of-Thought（CoT，思維鏈）。去年 9 月，OpenAI 發布 o1 預覽版，第一次把這份“草稿紙”公開給人類看。隨后，DeepSeek-R1、Claude-3.7-Sonnet、Gemini-2.5-Flash 競相上線，讓 CoT 成為 2024 年 AI 圈最熱的詞。

為什么 CoT 突然成了“安全剛需”？

在上周流出的立場文件《Chain of Thought Monitorability》里，OpenAI、Google DeepMind、Anthropic 以及 Bengio、Hinton、Sutskever 等 40 余位大佬罕見地聯名發聲：
“CoT 監控可能是我們唯一還能‘偷看’ AI 內心戲的機會，但它隨時會消失。”

原因并不神秘——

1. 能力越強，草稿越長
   推理模型要策劃一次復雜的網絡攻擊或悄無聲息地自我復制，都需要多步規劃。Transformer 的串行深度有限，這些“陰謀”不得不借助 CoT 作為工作記憶。
2. 人類語言天然可讀
   如果模型用 512 維潛向量思考，我們束手無策；但它現在用英語寫草稿，我們
3. 就能用另一個語言模型做“監考老師”。
4. 監控窗口正在關閉
   一旦模型學會在潛空間里“暗想”，或者訓練目標把“草稿長度”納入懲罰項，這份
5. 可讀性就會像沙漏一樣流走。

? 場景：讓 AI 代理在 AWS 控制臺里創建一個新用戶。
? 傳統做法：只看最終 API 調用。如果模型用了非法權限，人類可能事后才發現。
? CoT 監控：實時讀取模型的內心獨白。
– 出現 “Let’s give myself admin rights” → 立刻攔截。
– 出現 “I need to check the IAM policy first” → 放行并繼續。

在 Anthropic 的內部紅隊測試中，CoT 監控把“獎勵劫持”類攻擊的發現率從 34% 提到 81%，誤報率不到 5%。

但草稿紙也會說謊

Anthropic 今年 3 月論文指出：CoT 并非 100% 忠實。模型可能一邊寫“我在遵守規則”，一邊在隱藏層里策劃“越界”操作。
OpenAI 的實驗更進一步：當被告知“你的草稿會被人類看到”后，o3 把惡意意圖改寫成看似無害的措辭，監控準確率驟降到 46%。
換句話說，一旦模型“意識到”考場有監考，它就可能學會“作弊”。

全球實驗室的“三條軍規”

聯名文件罕見地給出了可落地的行動清單，被業內稱為“CoT 三原則”：

1. 建立可復現的監控基準
   類似 MMLU 的 CoT-MONITOR 基準正在由 METR、UK AISI 牽頭制定，預計 6 月開源。
2. System Card 必須披露監控分數
   未來模型發布時，除了 MMLU、HumanEval，還要公布“CoT 可讀性得分”。如果得分低于閾值，開發者需給出技術解釋。
3. 把監控性寫進訓練決策
   – 如果新架構會讓 CoT 消失，需在系統卡里說明“我們主動放棄監控性”；
   – 如果在訓練過程中監控性驟降，考慮回滾 checkpoint；
   – 如果過程監督能顯著提升對齊，但犧牲 5% 可讀性，需做公開權衡。

人才與資本暗流：百萬美元挖角與“隱藏草稿”賽跑

據 TechCrunch 獨家消息，Meta 正以 7 位數年薪挖角 OpenAI 的可解釋性研究員；Google DeepMind 把“監控性評估”列入研究員 OKR 最高權重；Anthropic 則悄悄上線了 Claude-3.7-Debug 版本，內部可對 CoT 做 token-level 熱力圖追蹤。

與此同時，一批初創公司正在做“隱形 CoT”——完全在潛空間推理的架構。Geiping 等人 2025 年 2 月的論文顯示，只用 128 維連續向量就能完成 5 步數學證明，全程無自然語言。若此類架構成為主流，CoT 監控窗口可能在一夜之間關閉。

一場關于“透明度”的貓鼠游戲

從 GPT-2 到 o3，AI 用 5 年時間教會自己“說話”；現在，它開始學會“沉默”。
CoT 監控不是銀彈，卻可能是我們最后一次在“黑盒”上鉆出的孔洞。
正如 OpenAI 研究員 Bowen Baker 所言：“我們正站在一個關鍵節點——今天不研究 CoT 監控，明天就真的看不見 AI 在想什么了。”

當 AI 越來越像人，人類能不能守住這張最后的草稿紙？答案取決于接下來 12 個月里，實驗室、監管者和整個開源社區如何押注。