AI編程助手讓開發者陷入"危險狀態"

軟件開發者所使用的AI正處于一種"危險狀態"——它太有用以至于不得不使用，但在使用過程中，開發者卻失去了審查其工作所需的實戰經驗。這是在本周舉行的中立技術開發者大會QCon London上一位演講者提出的觀點。

Thoughtworks公司AI輔助軟件交付全球負責人Birgitta Bockeler在會上重新探討了她去年在同一活動中談到的話題——開發者AI的現狀。

"一年前，我主要講的是新興的智能體模式。'氛圍編程'這個術語大約只有兩個月的歷史，而Claude Code當時還沒有全面開放，"她說道。

她告訴與會者，如今的重點是上下文工程。"你需要策劃你的模型或智能體看到的信息，以獲得更好的結果。"

上下文工程涉及規則、命令、指令和資源，包括大語言模型可以用來更準確執行任務的MCP（模型上下文協議）工具。這些在本地定義，減少了發送到遠程大語言模型的上下文大小。

"盡管現在的上下文窗口比一年前大了很多，但當它們滿了的時候...智能體的效率會下降，而且成本會高很多，"她說。

另一個即將到來的功能是子智能體，主智能體會生成其他智能體來執行專門任務并報告結果。這減少了主智能體的負載，也可以通過給子智能體一定程度的獨立性來提供幫助。"人們喜歡有一個單獨的上下文窗口，它不了解會話中的所有歷史，來進行代碼審查或使用不同的模型，"她解釋道。

子智能體概念可以走得更遠，趨勢是朝著更少監督的方向發展。Bockeler引用了AI愛好者Steve Yegge的觀點，他定義了開發者向AI演進的八個階段，最終構建自己的智能體編排器。Yegge通過一個名為Gas Town的項目實現了這一點，這是"一個由超智能機器人猩猩操作的工業化編程工廠"。

Cursor和Anthropic也在實驗智能體群體，Bockeler說，Claude Code有一個名為智能體團隊的預覽功能。"關鍵是，需要大量的編排，"她解釋道。

"這些進展形成了'誘使我們脫離循環的強大力量'，"Bockeler說。

問題在于AI并不安全。它會犯錯誤，容易受到提示注入等問題的攻擊。這意味著開發者要進行風險評估。"總是三個因素的組合：概率、影響和可檢測性，"Bockeler說。

減少智能體監督的潛在生產力與審查需求相沖突。"它無監督的時間越長，我之后需要審查的內容就越多，"她在QCon上表示。

風險包括錯誤代碼、惡意軟件和機密泄露。Bockeler引用了Simon Willison的致命三要素。"當你有一個智能體接觸不可信內容、訪問私人數據并能對外通信時，你就面臨獲得數據問題和安全問題的高風險，"她說，并補充道，僅僅給智能體電子郵件的讀取和發送權限就足以引發這個問題。

OpenAI所稱的"約束工程"——設計智能體能夠可靠工作的環境——可能為解決方案提供了提示。

另一個AI趨勢是成本不斷增加。智能體在做更多的事情；以前只是自動完成，現在是研究現有代碼、制定計劃、審查、運行測試、修訂計劃等等。"固定費率實際上不是真正的固定費率，因為你會遇到請求限制，然后你會看到Reddit上的人說，哦，只是月中就沒Token了，我該怎么辦？因為我們已經離不開它們了。"

會議結束后，我們詢問Bockeler關于未來的看法。編程技能是否變得無關緊要？

"我們正陷入這樣一種危險狀態：AI如此有用，你確實想使用它，但你不能也許永遠不能把一切都交給它，"她告訴我們。"你總是必須理解正在發生什么。同時，你獲得的這方面經驗越來越少，因為你不再親自動手了。"

她說，隨著我們從錯誤中學習，AI將會發展，但何時能到達一個風險較小的地方還充滿不確定性。

Q&A

Q1：什么是上下文工程？它有什么作用？

A：上下文工程是指策劃大語言模型或智能體看到的信息，以獲得更好的結果。它涉及規則、命令、指令和資源，包括MCP（模型上下文協議）工具，這些在本地定義，可以減少發送到遠程大語言模型的上下文大小，提高效率并降低成本。

Q2：為什么說開發者陷入了危險狀態？

A：因為AI太有用以至于不得不使用，但在使用過程中，開發者卻失去了審查AI工作所需的實戰經驗。開發者總是必須理解正在發生什么，但同時獲得的實際編程經驗越來越少，因為不再親自動手編程了。

Q3：AI編程智能體存在哪些風險？

A：AI編程智能體存在多種風險，包括生成錯誤代碼、惡意軟件和機密泄露。當智能體接觸不可信內容、訪問私人數據并能對外通信時，就面臨數據問題和安全問題的高風險。此外，AI容易受到提示注入等攻擊，需要開發者進行持續的風險評估。