巨頭壟斷AGI，比天網更恐怖百倍!《終結者》導演卡梅隆炸裂警告

新智元報道

編輯：KingHZ

【新智元導讀】1984年他創造了「天網」，2024年他警告：真正的威脅早已超越科幻——少數科技巨頭正在孕育一個只服務于自身規則的超級智能。

科技巨頭壟斷AGI，比天網更恐怖百倍！

《終結者》導演詹姆斯·卡梅隆過去的一番論斷，迎來了熱議：

他直指核心：

AGI不會來自政府項目，而是由科技巨頭打造。

這比我在40年前《終結者》中描繪的情景更可怕，因為至少現在它已不再是科幻小說了。

在1984年上映的《終結者》中，美國國防部開發的AI網絡「天網」（Skynet）獲得了自我意識，最終對人類發動核打擊，幾乎將世界拖入末日深淵。

2024年10月舉行的（人工智能與機器人峰會）「SCSP AI+Robotics Summit」上，James Cameron通過視頻連線發表演講。

這位長期關注科技發展的著名導演表示，他「看好AI」，但對通用人工智能持明顯保留態度。

在他看來，真正令人擔憂的，并不是機器覺醒后主動毀滅人類，而是AGI在誕生之初，就牢牢掌握在少數科技巨頭手中。

人類將來「生活在一個自己從未同意、從未投票的世界里，與一個超級智能的外星物種共存，而這個物種只聽命于企業的目標和規則」。

在他看來，這種由公司主導的超級智能系統，可能擁有前所未有的數據訪問能力——從個人通信、思想表達，到位置信息和行為軌跡。

一旦缺乏制衡，AI可能迅速滑向數字極權主義。

而最樂觀情景也不樂觀：科技巨頭將成為「人類福祉的自封仲裁者」，相當于「狐貍看守雞舍」，它們「絕不會考慮用這種力量對付我們、把我們最后一滴血汗都榨干」。

戰爭、自動化與「開火授權」

作為峰會討論的重要議題之一，AI與國家安全的關系成為Cameron發言的核心內容。

他指出，機器人本質上是AI的「具身化」載體。

當一個決策系統被賦予現實世界中的物理行動能力，問題就不再停留在算法層面，而是涉及生死與倫理。

Cameron以當前戰爭中廣泛使用的無人機為例指出，目前大多數武器系統仍保留「人類在回路中」（human in the loop）的機制——最終的「開火授權」掌握在人類手中。

但隨著AI決策能力的增強，一個關鍵問題浮出水面：是否應該賦予自主系統獨立的殺傷權限？

他承認，從技術角度看，AI或許能夠比情緒波動、疲勞作戰的人類士兵更精準、更克制，甚至在理論上減少附帶傷害。

然而，一旦AGI真正具備自我意識與自我改進能力，將其接入武器系統，風險將呈指數級放大。

「當敵對方率先這么做時，道德約束可能會迅速被放棄。」他說。

「對齊」難題：誰來定義「善」？

當前AGI研究中的核心概念之一是「對齊」（alignment），即確保系統目標與人類福祉保持一致。

但Cameron在演講中提出質疑：在人類自身都無法就道德標準達成共識的情況下，如何為超級智能設定統一的價值框架？

從宗教分歧到政治對立，從戰爭倫理到生命議題，人類社會長期處于價值觀沖突之中。即便是被廣泛引用的「Asimov機器人三定律」，在現實社會中也難以直接套用。

「如果我們自己都在為『什么是善』爭論不休，又如何指望機器獲得明確答案？」他反問。

在他看來，AGI終將成為人類的一面鏡子——「我們有多善，它就有多善；我們有多惡，它就有多惡。」

科幻創作者的現實轉向

盡管發出警告，Cameron并未站在技術反對者一邊。

他表示，自己并不主張阻止技術進步，相反，他計劃在創作中積極擁抱AI技術，就像當年率先推動數字特效革命一樣。

他目前正參與生成式AI企業Stability AI的董事會工作，顯示出其在產業層面的深度參與。

不過，他強調，對AI的樂觀與對AGI的警惕并不矛盾。真正值得警惕的，并非機器本身，而是權力結構、道德框架與治理機制能否跟上技術演進的速度。

在技術加速發展的背景下，Cameron的發言再次將一個核心問題推到公眾面前：當超級智能不再屬于科幻，而成為現實可能，人類是否已經準備好面對它所帶來的權力與責任？

答案，或許仍在未來。

參考資料：

https://www.youtube.com/watch?v=e6Uq_5JemrI