DeepMind發起黑客馬拉松活動為通用人工智能制定評估標準

如果一個機器人真的實現了通用人工智能（AGI），我們如何知道？谷歌DeepMind的研究人員提出了一個他們聲稱基于經驗和科學的框架來衡量AGI進展，并正在尋找開發者來完善這一框架。

曾幾何時，"人工智能"用來描述在各種類似思維的任務上與人類基本無異的機器。但隨著機器學習應用（從OpenAI的ChatGPT開始）吸引了公眾想象力，科技行業增長炒作的飛輪進入超高速運轉，"AI"一詞被重新定義為使用大規模矩陣乘法來相對較好地執行復雜任務且監督相對較少的計算機程序。隨著這些目標的移動，定義松散的"AGI"術語取代了AI原本的含義。

DeepMind希望收緊這一定義。這家谷歌旗下AI研發機構的團隊本周報告稱，他們開發了一個"認知分類體系"來衡量科技行業在通用有用AGI方面的進展，以及一個三階段測試來對標AI系統性能與人類能力。

對于那些希望獲得一些突破性心理學見解或想法的人來說，抱歉，但研究人員提出的方法很簡單。DeepMind研究人員表示，讓AI模型和人類通過相同的認知基準測試，你就能很好地估計出單個AI何時能夠在其分類體系的所有十個領域中達到或超過人類能力，這些領域分為兩個主要區域。

首先是人類認知的八個基本構建模塊，這些已被其他研究人員先前定義：感知、生成、注意力、學習、記憶、元認知和執行功能。

DeepMind研究人員表示，這八個構建模塊以各種方式結合，形成兩個同樣重要的復合能力：問題解決和社會認知，后者在論文中被定義為處理和解釋社會信息并在社會情境中適當回應的能力。

當然，分類體系是好的，但如果沒有測試AI模型相對于人類表現的系統，它實際上并沒有太大作用。因此谷歌團隊提議舉辦黑客馬拉松來征集社區幫助。

團隊解釋說："我們正在啟動一個新的Kaggle黑客馬拉松，為評估差距最大的五種認知能力設計評估方法：學習、元認知、注意力、執行功能和社會認知。"

比賽設立了20萬美元獎金池，幾個參賽作品已經公開發布并在進行中。五個領域中的每個領域將有兩個團隊各獲得1萬美元，四個總冠軍將各獲得2.5萬美元。

AGI被廣泛認為目前還很遙遠，一些專家甚至宣稱這完全是幻想的時間浪費。除了能夠在各個學科領域表現良好的AI之外，甚至沒有明確一致認同的定義。DeepMind團隊沒有費心澄清他們認為AGI的含義，只是說它"經常被用作描述各種高能力AI系統的簡稱"，我們需要在糾結定義的同時實際開始衡量朝向它的進展。

團隊希望通過做一些事情——任何事情——來幫助衡量AGI進展，能夠"將圍繞AGI的對話從主觀聲明和推測轉向基于事實、可測量的科學努力"。

黑客馬拉松的獲勝者將在6月份宣布。

Q&A

Q1：DeepMind提出的認知分類體系包含哪些內容？

A：DeepMind的認知分類體系包含十個領域，分為兩個主要區域。首先是八個人類認知的基本構建模塊：感知、生成、注意力、學習、記憶、元認知和執行功能。這些構建模塊結合形成兩個復合能力：問題解決和社會認知。社會認知被定義為處理和解釋社會信息并在社會情境中適當回應的能力。

Q2：這次Kaggle黑客馬拉松的獎金和評估重點是什么？

A：比賽設立了20萬美元獎金池，專門為評估差距最大的五種認知能力設計評估方法：學習、元認知、注意力、執行功能和社會認知。五個領域中每個領域的兩個團隊將各獲得1萬美元，四個總冠軍將各獲得2.5萬美元。獲勝者將在6月份宣布。

Q3：為什么DeepMind要制定AGI評估標準？

A：隨著"AI"術語被重新定義為使用大規模矩陣乘法的計算機程序，"AGI"取代了AI原本的含義但定義松散。DeepMind希望收緊這一定義，通過讓AI模型和人類通過相同的認知基準測試，將圍繞AGI的對話從主觀聲明和推測轉向基于事實、可測量的科學努力。