研究人員執行了大規模的進化模擬,分析了超過一萬億條隨機路徑。
![]()
勞倫斯伯克利國家實驗室的研究人員開發了一種設計和訓練框架,使計算機能夠利用熱噪聲作為能源,而不是將其視為障礙。
這項研究表明,"熱力學計算"現在可以模擬神經網絡,執行復雜的非線性機器學習任務。
這一切都能在室溫下進行,并利用電子的微觀振動——而傳統計算機需要消耗大量能源來抑制這種振動。
顛覆熱噪聲的傳統角色
對于經典計算和量子計算而言,熱量被視為敵人。熱噪聲,即電子等電荷載流子的隨機振動,會擾亂數據并導致錯誤。
為了對抗這一點,經典計算機以高功耗運行來"淹沒"噪聲,而量子計算機則常常需要極度冷卻至接近絕對零度。
熱力學計算則顛覆了這種模式。"熱力學計算是由噪聲驅動的,"論文合著者、分子鑄造廠的 staff scientist Stephen Whitelam 解釋道。
"熱力學計算的前提是,如果你將一個能量尺度與熱能相當的物理裝置置于一旁,它會在熱波動驅動下隨時間改變狀態。我們的目標就是對其進行編程,讓這種隨時間演化過程能執行有用的計算。"
克服"等待"難題
此前,熱力學計算面臨兩大主要障礙。第一個障礙涉及平衡態限制,這意味著研究人員之前必須等待系統進入其能量最低狀態后才能進行計算,這個過程通常太慢,不實用。
除此之外,該領域還面臨線性限制,即技術很大程度上局限于簡單的線性代數運算。這使得它無法滿足現代人工智能復雜、非線性的需求。
該團隊通過數字模擬繞過了這些障礙。他們證明,通過使用非線性組件,可以訓練熱力學計算機在特定時間執行計算,無論系統是否已達到平衡態。
這使得硬件能夠更像傳統處理器一樣運行——快速且可預測——但功耗卻只是其一小部分。
訓練"隨機"大腦
由于熱力學計算機是"隨機"的,這意味著由于熱量的隨機特性,沒有兩次運行是完全相同的,因此標準的人工智能訓練方法并不適用。
為了解決這個問題,研究員 Corneel Casert 利用了 NERSC 的 Perlmutter 超級計算機。Casert 并行使用 96 個 GPU,運行了"進化模擬",評估了超過一萬億條含噪聲的軌跡。
通過使用遺傳算法,該團隊能夠為這個由噪聲驅動的系統找到完美的參數。
"通過數字模擬來訓練一個熱力學神經網絡的成本很高,"Casert 補充道。
"但是,一旦訓練完成并構建為物理硬件,我們就可以在該硬件上以極低的能耗進行推理。"
低功耗人工智能的未來
這一發展帶來的影響是巨大的。目前,一次谷歌搜索所消耗的能量就足以為一個六瓦的 LED 燈泡供電三分鐘。
通過將繁重的人工智能推理任務轉移到熱力學硬件上,能源成本可能會大幅下降。
伯克利實驗室團隊目前正在尋找實驗合作伙伴,以將這些數字設計轉化為物理硬件。
如果朋友們喜歡,敬請關注“知新了了”!
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.