導讀:當OpenAI前首席科學家Ilya Sutskever在NeurIPS 2024上坦言"預訓練時代即將終結",當Kimi創始人楊植麟在閉門會上承認" scaling law 的邊際收益正在遞減",一個更隱秘的結構性轉變正在發生——曾經活躍在Twitter上公開討論技術路線的AI研究者,正紛紛消失在商業競爭的"金礦"之中。
「曾經有一段時間,研究者們會在Twitter上相當公開地討論各種想法。」一位長期關注AI領域的觀察者如此回憶。這種開放氛圍的消逝,并非源于學術熱情的消退,而是大模型競賽進入深水區后的必然結果。當技術路線直接決定百億級估值的走向,當一條推文可能泄露核心突破,沉默成為了理性的選擇。
![]()
預訓練終局與算力重構
Sutskever在NeurIPS 2024的演講中給出了一個技術層面的判斷:「預訓練時代即將終結。」這一論斷的背后,是數據與算力雙重邊界的逼近。互聯網高質量文本數據已被大規模挖掘,合成數據的效果仍存在顯著瓶頸,而GPU集群的電力消耗已逼近單個數據中心的物理極限。
但技術終局不等于競賽終局。Sutskever同時指出,「推理階段的算力消耗將成為新的 scaling 維度。」這意味著AI公司的競爭焦點,正從"誰能訓練更大的模型"轉向"誰能讓模型在推理時產生更長的思維鏈"。OpenAI的o1系列、DeepSeek的R1模型,均已驗證這一方向的可行性——通過延長推理時間換取任務完成質量的躍升。
楊植麟在一場閉門分享中給出了更量化的觀察:「scaling law 的邊際收益遞減是客觀存在的,但推理階段的擴展提供了新的增長曲線。」他同時透露,Kimi在長文本處理上的技術投入,正是為了在這一新維度建立壁壘。這種"壁壘思維"與早期研究社區的開放 ethos 形成鮮明對照。
從"思想市場"到"封閉花園"
Twitter曾構成AI研究的獨特公共領域。2017年Transformer架構的論文發布前后,作者們在社交媒體上實時回應質疑;2020年GPT-3的技術細節通過研究者推文逐步披露;甚至2022年Stable Diffusion開源引發的討論,也大量發生在公開線程中。這種"思想市場"的運作,加速了技術迭代,也降低了行業整體的信息摩擦。
轉變的節點難以精確界定,但2023年后的信號愈發清晰。當Anthropic的Claude系列與OpenAI形成直接競爭,當Google DeepMind將Gemini的技術細節控制在最小披露范圍,當中國大模型六小龍的融資節奏與技術發布深度綁定,公開討論的風險收益結構徹底改變。
一位不愿具名的研究者描述了這一困境:「你知道某個技術方向可行,但說出來可能讓競爭對手節省6個月的探索時間。在融資窗口期,6個月足以決定生死。」這種計算并非道德怯懦,而是資本市場對技術保密性的剛性要求。當Character.AI以25億美元被Google收購、Inflection AI以6.5億美元"人才收購"形式并入Microsoft,技術團隊的獨立價值被重新定義,而公開討論被視為對這一價值的損耗。
后預訓練時代的競爭形態
技術范式的轉換正在重塑競爭規則。預訓練階段依賴的算力軍備競賽,本質上是一種"資本密集型"博弈——擁有更多GPU的一方享有確定性優勢。而推理階段的擴展則引入了更多變量:算法效率、任務特定的優化、用戶反饋閉環的質量。這為后發者提供了理論上的追趕空間,也加劇了信息保密的動機。
DeepSeek的崛起是這一邏輯的典型案例。這家中國公司以遠低于OpenAI的訓練成本,在特定任務上實現了可比性能,其技術報告卻選擇性地披露了關鍵細節。這種"半開放"策略——既展示能力以獲取聲譽,又隱藏方法以維持優勢——正在成為行業新標準。
更深層的變化發生在研究者的職業身份認同上。傳統學術路徑中,論文發表與公開討論是職業資本的核心來源;而在"金礦"模式中,技術秘密的掌握程度直接轉化為股權談判的籌碼。當OpenAI早期員工因股權糾紛集體離職,當Character.AI創始人被迫放棄獨立發展,研究者對"開放"的定價機制已徹底改變。
沉默的代價與重建的可能
公開討論的收縮并非沒有代價。技術路線的重復探索造成算力浪費,錯誤方向的沉沒成本缺乏共享機制,而公眾對AI能力的認知與實際情況之間的信息鴻溝持續擴大。2024年多起"AI泡沫"爭議,部分源于技術進展的不透明——當公司選擇性披露成功案例,市場難以形成理性預期。
有限的重建嘗試正在進行。一些研究者轉向加密通信群組或邀請制的研討圈,在可控范圍內維持思想交流;學術會議的部分環節重新強調"非正式討論"的價值;而開源社區在推理優化等特定領域仍保持活力。但這些替代方案無法復制Twitter時代的開放性與可達性。
更根本的張力在于:AI技術的雙重屬性——作為科學發現與作為商業產品——正在經歷前所未有的撕裂。當Sutskever離開OpenAI創立SSI(Safe Superintelligence Inc.),他試圖以"單一目標"的組織形態緩解這一張力,但其技術路線本身已成為最高級別的機密。
這一格局短期內難以逆轉。只要大模型競賽的贏家通吃結構持續,只要技術突破與估值波動保持高度相關,研究者的"金礦化"就是理性選擇。或許只有當推理階段的擴展觸及自身邊界——當延長思考時間帶來的收益同樣遞減——新的開放動力才會浮現。而在那之前,Twitter時代的坦誠對話,將更多以考古學的姿態被追憶,而非作為可恢復的實踐被期待。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.