警惕你身邊做AI for Science的人

警惕你身邊做AI for Science的人

他們手持顯卡賬單，口稱改變人類命運，用一張模型架構圖解釋一切，用一篇Nature子刊圓所有謊言。

我先聲明，我不是反對AI，也不是反對科學。我反對的，是那種特定的人。他們活在一個由benchmarks、影響因子和投資人PPT共同構建的平行宇宙里，把AI4S當成一張萬能的免死金牌，插在任何需要解釋的地方。

這篇文章寫給所有曾經在組會上睡著、在學術會議上出神、或者在聽完某個demo之后不知道為何感到空洞的人。你的直覺是對的。

一、畫餅的藝術

他們說的話，你一定聽過。

"我們用大模型重新定義了蛋白質折疊的范式。"

"我們的模型在零樣本條件下超越了人類專家。"

"我們正在做的事，會在五年內顛覆整個XX領域。"

這些話有一個共同點，沒有時間節點，沒有可證偽的預測，沒有失敗案例，只有宏大敘事和精心修飾的圖表。他們擅長把一個很窄的任務包裝成改變文明進程的使命，把一個在受控數據集上表現尚可的模型描述成通用智能的雛形。

更精妙的是，他們學會了用復雜性和前沿性來抵御一切質疑。

你問：這個模型在真實世界里驗證過嗎？ 他回答：你不了解這個領域的挑戰性。

你問：誤差范圍是多少？ 他回答：這是一個新范式，傳統評估標準不適用。

你問：有沒有失敗的實驗？ 他回答：Science is hard，你懂的。

于是你沉默了，因為你不想顯得無知。

? 識別手冊第一條： 凡是聲稱自己的工作無法用傳統標準評估的人，請重點觀察?？茖W的本質就是可檢驗性。拒絕被評估，不是謙遜，是護身符。

AI for Science最迷人的武器是圖表。一條漂亮的loss曲線，一個顏色鮮艷的attention可視化，一張蛋白質結構的三維渲染。這些東西有一種天然的視覺權威感，讓人覺得有這么多數字，肯定是真的。

但很少有人問：

測試集是怎么切分的？

訓練數據和測試數據有沒有泄漏？

那個超越人類專家的baseline，是哪個人類專家，在什么條件下做的對比？

更隱蔽的問題是，他們的模型解決的是科學問題，還是科學問題的一個極度簡化的代理任務？把一個分類任務說成理解了XX的分子機制，把一個回歸模型說成發現了XX的規律，這中間有一道巨大的鴻溝，而大多數聽眾缺乏專業背景來識別這道鴻溝的存在。

他們最怕的問題只有一個：

你的模型預測了什么，然后被實驗驗證了嗎？

不能只怪做這件事的人。整個系統都在激勵這種行為。

期刊需要影響因子，影響因子需要新穎性，新穎性最簡單的來源是我們第一個把大模型用在了XX問題上。投資機構需要故事，故事需要宏大愿景，宏大愿景不需要被立即驗證。學術機構需要排名，排名需要高引用，高引用來自熱門賽道的早期入場。

于是每個人都在合理地做著不合理的事。

結果是，大量計算資源、聰明的人才、寶貴的時間，被投入到了在知名數據集上多刷兩個點這件事情上。那些真正困難的科學問題，那些沒有公開數據集、沒有清晰評估標準、需要十年才能知道對不對的問題，反而無人問津，因為它們出不了論文。

他的所有論文都在同一個數據集上驗證，且這個數據集由他自己的組發布。

他總在講未來五年，從未回顧上一個未來五年承諾了什么。

他把合作者的工作歸納進自己的敘事，但從不明確貢獻比例。

他的demo永遠在最好的條件下運行，失敗案例從不出現在PPT里。

他對質疑的標準反應是，這個問題問得很好，但你可能還不太了解這個領域。

四、我們失去了什么

最大的損失不是那些沒有被驗證的論文，不是那些燒掉的GPU時間，而是被帶跑偏的期待值和被扭曲的科學文化。

當一個領域充滿了夸大其詞的聲音，真正在做嚴肅工作的人就會被淹沒。他們沒有華麗的可視化圖，沒有可以截圖發推特的demo，只有嚴謹但枯燥的實驗記錄和誠實的誤差分析。于是他們拿不到經費，找不到學生，在下一個會議上坐在角落里聽別人講那些華而不實的工作，然后繼續默默地做真正重要的事。

當然，AI for Science并非全是泡沫。AlphaFold是真實的突破，它改變了結構生物學的工作方式，有真實的實驗驗證，有可量化的影響。問題不在于AI用于科學這件事本身，而在于AlphaFold被當成了一張可以無限復制的免費門票，仿佛只要往proposal里加上大模型+XX領域，就自動獲得了改變世界的資格。

? 給你一個簡單的測試： 問他，你的工作預測了什么，然后被實驗證實了？如果他滔滔不絕地講了五分鐘還沒有給出一個具體例子，你可以禮貌地看表了。一個真正在解決科學問題的人，哪怕只有一個小小的驗證案例，也會如數家珍地告訴你?？斩?，才需要宏大來掩蓋。

不要讓對方用復雜性來壓制你的常識。科學的核心邏輯，假設、實驗、驗證，是樸素的，不會因為換了一個神經網絡架構就變得不適用。

問清楚對比基線是什么，問清楚失敗案例是什么，問清楚如果這個模型是錯的，你會怎么知道。這些問題不需要任何專業背景，只需要基本的誠實。

最后說一句公道話，很多做AI for Science的人，并不是有意欺騙。他們只是生活在一個系統性激勵了過度樂觀主義的環境里，久而久之，連自己也信了。這不是壞人的問題，這是一個文化問題。而文化問題，需要每一個參與者、問問題的人、評審論文的人、分配經費的人、寫新聞稿的人共同去糾正。

下次有人給你看一個令人嘆為觀止的AI for Science的demo，先深吸一口氣，然后微笑著問他：

那這個結論，有沒有被濕實驗室的人重復出來過？

看他的表情，你就全明白了。

本文所描述的現象為行業普遍現象之批評，并非針對任何具體個人或機構?？茖W進步需要樂觀主義，但也需要誠實。兩者并不矛盾。