什么是“知識(shí)蒸餾”？看蘋(píng)果如何把龐大Gemini塞進(jìn)iPhone

IT之家 3 月 26 日消息，科技媒體 The Information 昨日（3 月 25 日）發(fā)布博文，報(bào)道稱蘋(píng)果為打造適用于 iPhone 17 系列等的更小巧、安全的端側(cè) AI 模型，正利用“知識(shí)蒸餾”技術(shù)深度拆解谷歌 Gemini 大模型。

報(bào)道指出蘋(píng)果和谷歌公司在 AI 領(lǐng)域的合作，遠(yuǎn)比外界預(yù)期的更為深入。根據(jù)雙方協(xié)議，蘋(píng)果不僅獲準(zhǔn)將谷歌 Gemini 作為底層基礎(chǔ)模型，更能在自家數(shù)據(jù)中心內(nèi)完全訪問(wèn)該模型。

這意味著蘋(píng)果工程師能夠深度剖析 Gemini 的內(nèi)部運(yùn)作機(jī)制，并擁有極大的技術(shù)操作自主權(quán)，從而將原本依賴云端服務(wù)器的龐大模型，改造為適應(yīng)蘋(píng)果設(shè)備本地化處理的專屬形態(tài)。

在這項(xiàng)底層改造工程中，蘋(píng)果主要依賴一項(xiàng)名為“知識(shí)蒸餾”的核心技術(shù)。IT之家援引博文介紹，蘋(píng)果的自研外部模型會(huì)扮演“學(xué)生”的角色，逐步剝離并吸收 Gemini 龐大知識(shí)庫(kù)中的細(xì)分模塊。

蘋(píng)果系統(tǒng)會(huì)持續(xù)向 Gemini 索取高質(zhì)量的輸出結(jié)果以及底層的“思維鏈”，進(jìn)而讓自研的小型模型學(xué)會(huì)模仿 Gemini 在處理特定單一功能時(shí)的計(jì)算邏輯與處理方式。

經(jīng)過(guò)知識(shí)蒸餾處理后，蘋(píng)果成功打造出體積更小、但針對(duì)特定功能具備同等響應(yīng)速度與準(zhǔn)確率的微型 AI 模型。這種技術(shù)路徑帶來(lái)了立竿見(jiàn)影的優(yōu)勢(shì)：微型模型的運(yùn)行成本大幅降低，對(duì)設(shè)備芯片算力的要求也顯著減少。

因此，這些模型完全可以擺脫對(duì)云端服務(wù)器的依賴，直接在 iPhone 等移動(dòng)設(shè)備上流暢運(yùn)行，這不僅極大提升了 AI 響應(yīng)的敏捷度，也從物理層面保障了用戶的數(shù)據(jù)隱私安全。

該媒體解讀指出，這一系列核心任務(wù)目前正由蘋(píng)果基礎(chǔ)模型團(tuán)隊(duì)（AFM）全面推進(jìn)，明確釋放了蘋(píng)果將“端側(cè)處理”視為未來(lái) AI 戰(zhàn)略核心的信號(hào)。

匿名業(yè)內(nèi)人士強(qiáng)調(diào)，蘋(píng)果目前無(wú)意利用這些蒸餾技術(shù)去拼湊一個(gè)直接對(duì)標(biāo) Gemini 的綜合性大模型。在預(yù)計(jì)于 6 月推出的重磅 Siri 更新中，未被蒸餾的完整版 Gemini 仍將作為后盾處理復(fù)雜查詢，而蘋(píng)果自研的微型模型則將全面接管設(shè)備本地的日常高頻任務(wù)。