開(kāi)源復(fù)刻O(píng)3！Thyme實(shí)現(xiàn)自主編碼的多模態(tài)交互新范式

始智AI wisemodel.cn社區(qū)是源自中國(guó)的中立開(kāi)放的AI開(kāi)源社區(qū)。正在，歡迎加入共同成長(zhǎng)。wisemodel推出邀請(qǐng)注冊(cè)獎(jiǎng)勵(lì)活動(dòng)，最高可得算力券+token包380元獎(jiǎng)勵(lì)，歡迎參與和支持！

在Openai 發(fā)布o(jì)3后，think with image功能得到了業(yè)界和學(xué)術(shù)界的廣泛關(guān)注。Kwai Keye團(tuán)隊(duì)提出Thyme (Think Beyond Images)的新范式，并圍繞它構(gòu)建了一整套技術(shù)方案。旨在突破現(xiàn)有方法的限制，賦予開(kāi)源模型一種更強(qiáng)大、更自主、功能更全面的“超越圖像思考”的能力。其主要貢獻(xiàn)可以概括為以下幾點(diǎn)：

提出了一個(gè)全新的多模態(tài)交互范式Thyme：

核心思想：讓多模態(tài)大模型不再局限于被動(dòng)地“看圖”，而是能夠主動(dòng)地通過(guò)生成并執(zhí)行代碼，來(lái)調(diào)用各種工具完成復(fù)雜的圖像處理和數(shù)學(xué)計(jì)算。

功能豐富：模型可以即時(shí)進(jìn)行裁剪、旋轉(zhuǎn)、縮放、對(duì)比度增強(qiáng)等多種圖像操作，還能處理復(fù)雜的數(shù)學(xué)問(wèn)題。

高度自主：模型能自主判斷何時(shí)需要使用工具、使用何種工具，并動(dòng)態(tài)生成代碼來(lái)執(zhí)行，無(wú)需人工為特定任務(wù)進(jìn)行干預(yù)。

設(shè)計(jì)了一套高效的兩階段訓(xùn)練策略 SFT + RL：

監(jiān)督微調(diào) (SFT) 階段：利用精心構(gòu)建的約 50 萬(wàn)條高質(zhì)量樣本數(shù)據(jù)集，快速教會(huì)模型生成代碼來(lái)執(zhí)行各種操作。這個(gè)階段僅需約 200 GPU 小時(shí)，性價(jià)比極高。

強(qiáng)化學(xué)習(xí) (RL) 階段：在 SFT 的基礎(chǔ)上，通過(guò) RL 進(jìn)一步優(yōu)化模型的決策能力。

構(gòu)建了高質(zhì)量 RL 數(shù)據(jù)集：為了解決 RL 階段的挑戰(zhàn)，研究者還手動(dòng)收集和標(biāo)注了 1 萬(wàn)張高分辨率、高難度的圖像問(wèn)答對(duì)，以增強(qiáng)模型在復(fù)雜場(chǎng)景下的感知能力。

提出了創(chuàng)新的RL算法GRPO-ATS：該算法能為文本生成和代碼生成設(shè)置不同的采樣溫度（temperature）。具體來(lái)說(shuō)，為文本使用較高的溫度以鼓勵(lì)探索和創(chuàng)造性，為代碼使用極低的溫度（0.0）以確保生成代碼的精確性和可執(zhí)行性，巧妙地平衡了推理的靈活性和代碼的穩(wěn)定性。

構(gòu)建并開(kāi)源了完整的配套資源：

高質(zhì)量數(shù)據(jù)集：開(kāi)源了用于 SFT 和 RL 階段的全部數(shù)據(jù)集，包括超過(guò) 400 萬(wàn)的原始數(shù)據(jù)源和精心篩選標(biāo)注的數(shù)據(jù)。

安全的沙箱環(huán)境：開(kāi)發(fā)了一個(gè)可以安全執(zhí)行模型生成的代碼并返回結(jié)果的沙箱。這個(gè)沙箱還簡(jiǎn)化了代碼生成的難度，能自動(dòng)處理格式、變量定義等問(wèn)題，提高了代碼的可用性。

完整的代碼庫(kù)：將所有訓(xùn)練代碼、模型和工具鏈全部開(kāi)源，旨在推動(dòng)整個(gè)社區(qū)在該方向上的發(fā)展和應(yīng)用。

總言，Thyme 通過(guò)賦予模型“代碼生成與執(zhí)行”的能力，極大地?cái)U(kuò)展了多模態(tài)模型的工具使用范圍和自主決策水平，并在近 20 個(gè)基準(zhǔn)測(cè)試中取得了顯著且穩(wěn)定的性能提升，尤其在處理高分辨率圖像和復(fù)雜推理任務(wù)上表現(xiàn)出色。模型已上線始智AI-wisemodel開(kāi)源社區(qū)，歡迎大家前去體驗(yàn)。

模型地址

https://wisemodel.cn/models/luxy/Thyme-SFT/file

01.

Thyme推理樣本展示

裁剪+放大

Thyme首先評(píng)估了標(biāo)志的大小和距離，判斷出裁剪并放大對(duì)應(yīng)區(qū)域可以提高可見(jiàn)性。接著，它編寫(xiě)代碼來(lái)裁剪并放大包含標(biāo)志的區(qū)域。最后準(zhǔn)確地定位了標(biāo)志的位置，成功地裁剪并放大了該區(qū)域，并正確地回答了問(wèn)題。

對(duì)比度增強(qiáng)

在OCR任務(wù)中，Thyme會(huì)適時(shí)的增強(qiáng)圖像對(duì)比度，讓需要識(shí)別的文字更加清晰。

圖像旋轉(zhuǎn)

Thyme意識(shí)到輸入圖像的方向不正確，因此它使用Python代碼執(zhí)行旋轉(zhuǎn)操作來(lái)調(diào)整輸入圖像的角度，最后進(jìn)行讀取。

復(fù)雜計(jì)算

Thyme可以將復(fù)雜計(jì)算操作，轉(zhuǎn)化為代碼，避免模型直接預(yù)測(cè)計(jì)算結(jié)果。

02.

Thyme工作流程

Thyme整體流程主要由兩個(gè)組件構(gòu)成：模型和沙盒。

1、模型接收用戶輸入問(wèn)題，輸出推理思路。
2、模型判斷問(wèn)題復(fù)雜度，決定是否生成Python代碼執(zhí)行圖像處理或計(jì)算任務(wù)。
3、若無(wú)需代碼（簡(jiǎn)單問(wèn)題或先前代碼已解決），直接輸出答案。
4、生成代碼后，交付給外部沙箱安全執(zhí)行，沙箱負(fù)責(zé)格式校驗(yàn)、參數(shù)調(diào)整、錯(cuò)誤修正等處理。
5、沙箱返回執(zhí)行結(jié)果（圖像或數(shù)值），模型基于結(jié)果繼續(xù)推理，多輪交互直至輸出最終答案。

在這里作者強(qiáng)調(diào)了MLLM的外部沙盒需要做的一些事情，主要包括一些自動(dòng)糾錯(cuò)機(jī)制，來(lái)盡量保證代碼的可用性。

• 使用autopep8模塊格式化代碼，統(tǒng)一縮進(jìn)和風(fēng)格。

• 利用ast解析代碼變量，自動(dòng)調(diào)整圖像裁剪坐標(biāo)邊界，避免越界錯(cuò)誤。

• 預(yù)置必要變量及模塊導(dǎo)入（如cv2、image_path），保證環(huán)境一致。

• 記錄代碼分段變量依賴，解決多段代碼執(zhí)行時(shí)上下文丟失問(wèn)題。

03.

Thyme-SFT

訓(xùn)練數(shù)據(jù)

首先，從現(xiàn)有數(shù)據(jù)集中采集樣本，并根據(jù)目標(biāo)函數(shù)（如裁剪、旋轉(zhuǎn)等）構(gòu)建提示。模型根據(jù)提示生成思考過(guò)程和對(duì)應(yīng)代碼。代碼隨后在沙盒環(huán)境中執(zhí)行，以過(guò)濾掉運(yùn)行不正常的樣本。剩余樣本由另一個(gè) MLLM 進(jìn)行審核，驗(yàn)證代碼執(zhí)行結(jié)果是否與思考過(guò)程一致，并有效回答問(wèn)題，從而剔除無(wú)效代碼樣本。最后，進(jìn)行人工審核以移除低質(zhì)量樣本，確保冷啟動(dòng)數(shù)據(jù)集的質(zhì)量。

SFT主要構(gòu)造了三類任務(wù)：

• 無(wú)需代碼直接答復(fù)：簡(jiǎn)單問(wèn)題直接回答，訓(xùn)練模型判定是否需要代碼生成。
• 基于代碼的圖像操作和計(jì)算：包含裁剪、旋轉(zhuǎn)、對(duì)比度增強(qiáng)、數(shù)學(xué)計(jì)算等。
• 多輪交互數(shù)據(jù)：針對(duì)圖像操作失敗的錯(cuò)誤修正、連續(xù)增強(qiáng)等多輪迭代任務(wù)。

對(duì)代碼生成樣本進(jìn)行嚴(yán)格執(zhí)行與語(yǔ)義審核，剔除不執(zhí)行或執(zhí)行結(jié)果錯(cuò)誤的代碼片段，提高訓(xùn)練樣本有效性。手工構(gòu)建多輪對(duì)話數(shù)據(jù)，教會(huì)模型基于上一輪代碼執(zhí)行結(jié)果調(diào)整策略，具備錯(cuò)誤糾正能力。

訓(xùn)練策略

訓(xùn)練過(guò)程模型基于輸入圖片(I)和問(wèn)題(Q)生成推理流程(T)及可選代碼(C)，通過(guò)沙箱執(zhí)行代碼獲得結(jié)果(S)，多輪循環(huán)迭代直到生成最終答案(a)：

使用了一些SFT策略保證多種功能能被成功激活：

• 強(qiáng)制模型僅學(xué)習(xí)輸出最終一輪的有效推理和代碼，早期輸出輪次內(nèi)容被遮蔽，避免模型過(guò)度依賴第二輪糾正。

• 訓(xùn)練時(shí)排除沙箱執(zhí)行輸出標(biāo)簽，防止模型直接模仿沙箱結(jié)果，提高推理過(guò)程質(zhì)量。

• 對(duì)數(shù)學(xué)計(jì)算數(shù)據(jù)采用退火訓(xùn)練策略：初始階段訓(xùn)練圖像操作數(shù)據(jù)，再用較低學(xué)習(xí)率微調(diào)數(shù)學(xué)推理數(shù)據(jù)，避免數(shù)據(jù)不均衡問(wèn)題。

04.

Thyme-RL

數(shù)據(jù)構(gòu)造

除了從開(kāi)源數(shù)據(jù)進(jìn)行搜集和篩選外，額外補(bǔ)充了10k的人工標(biāo)注數(shù)據(jù)，標(biāo)注的任務(wù)包括OCR識(shí)別、屬性識(shí)別、數(shù)量識(shí)別等多種任務(wù)，這些任務(wù)要求模型能夠從高分辨率圖像中提取細(xì)節(jié)信息并正確回答相關(guān)問(wèn)題，增強(qiáng)感知難度。

訓(xùn)練策略 GRPO-ATS

采用on policy的GRPO。獎(jiǎng)勵(lì)函數(shù)包括：

• 結(jié)果獎(jiǎng)勵(lì)：比較模型輸出與地面真值答案的匹配程度，確保模型輸出的正確性。
• 一致性獎(jiǎng)勵(lì)：檢查推理過(guò)程是否與最終答案一致，以確保推理步驟的合理性。
• 格式獎(jiǎng)勵(lì)確保輸出符合嚴(yán)格的結(jié)構(gòu)規(guī)范，增強(qiáng)推理過(guò)程的可解釋性。

適應(yīng)性溫度采樣

溫度調(diào)整：對(duì)于代碼生成任務(wù)，如圖像處理和計(jì)算任務(wù)，使用低溫度（τ = 0）進(jìn)行采樣，以確保代碼生成過(guò)程的準(zhǔn)確性和一致性。對(duì)于推理過(guò)程，使用較高的溫度（τ = 1）來(lái)鼓勵(lì)模型探索更多的解決方案。

這一策略有效避免了模型在生成代碼時(shí)的過(guò)度多樣化問(wèn)題，提高了代碼生成的穩(wěn)定性，并使得推理過(guò)程更加靈活多樣。

采樣優(yōu)化：為了減少計(jì)算資源浪費(fèi)，運(yùn)用Rabin-Karp滾動(dòng)哈希算法檢測(cè)過(guò)多重復(fù)內(nèi)容；當(dāng)重復(fù)子串長(zhǎng)度超過(guò)輸出長(zhǎng)度50%，立即判定為重復(fù)并提前終止當(dāng)前軌跡采樣，有效避免資源浪費(fèi)。

在訓(xùn)練中還強(qiáng)制限制了最大對(duì)話輪次，避免模型陷入無(wú)意義的循環(huán)，從而提高了訓(xùn)練效率。

圖 ：GRPO-ATS 采樣流程

05.

實(shí)驗(yàn)效果

感知，推理，通用任務(wù)全面提升

訓(xùn)練基于32塊NVIDIA H800 GPU，強(qiáng)化學(xué)習(xí)階段耗時(shí)超1200 GPU小時(shí)。

在多個(gè)基準(zhǔn)任務(wù)上，Thyme表現(xiàn)出相較于其他多模態(tài)模型的優(yōu)勢(shì)，尤其是在感知任務(wù)上，Thyme即使在與更大規(guī)模的模型Qwen-2.5-VL-32B對(duì)比時(shí)，也依然顯示出了顯著的優(yōu)勢(shì)。這表明，僅僅通過(guò)增加模型的規(guī)模并不能有效解決感知任務(wù)中的挑戰(zhàn)，相反，Thyme在測(cè)試時(shí)的擴(kuò)展策略對(duì)感知任務(wù)十分有效。

在推理任務(wù)中，通過(guò)將復(fù)雜的計(jì)算轉(zhuǎn)化為可執(zhí)行代碼，Thyme在推理能力上取得了顯著的提升。然而，在這一領(lǐng)域，模型規(guī)模的擴(kuò)展帶來(lái)的優(yōu)勢(shì)更為顯著，表明推理和邏輯推理能力主要依賴于模型本身的知識(shí)量。

由于感知與推理能力的提升，Thyme在許多通用任務(wù)中取得了顯著的進(jìn)展，尤其是在減少幻覺(jué)現(xiàn)象（hallucination）方面。

深入探討感知任務(wù)

以MME-RealWorld為例，它包括許多現(xiàn)實(shí)場(chǎng)景中的高分辨率感知任務(wù)。表4展示了Thyme與基線模型在不同任務(wù)上的表現(xiàn)。

可以看到，對(duì)于基線模型已表現(xiàn)良好的任務(wù)，如OCR、圖表和表格（準(zhǔn)確率超過(guò)60%，甚至接近90%），Thyme的提升相對(duì)較小。然而，對(duì)于更困難的任務(wù)，如監(jiān)控與自動(dòng)駕駛，在這些任務(wù)上Qwen-2.5-VL-7B的感知能力較弱時(shí)，Thyme的感知和推理任務(wù)的提升超過(guò)了25%，尤其是在推理任務(wù)中，提升更為顯著。

----- END -----

wisemodel相關(guān)：

系列模型：

關(guān)于wisemodel更多

1

歡迎持續(xù)關(guān)注和支持

開(kāi)源社區(qū)建設(shè)需要長(zhǎng)期堅(jiān)持和投入，更需要廣大用戶的積極參與、貢獻(xiàn)和維護(hù)，歡迎大家加入wisemodel開(kāi)源社區(qū)的志愿者計(jì)劃和開(kāi)源共創(chuàng)計(jì)劃。期待更多開(kāi)發(fā)者將開(kāi)源成果，包括模型、數(shù)據(jù)集和代碼等發(fā)布到 wisemodel.cn 社區(qū)，共建中立、開(kāi)放的AI開(kāi)源社區(qū)生態(tài)。歡迎掃碼添加wisemodel微信，申請(qǐng)加入wisemodel社群，持續(xù)關(guān)注wisemodel.cn開(kāi)源社區(qū)動(dòng)態(tài)。

2

歡迎加盟wisemodel開(kāi)源社區(qū)

始智AI wisemodel社區(qū)自2023年9月上線以來(lái)，逐漸成為影響力日益擴(kuò)大的中立開(kāi)放的AI開(kāi)源社區(qū)，為了加快公司發(fā)展，我們長(zhǎng)期需要技術(shù)、運(yùn)營(yíng)等人才加盟，技術(shù)側(cè)重在AI infra、后端開(kāi)發(fā)，熟悉K8S、模型訓(xùn)練和推理等技術(shù)， 以及熟悉開(kāi)發(fā)者生態(tài)運(yùn)營(yíng)的成員，歡迎感興趣的朋友加盟，可以通過(guò)添加wisemodel微信，或者將簡(jiǎn)歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優(yōu)質(zhì)內(nèi)容

歡迎投稿分享人工智能領(lǐng)域相關(guān)的優(yōu)秀研究成果，鼓勵(lì)高校實(shí)驗(yàn)室、大企業(yè)研究團(tuán)隊(duì)、個(gè)人等，在wisemodel平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是AI領(lǐng)域最新論文解讀、最新開(kāi)源成果介紹，也可以是關(guān)于AI技術(shù)實(shí)踐、應(yīng)用和總結(jié)等。投稿可以發(fā)郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關(guān)于wisemodel開(kāi)源社區(qū)

始智AI wisemodel.cn開(kāi)源社區(qū)由清華校友總會(huì)AI大數(shù)據(jù)專委會(huì)副秘書(shū)長(zhǎng)劉道全創(chuàng)立，旨在打造和建設(shè)中立開(kāi)放的AI開(kāi)源創(chuàng)新社區(qū)，將打造成“HuggingFace”之外最活躍的AI開(kāi)源社區(qū)，匯聚主要AI開(kāi)源模型、數(shù)據(jù)集和代碼等，歡迎高?？蒲性核⒋笮突ヂ?lián)網(wǎng)公司、創(chuàng)新創(chuàng)業(yè)企業(yè)、廣大個(gè)人開(kāi)發(fā)者，以及政府部門(mén)、學(xué)會(huì)協(xié)會(huì)、聯(lián)盟、基金會(huì)等，還有投資機(jī)構(gòu)、科技媒體等，共同參與建設(shè)AI開(kāi)源創(chuàng)新生態(tài)。

向上滑動(dòng)查看