始智AI wisemodel.cn社區是源自中國的中立開放的AI開源社區。正在,歡迎加入共同成長。!
RWKV7-G1a 1.5B 推理模型(Reasoning Model)正式開源發布。RWKV7-G1a 1.5B 從 RWKV7-G1 1.5B 繼續訓練 1T 高質量數據,模型能力顯著提高,且加入新的推理風格,還可設置推理長度。并且在多語言能力、英語能力等多項能力強于同規模的開源模型。
RWKV7-G1a 1.5B已上線始智AI-wisemodel開源社區,歡迎大家前去體驗。
模型地址
https://wisemodel.cn/models/rwkv4fun/RWKV-7-G1/file
01.
模型測評
英語和多語言能力
RWKV7-G1a 1.5B 的基礎英語和多語言能力均強于同規模的開源模型:
eval
RWKV7-G1a 1.5B 的 MMLU 為 50.2%(RWKV7-G1 1.5B 為 48.2%)。注意這是沒有使用任何 mid-training 和 post-training 的真實基底模型成績。
無法作弊的評測
RWKV7-G1a 1.5B 的 Uncheatable Eval 顯著提升,已非常接近 1.7B 參數的 Qwen3-1.7B-Base。
Uncheatable Eval
02.
模型推理新風格
RWKV7-G1a 1.5B 加入了一種新推理風格,通過在問題后加入【 think】引導。
與此同時,Pusa V1.0所需的參數更新數比Wan-I2V少10倍以上,這表明Pusa僅僅關注與時間相關的模塊,從而保留了基礎模型的先驗知識。與之相對的,Wan-12V則表現出對基礎模型先驗知識的破壞。
新推理風格
新推理風格的提示詞格式:
User: USER_PROMPT think
Assistant: 注意:在 USER_PROMPT 后的【 think】和前文之間必須有恰好一個空格。如果不添加【 think】,模型會以默認推理風格進行思考。
下面是 RWKV7-G1a 1.5B 使用新推理風格的效果,注意此時它會使用英語思考:
非技術問題
技術問題
新推理風格,短思考
通過【 think a bit】可縮短新推理風格的思考長度。提示詞格式:
User: USER_PROMPT think a bit
Assistant: 非技術問題
技術問題
新推理風格,長思考
通過【 think a lot】可增加新推理風格的思考長度。提示詞格式:
User: USER_PROMPT think a lot
Assistant: 非技術問題
技術問題
注意:這里的新推理風格和長度控制,僅適用于 2025 年 9 月 22 日及之后發布的 RWKV7-G 系列模型(從 RWKV7-G1a 1.5B 開始)。
“假”思考模式
最后,對于所有 RWKV7-G 系列模型,通過在提示中加入空 think 標簽,可以模擬一個“已完成思考”的上下文,引導模型生成有結構和邏輯的回復。
提示詞格式:
User: USER_PROMPT
Assistant:非技術問題
技術問題
03.
模型調優參數
RWKV 的運行工具均支持調整模型的解碼參數,您可以調整解碼參數適應不同任務的特點。
下面是推薦的解碼參數:
模式
Temp
Top-p
Presence Penalty
Frequency Penalty
Penalty Decay
主要特點與適用場景
默認
1.0
0.3
0.5
0.5
默認的推薦解碼參數
綜合
1.0
0.3
2
0.2
0.99
另一種推薦解碼參數
創意
0.6
0.6 ~ 0.8
2
0.2
0.99
思維發散,想象力強
保守
0.3
0.3
0
0
0.99
適合數學和機械任務
固定
0.2
0
0
0
0.99
最保守的輸出
[1] RWKV 的解碼參數: https://rwkv.cn/docs/RWKV-Prompts/RWKV-Parameters
[2] RWKV Runner: https://rwkv.cn/tutorials/intermediate/RWKV-Runner/Introduction
[3] RWKV 官網 - 模型部署和推理教程: https://rwkv.cn/tutorials/intermediate
編輯丨趙雅鑫
----- END -----
wisemodel相關:
系列模型:
關于wisemodel更多
1
歡迎持續關注和支持
開源社區建設需要長期堅持和投入,更需要廣大用戶的積極參與、貢獻和維護,歡迎大家加入wisemodel開源社區的志愿者計劃和開源共創計劃。期待更多開發者將開源成果,包括模型、數據集和代碼等發布到 wisemodel.cn 社區,共建中立、開放的AI開源社區生態。歡迎掃碼添加wisemodel微信,申請加入wisemodel社群,持續關注wisemodel.cn開源社區動態。
2
歡迎加盟wisemodel開源社區
始智AI wisemodel社區自2023年9月上線以來,逐漸成為影響力日益擴大的中立開放的AI開源社區,為了加快公司發展,我們長期需要技術、運營等人才加盟,技術側重在AI infra、后端開發,熟悉K8S、模型訓練和推理等技術, 以及熟悉開發者生態運營的成員,歡迎感興趣的朋友加盟,可以通過添加wisemodel微信,或者將簡歷投遞到郵箱:liudaoquan@wisemodel.cn
3
歡迎投稿優質內容
歡迎投稿分享人工智能領域相關的優秀研究成果,鼓勵高校實驗室、大企業研究團隊、個人等,在wisemodel平臺上分享各類優質內容,可以是AI領域最新論文解讀、最新開源成果介紹,也可以是關于AI技術實踐、應用和總結等。投稿可以發郵件到liudaoquan@wisemodel.cn,也可以掃碼添加wisemodel微信。
4
關于wisemodel開源社區
始智AI wisemodel.cn開源社區由清華校友總會AI大數據專委會副秘書長劉道全創立,旨在打造和建設中立開放的AI開源創新社區,將打造成“HuggingFace”之外最活躍的AI開源社區,匯聚主要AI開源模型、數據集和代碼等,歡迎高校科研院所、大型互聯網公司、創新創業企業、廣大個人開發者,以及政府部門、學會協會、聯盟、基金會等,還有投資機構、科技媒體等,共同參與建設AI開源創新生態。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.