![]()
始智AI wisemodel.cn社區(qū)是源自中國的中立開放的AI開源社區(qū)。正在,歡迎加入共同成長。wisemodel推出邀請注冊獎勵活動,最高可得算力券+token包380元獎勵,歡迎參與和支持!
2025 年 11 月 1 日,RWKV7-G0a3 13.3B推理模型開源發(fā)布。這是世界迄今最強的純 RNN 大語言模型。團(tuán)隊以 RWKV6-world-v2.1 14B 模型為基礎(chǔ),僅繼續(xù)訓(xùn)練 2T tokens(加入了蒸餾的 35B tokens from DeepSeek v3.1),即獲得了有競爭力的效果。它依然是純預(yù)訓(xùn)練模型(無后訓(xùn)練,無刷榜),評測成績符合模型實際使用體驗。模型已更新上線始智AI-wisemodel開源社區(qū),歡迎大家前去體驗。
其中,RWKV 模型名稱的G1/G1a/G1a2/G0a3等字段是訓(xùn)練數(shù)據(jù)的版本,數(shù)據(jù)質(zhì)量 G > G > G > G#,數(shù)據(jù)數(shù)量 G1 > G0。簡單規(guī)則:同一參數(shù)選擇最新的模型,效果最好。
![]()
模型地址
https://wisemodel.cn/models/rwkv4fun/RWKV-7-G1/file
01.
模型性能評估
![]()
benchmark-multilang
![]()
Uncheatable Eval 評測
Uncheatable Eval使用最新的論文/新聞/代碼/小說等實時數(shù)據(jù),測試壓縮率(“壓縮即智能”),評估基底語言模型的真實語言建模能力和泛化能力。
![]()
benchmark-uncheatable
![]()
MMLU & MMLU PRO
評估模型在多學(xué)科的綜合知識(MMLU PRO 比 MMLU 更難)。
![]()
benchmark-mmlu
![]()
GSM8K
評估模型在中學(xué)難度數(shù)學(xué)應(yīng)用題的推理能力。
![]()
benchmark-gsm8k
![]()
MATH500
測試模型在更難數(shù)學(xué)問題的解題能力。
![]()
benchmark-math500
![]()
CEval
以多行業(yè)真實試題,評估模型中文理解和專業(yè)知識。
![]()
benchmark-ceval
02.
模型實戰(zhàn)
G0a3 系列模型加入更多數(shù)據(jù),顯著提升 vibe coding 能力。
Tips 寫代碼,推薦解碼參數(shù):Temperature=1,Top_P=0.3,Presence Penalty=1,F(xiàn)requency Penalty=0.1,decay=0.99 在下述代碼示例中,我們把模型生成的 HTML 內(nèi)容放到 https://html.onlineviewer.net/ 進(jìn)行預(yù)覽。
首先:用 SVG 畫一只橘貓的側(cè)面圖(畢加索風(fēng)格),即使關(guān)閉思考模式,也能生成合理的結(jié)果:
![]()
vibe-web-svgcat
繼續(xù):用SVG畫一張深圳夜景配圖,包含建筑剪影和霓虹燈帶,視覺主色調(diào)明確為深藍(lán) (背景)與霓虹粉 (點綴/光效):
![]()
vibe-web-svg
繼續(xù):請生成一個單文件 HTML 頁面,主題:武松打虎。頁面需包含:標(biāo)題、簡介段落、一段描寫打虎場景的正文、至少一張配圖(可用占位圖 URL),并用干凈的 CSS 美化頁面(響應(yīng)式)。輸出完整的 HTML 文件源碼。
![]()
vibe-web-wusong
Tips 所有生成的代碼都在文末附錄。我們會持續(xù)發(fā)布 vibe coding 能力顯著更強的模型。
如前所述,RWKV 作為純 RNN 模型,尤其適合大規(guī)模并行生成。我們提供了大規(guī)模并行生成網(wǎng)頁的推理工具:
后端:https://github.com/RWKV-Vibe/rwkv_lightning
前端:https://github.com/xun082/RWKV-code
效果預(yù)覽:
![]()
batch-web 故事創(chuàng)作
Tips 創(chuàng)作任務(wù)推薦的解碼參數(shù):Temperature=0.6,Top_P=0.7,Presence Penalty=2,F(xiàn)requency Penalty=0.2
我們在新模型主蒸 DeepSeek v3.1,可以看到它的顯著風(fēng)格:
![]()
story
03.
優(yōu)化推理速度
RWKV 團(tuán)隊與北京智源研究院合作優(yōu)化推理效率,使用 FlagOS 的 FlagGems Triton 語言算子庫,在保持精度的前提下提升了模型的推理速度。
例如,由于 RWKV 架構(gòu)在設(shè)計時支持 FFN 無損稀疏化,在 bsz 1 時,F(xiàn)lagGems 算子 rwkv_mm_sparsity 對比 CUDA matmul 可提升 74% 到 202% 速度。進(jìn)一步配合 CUDA Graph 優(yōu)化,RWKV-7 的 bsz=1 推理 Decode 端到端速度在英偉達(dá) RTX5090 提升 28%,在英偉達(dá) A100 提升 135%。
目前顯示速度已達(dá):
https://github.com/BlinkDL/Albatross/tree/main/faster_251101
模型
RWKV-7 13.3B fp16,顯卡RTX5090 with CUDAGraph and sparse FFN (lossless),推理速度 66+ token/s(bsz1)模型
RWKV-7 7.2B fp16,顯卡RTX5090 with CUDAGraph and sparse FFN (lossless),推理速度 123+ token/s(bsz1)模型
RWKV-7 7.2B fp16,顯卡RTX5090,推理速度 10250+ token/s (bsz960)
04.
如何使用RWKV模型
本地部署
可以使用 RWKV Runner、Ai00、RWKV pip 等推理工具本地部署 RWKV 模型。RWKV 模型也適配了 llama.cpp、ollama 等熱門的模型推理工具。
目前最快的 RWKV 推理工具是 Albatross:
https://github.com/BlinkDL/Albatross
由于 RWKV7-G0a3 13.3B 是新模型,目前建議使用 RWKV Runner以保證得到正確結(jié)果。可以在RWKV 官網(wǎng) - 模型推理教程中查看上述推理工具的使用教程。
05.
附錄代碼
vibe coding 1:svg 繪制橘貓
vibe coding prompt:用 SVG 畫一只橘貓的側(cè)面圖(畢加索風(fēng)格)
"zh">
"UTF-8">
"viewport" content="width=device-width, initial-scale=1.0"> 畢加索風(fēng)格橘貓
"container"
>
畢加索風(fēng)格橘貓
"svg-container"
>
"300"
height=
"400"
viewBox=
"0 0 300 400"
>
"100%"
height=
"100%"
fill=
""
/>
"M150,100 C180,80 220,90 230,120 C240,150 220,180 190,190 C160,200 130,180 120,150 C110,120 130,90 150,100 Z"
fill=
""
/>
"M120,80 L140,60 L160,80 L140,100 Z"
fill=
""
/>
"M180,80 L200,60 L220,80 L200,100 Z"
fill=
""
/>
"130"
cy=
"140"
r=
"15"
fill=
""
/>
"170"
cy=
"140"
r=
"15"
fill=
""
/>
"135"
cy=
"140"
r=
"5"
fill=
"white"
/>
"165"
cy=
"140"
r=
"5"
fill=
"white"
/>
"M150,170 L145,185 L155,185 Z"
fill=
""
/>
"M140,190 Q150,200 160,190"
stroke=
""
stroke-width=
"2"
fill=
"none"
/>
"130"
y1=
"170"
x2=
"100"
y2=
"165"
stroke=
""
stroke-width=
"1.5"
/>
"130"
y1=
"175"
x2=
"100"
y2=
"170"
stroke=
""
stroke-width=
"1.5"
/>
"130"
y1=
"180"
x2=
"100"
y2=
"175"
stroke=
""
stroke-width=
"1.5"
/>
"170"
y1=
"170"
x2=
"200"
y2=
"165"
stroke=
""
stroke-width=
"1.5"
/>
"170"
y1=
"175"
x2=
"200"
y2=
"170"
stroke=
""
stroke-width=
"1.5"
/>
"170"
y1=
"180"
x2=
"200"
y2=
"175"
stroke=
""
stroke-width=
"1.5"
/>
"M150,190 C120,210 80,230 70,270 C60,310 80,350 120,370 C160,390 200,370 220,330 C240,290 230,250 210,220 C190,190 170,180 150,190 Z"
fill=
""
/>
"M120,290 L100,320 L110,340 L130,320 Z"
fill=
""
/>
"M180,290 L200,320 L190,340 L170,320 Z"
fill=
""
/>
"M220,330 L240,360 L230,380 L210,360 Z"
fill=
""
/>
"M160,330 L140,360 L150,380 L170,360 Z"
fill=
""
/>
"M220,330 C250,320 270,300 260,270 C250,240 230,230 210,240 C190,250 180,270 190,290 C200,310 220,320 220,330 Z"
fill=
""
/>
"100"
cy=
"325"
r=
"5"
fill=
""
/>
"110"
cy=
"345"
r=
"5"
fill=
""
/>
"130"
cy=
"325"
r=
"5"
fill=
""
/>
"140"
cy=
"345"
r=
"5"
fill=
""
/>
"160"
cy=
"325"
r=
"5"
fill=
""
/>
"170"
cy=
"345"
r=
"5"
fill=
""
/>
"200"
cy=
"325"
r=
"5"
fill=
""
/>
"210"
cy=
"345"
r=
"5"
fill=
""
/>
"230"
cy=
"325"
r=
"5"
fill=
""
/>
"240"
cy=
"345"
r=
"5"
fill=
""
/>
"260"
cy=
"325"
r=
"5"
fill=
""
/>
"270"
cy=
"345"
r=
"5"
fill=
""
/>
"M150,100 L120,80"
stroke=
""
stroke-width=
"2"
stroke-dasharray=
"5,3"
/>
"M150,100 L180,80"
stroke=
""
stroke-width=
"2"
stroke-dasharray=
"5,3"
/>
"M150,190 L120,290"
stroke=
""
stroke-width=
"2"
stroke-dasharray=
"5,3"
/>
"M150,190 L180,290"
stroke=
""
stroke-width=
"2"
stroke-dasharray=
"5,3"
/>
"M150,190 L220,330"
stroke=
""
stroke-width=
"2"
stroke-dasharray=
"5,3"
/>
"M150,190 L160,330"
stroke=
""
stroke-width=
"2"
stroke-dasharray=
"5,3"
/>
"description"> 這只"highlight">畢加索風(fēng)格的橘貓采用了立體主義的幾何形狀和鮮明的色彩對比,展現(xiàn)了藝術(shù)與自然的完美結(jié)合。通過簡化的形狀和抽象的線條,捕捉了貓咪的優(yōu)雅姿態(tài)和獨特個性。
vibe coding 2:svg 繪制深圳夜景vibe coding prompt:用SVG畫一張深圳夜景配圖,包含建筑剪影和霓虹燈帶,視覺主色調(diào)明確為深藍(lán) (背景)與霓虹粉 (點綴/光效)
"zh-CN">
"UTF-8">
"viewport" content="width=device-width, initial-scale=1.0"> 深圳夜景
"container"
>
深圳夜景
"svg-container"
>
"800"
height=
"500"
viewBox=
"0 0 800 500"
>
"800"
height=
"500"
fill=
""
/>
"M0,300 Q100,250 200,280 T400,270 T600,290 T800,300 L800,500 L0,500 Z"
fill=
""
/>
"0"
y=
"450"
width=
"800"
height=
"50"
fill=
""
/>
"buildings"
>
"50"
y=
"200"
width=
"40"
height=
"150"
fill=
""
/>
"90"
y=
"180"
width=
"35"
height=
"170"
fill=
""
/>
"135"
y=
"220"
width=
"30"
height=
"130"
fill=
""
/>
"175"
y=
"190"
width=
"40"
height=
"160"
fill=
""
/>
"225"
y=
"210"
width=
"35"
height=
"140"
fill=
""
/>
"300"
y=
"150"
width=
"60"
height=
"200"
fill=
""
/>
"360"
y=
"120"
width=
"70"
height=
"230"
fill=
""
/>
"440"
y=
"160"
width=
"50"
height=
"190"
fill=
""
/>
"490"
y=
"140"
width=
"65"
height=
"210"
fill=
""
/>
"565"
y=
"170"
width=
"55"
height=
"180"
fill=
""
/>
"650"
y=
"200"
width=
"40"
height=
"150"
fill=
""
/>
"695"
y=
"180"
width=
"35"
height=
"170"
fill=
""
/>
"735"
y=
"220"
width=
"30"
height=
"130"
fill=
""
/>
"775"
y=
"190"
width=
"40"
height=
"160"
fill=
""
/>
"825"
y=
"210"
width=
"35"
height=
"140"
fill=
""
/>
"neon-lights"
>
"50"
y=
"200"
width=
"40"
height=
"5"
fill=
""
class=
"neon-light"
/>
"90"
y=
"180"
width=
"35"
height=
"5"
fill=
""
class=
"neon-light"
/>
"135"
y=
"220"
width=
"30"
height=
"5"
fill=
""
class=
"neon-light"
/>
"175"
y=
"190"
width=
"40"
height=
"5"
fill=
""
class=
"neon-light"
/>
"225"
y=
"210"
width=
"35"
height=
"5"
fill=
""
class=
"neon-light"
/>
"300"
y=
"150"
width=
"60"
height=
"5"
fill=
""
class=
"neon-light"
/>
"360"
y=
"120"
width=
"70"
height=
"5"
fill=
""
class=
"neon-light"
/>
"440"
y=
"160"
width=
"50"
height=
"5"
fill=
""
class=
"neon-light"
/>
"490"
y=
"140"
width=
"65"
height=
"5"
fill=
""
class=
"neon-light"
/>
"565"
y=
"170"
width=
"55"
height=
"5"
fill=
""
class=
"neon-light"
/>
"650"
y=
"200"
width=
"40"
height=
"5"
fill=
""
class=
"neon-light"
/>
"695"
y=
"180"
width=
"35"
height=
"5"
fill=
""
class=
"neon-light"
/>
"735"
y=
"220"
width=
"30"
height=
"5"
fill=
""
class=
"neon-light"
/>
"775"
y=
"190"
width=
"40"
height=
"5"
fill=
""
class=
"neon-light"
/>
"825"
y=
"210"
width=
"35"
height=
"5"
fill=
""
class=
"neon-light"
/>
"M100,250 Q150,200 200,250 T300,200 T400,250 T500,200 T600,250 T700,200 T800,250"
fill=
"none"
stroke=
""
stroke-width=
"3"
class=
"neon-light"
/>
"150"
cy=
"180"
r=
"3"
fill=
""
class=
"neon-light"
>
"
class=
"neon-light"
>
"
class=
"neon-light"
>
"
class=
"neon-light"
>
"
class=
"neon-light"
>
"
class=
"neon-light"
>
"
class=
"neon-light"
>
"
/>
"685"
cy=
"65"
r=
"15"
fill=
""
/>
vibe coding 3:武松打虎 webvibe coding prompt:請生成一個單文件 HTML 頁面,主題:武松打虎。頁面需包含:標(biāo)題、簡介段落、一段描寫打虎場景的正文、至少一張配圖(可用占位圖 URL),并用干凈的 CSS 美化頁面(響應(yīng)式)。輸出完整的 HTML 文件源碼。
"zh-CN">
"UTF-8">
"viewport" content="width=device-width, initial-scale=1.0"> 武松打虎 - 水滸傳經(jīng)典故事
武松打虎
"subtitle">水滸傳經(jīng)典故事之一
"container"
>
"intro"
>
故事簡介
《武松打虎》是中國古典四大名著之一《水滸傳》中的經(jīng)典章節(jié),講述了武松在景陽岡上與一只猛虎搏斗并最終將其擊斃的英勇事跡。這一故事不僅展現(xiàn)了武松的勇猛無畏,也體現(xiàn)了中國傳統(tǒng)文化中"義薄云天"的俠義精神。
武松原是山東清河縣人,因殺死殺兄仇人西門慶而被迫逃亡,途經(jīng)景陽岡時遭遇猛虎。在酒醉狀態(tài)下,他憑借過人的勇氣和武藝,與老虎展開殊死搏斗,最終成功將其擊斃,成為民間傳頌的英雄人物。
"story"
>
故事正文
話說武松在孟州牢城營做了三年牢,后來被釋放,前往東京投奔哥哥武大郎。路經(jīng)山東陽谷縣境內(nèi)的景陽岡時,已是黃昏時分。武松走得口渴難耐,見路邊有一家酒店,便進(jìn)去喝酒。
店家見武松生得壯實,便勸他多飲幾杯。武松本就性情豪爽,又加上連日趕路勞累,便喝了十八碗烈酒。酒酣耳熱之際,店家告訴他前方有一條景陽岡,上面有一只吃人的吊睛白額大蟲,勸他不要獨自前往。
武松卻不以為然,認(rèn)為自己身強力壯,何懼猛虎?他拍案叫道:"你這廝休要危言聳聽!若真有那畜生,我必教他知道爺爺?shù)氖侄危?說罷,提起行李,搖搖晃晃地向景陽岡走去。
剛上岡不遠(yuǎn),忽聽得樹林中風(fēng)聲颯颯,草木簌簌。武松定睛看時,只見一只斑斕猛虎從林中竄出,直撲過來。武松雖然酒醉,但見到猛虎,酒醒了一半,急忙抽出樸刀迎戰(zhàn)。
那老虎撲到近前,武松舉刀砍去,卻被老虎躲過。老虎反身一撲,武松側(cè)身閃避,與老虎扭打在一起。兩人(虎)纏斗良久,武松漸漸覺得力氣不支,心想:"今日若死在此處,豈不冤枉!"便奮力掙脫,滾到一旁。
武松見老虎撲空,立即翻身躍起,趁老虎回頭之際,一刀砍在老虎頸上。老虎吃痛,轉(zhuǎn)身再撲。武松又是一刀,這次砍中老虎前腿。老虎吃痛,怒吼連連,再次撲來。
武松見老虎傷勢嚴(yán)重,知道它已是強弩之末,便不再躲閃,挺刀直刺。這一刀正中老虎心窩,老虎發(fā)出一聲慘嚎,倒地而死。武松取出老虎眼珠吞下,又割下老虎皮毛,帶著尸體回到陽谷縣,獻(xiàn)給縣太爺。
縣太爺聞訊親自前來查看,見果然是一只猛虎,便命人將武松送回孟州牢城營。武松因此事跡傳揚開來,聲名大振,后來更是成為梁山好漢之一。
"image-section"
>
"https://images.unsplash.com/photo-1578662996442-48f60103fc96?ixlib=rb-1.2.1&auto=format&fit=crop&w=800&q=80" alt="武松打虎場景">
"image-caption">武松與老虎搏斗的經(jīng)典場景
? 2023 中國古典文學(xué)故事 | 《水滸傳》經(jīng)典篇章
----- END -----
![]()
wisemodel相關(guān):
系列模型:
關(guān)于wisemodel更多
1
歡迎持續(xù)關(guān)注和支持
開源社區(qū)建設(shè)需要長期堅持和投入,更需要廣大用戶的積極參與、貢獻(xiàn)和維護(hù),歡迎大家加入wisemodel開源社區(qū)的志愿者計劃和開源共創(chuàng)計劃。期待更多開發(fā)者將開源成果,包括模型、數(shù)據(jù)集和代碼等發(fā)布到 wisemodel.cn 社區(qū),共建中立、開放的AI開源社區(qū)生態(tài)。歡迎掃碼添加wisemodel微信,申請加入wisemodel社群,持續(xù)關(guān)注wisemodel.cn開源社區(qū)動態(tài)。
2
歡迎加盟wisemodel開源社區(qū)
始智AI wisemodel社區(qū)自2023年9月上線以來,逐漸成為影響力日益擴(kuò)大的中立開放的AI開源社區(qū),為了加快公司發(fā)展,我們長期需要技術(shù)、運營等人才加盟,技術(shù)側(cè)重在AI infra、后端開發(fā),熟悉K8S、模型訓(xùn)練和推理等技術(shù), 以及熟悉開發(fā)者生態(tài)運營的成員,歡迎感興趣的朋友加盟,可以通過添加wisemodel微信,或者將簡歷投遞到郵箱:liudaoquan@wisemodel.cn
3
歡迎投稿優(yōu)質(zhì)內(nèi)容
歡迎投稿分享人工智能領(lǐng)域相關(guān)的優(yōu)秀研究成果,鼓勵高校實驗室、大企業(yè)研究團(tuán)隊、個人等,在wisemodel平臺上分享各類優(yōu)質(zhì)內(nèi)容,可以是AI領(lǐng)域最新論文解讀、最新開源成果介紹,也可以是關(guān)于AI技術(shù)實踐、應(yīng)用和總結(jié)等。投稿可以發(fā)郵件到liudaoquan@wisemodel.cn,也可以掃碼添加wisemodel微信。
4
關(guān)于wisemodel開源社區(qū)
始智AI wisemodel.cn開源社區(qū)由清華校友總會AI大數(shù)據(jù)專委會副秘書長劉道全創(chuàng)立,旨在打造和建設(shè)中立開放的AI開源創(chuàng)新社區(qū),將打造成“HuggingFace”之外最活躍的AI開源社區(qū),匯聚主要AI開源模型、數(shù)據(jù)集和代碼等,歡迎高校科研院所、大型互聯(lián)網(wǎng)公司、創(chuàng)新創(chuàng)業(yè)企業(yè)、廣大個人開發(fā)者,以及政府部門、學(xué)會協(xié)會、聯(lián)盟、基金會等,還有投資機(jī)構(gòu)、科技媒體等,共同參與建設(shè)AI開源創(chuàng)新生態(tài)。
向上滑動查看
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.