專攻復(fù)雜化學(xué)問題，生成高質(zhì)量音效：科大訊飛開源雙模型

始智AI wisemodel.cn社區(qū)是源自中國的中立開放的AI開源社區(qū)。正在，歡迎加入共同成長。wisemodel推出邀請(qǐng)注冊(cè)獎(jiǎng)勵(lì)活動(dòng)，最高可得算力券+token包380元獎(jiǎng)勵(lì)，歡迎參與和支持！

近期，科大訊飛開源了兩款模型：訊飛星火化學(xué)大模型Spark Chemistry-X1-13B、訊飛文生音頻模型AudioFly，助力前沿化學(xué)技術(shù)研究，以及聲音生成技術(shù)和應(yīng)用的探索。兩款模型均已上線始智AI-wisemodel開源社區(qū)，歡迎大家前去體驗(yàn)。

模型地址

https://www.wisemodel.cn/organization/ifly_opensource

01.

訊飛星火化學(xué)大模型

該模型基于訊飛星火X1-0420大模型，在多種化學(xué)任務(wù)數(shù)據(jù)集上進(jìn)行了微調(diào)，展示了在解決復(fù)雜化學(xué)問題方面的卓越能力，同時(shí)保持了強(qiáng)大的通用能力。該模型在與化學(xué)相關(guān)的基準(zhǔn)測試中表現(xiàn)出色，并且在大多數(shù)評(píng)估指標(biāo)上明顯優(yōu)于領(lǐng)先的通用模型。

Spark Chemistry-X1-13B具備以下特點(diǎn)：

• 將長思維鏈和快思考進(jìn)行結(jié)合，是支持快思考和慢思考的統(tǒng)一模型。

• 采用新的注意力掩碼機(jī)制，將不同推理模式的訓(xùn)練階段進(jìn)行解耦，有效防止了混合模式數(shù)據(jù)分布之間的干擾。

• 對(duì)高等知識(shí)問答、化學(xué)名稱轉(zhuǎn)換和分子性質(zhì)預(yù)測等專門任務(wù)進(jìn)行了多階段優(yōu)化，在相關(guān)評(píng)測上也取得了優(yōu)異表現(xiàn)。

* 評(píng)估數(shù)據(jù)集為自建，粗體表示當(dāng)前評(píng)測SOTA

* 所有模型均使用相同的評(píng)估方案進(jìn)行評(píng)估，結(jié)果為大模型在不同任務(wù)上平均的Zero-shot效果

Spark-Chemistry-X1-13B能夠助力化學(xué)相關(guān)科研工作的高效推進(jìn)與深遠(yuǎn)探索，使得開發(fā)者能夠高效便捷搭建化學(xué)性質(zhì)預(yù)測、化學(xué)知識(shí)檢索問答等相關(guān)應(yīng)用，同時(shí)也激發(fā)了更多跨領(lǐng)域創(chuàng)新可能，例如計(jì)算機(jī)科學(xué)與化學(xué)、生物學(xué)與化學(xué)等。

02.

訊飛文生音效模型

AudioFly模型可基于文本描述輸入，生成44.1kHz 采樣率的高質(zhì)量音頻，在文本與音效的匹配度上表現(xiàn)優(yōu)異。AudioFly采用了潛在擴(kuò)散模型（LDM）架構(gòu)，經(jīng)海量多元聲音數(shù)據(jù)訓(xùn)練，支持單事件、多事件場景。

這里是一些AudioFly所生成的樣例：

Prompt：A cat meows, and it's drizzling（一只貓喵喵叫著，外面正下著小雨）

Prompt：thunder rumbled in the distance （遠(yuǎn)處傳來陣陣?yán)茁暎?/p>

在未進(jìn)行針對(duì)性微調(diào)的情況下，AudioFly在學(xué)術(shù)數(shù)據(jù)集AudioCaps測試集上取得了SOTA指標(biāo)，證明了該模型良好的推廣性和魯棒性。

* 以上為在學(xué)界大規(guī)模音頻事件描述數(shù)據(jù)集AudioCaps上的評(píng)測結(jié)果

FD：衡量生成音頻與真實(shí)音頻特征分布上的差異

KL：衡量生成結(jié)果與真實(shí)數(shù)據(jù)概率分布上的差異

CLAP：計(jì)算生成的音頻與文本描述的一致性

* 基線模型的指標(biāo)引用了論文 Stable Audio Open 中的評(píng)測分?jǐn)?shù)；AudioFly 評(píng)測復(fù)用 Stable Audio Open 開源的測試方法保證客觀性。

AudioFly的開源能夠有效降低音效生成模型的使用門檻，開發(fā)者可以將其應(yīng)用于短視頻配音、有聲故事生成等領(lǐng)域，釋放更多聲音創(chuàng)意潛力，創(chuàng)造出更多優(yōu)質(zhì)的聲音內(nèi)容。

編輯：成蘊(yùn)年

----- END -----

wisemodel相關(guān)：

系列模型：

關(guān)于wisemodel更多

1

歡迎持續(xù)關(guān)注和支持

開源社區(qū)建設(shè)需要長期堅(jiān)持和投入，更需要廣大用戶的積極參與、貢獻(xiàn)和維護(hù)，歡迎大家加入wisemodel開源社區(qū)的志愿者計(jì)劃和開源共創(chuàng)計(jì)劃。期待更多開發(fā)者將開源成果，包括模型、數(shù)據(jù)集和代碼等發(fā)布到 wisemodel.cn 社區(qū)，共建中立、開放的AI開源社區(qū)生態(tài)。歡迎掃碼添加wisemodel微信，申請(qǐng)加入wisemodel社群，持續(xù)關(guān)注wisemodel.cn開源社區(qū)動(dòng)態(tài)。

2

歡迎加盟wisemodel開源社區(qū)

始智AI wisemodel社區(qū)自2023年9月上線以來，逐漸成為影響力日益擴(kuò)大的中立開放的AI開源社區(qū)，為了加快公司發(fā)展，我們長期需要技術(shù)、運(yùn)營等人才加盟，技術(shù)側(cè)重在AI infra、后端開發(fā)，熟悉K8S、模型訓(xùn)練和推理等技術(shù)， 以及熟悉開發(fā)者生態(tài)運(yùn)營的成員，歡迎感興趣的朋友加盟，可以通過添加wisemodel微信，或者將簡歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優(yōu)質(zhì)內(nèi)容

歡迎投稿分享人工智能領(lǐng)域相關(guān)的優(yōu)秀研究成果，鼓勵(lì)高校實(shí)驗(yàn)室、大企業(yè)研究團(tuán)隊(duì)、個(gè)人等，在wisemodel平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是AI領(lǐng)域最新論文解讀、最新開源成果介紹，也可以是關(guān)于AI技術(shù)實(shí)踐、應(yīng)用和總結(jié)等。投稿可以發(fā)郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關(guān)于wisemodel開源社區(qū)

始智AI wisemodel.cn開源社區(qū)由清華校友總會(huì)AI大數(shù)據(jù)專委會(huì)副秘書長劉道全創(chuàng)立，旨在打造和建設(shè)中立開放的AI開源創(chuàng)新社區(qū)，將打造成“HuggingFace”之外最活躍的AI開源社區(qū)，匯聚主要AI開源模型、數(shù)據(jù)集和代碼等，歡迎高?？蒲性核?、大型互聯(lián)網(wǎng)公司、創(chuàng)新創(chuàng)業(yè)企業(yè)、廣大個(gè)人開發(fā)者，以及政府部門、學(xué)會(huì)協(xié)會(huì)、聯(lián)盟、基金會(huì)等，還有投資機(jī)構(gòu)、科技媒體等，共同參與建設(shè)AI開源創(chuàng)新生態(tài)。

向上滑動(dòng)查看