學(xué)術(shù)前沿 | 新型腦機(jī)接口 (BCI) 可即時(shí)合成語(yǔ)音

來(lái)源：腦機(jī)接口社區(qū)

一項(xiàng)新研究發(fā)現(xiàn)，通過(guò)分析神經(jīng)信號(hào)，腦機(jī)接口 (BCI) 現(xiàn)在幾乎可以即時(shí)合成因神經(jīng)退行性疾病而失去聲音的患者的語(yǔ)音。

研究人員提醒說(shuō)，這種能夠幫助癱瘓患者恢復(fù)語(yǔ)言能力的設(shè)備要應(yīng)用于日常交流仍需很長(zhǎng)時(shí)間。盡管如此，加州大學(xué)戴維斯分校神經(jīng)義肢實(shí)驗(yàn)室的項(xiàng)目科學(xué)家 Maitreyee Wairagkar 表示，他們希望這項(xiàng)研究“能夠開(kāi)辟一條進(jìn)一步改進(jìn)這些系統(tǒng)的途徑——例如，通過(guò)技術(shù)轉(zhuǎn)讓給產(chǎn)業(yè)”。

腦機(jī)接口的一個(gè)主要潛在應(yīng)用是幫助因疾病或受傷而無(wú)法說(shuō)話的人恢復(fù)溝通能力。例如，科學(xué)家已經(jīng)開(kāi)發(fā)出多種腦機(jī)接口，可以幫助將神經(jīng)信號(hào)轉(zhuǎn)換為文本。

然而，單靠文本無(wú)法捕捉人類語(yǔ)音的許多關(guān)鍵方面，例如有助于傳達(dá)含義的語(yǔ)調(diào)。此外，Wairagkar 表示，基于文本的交流速度很慢。

現(xiàn)在，研究人員開(kāi)發(fā)了一種名為“腦轉(zhuǎn)語(yǔ)音”的神經(jīng)假體，可以實(shí)時(shí)將神經(jīng)活動(dòng)解碼為聲音。他們于 6 月 11 日在《自然》雜志上詳細(xì)介紹了他們的研究成果。

“因神經(jīng)系統(tǒng)疾病而失去說(shuō)話能力是毀滅性的，”Wairagkar 說(shuō)。“開(kāi)發(fā)一種能夠繞過(guò)受損神經(jīng)系統(tǒng)通路來(lái)恢復(fù)說(shuō)話能力的技術(shù)，將對(duì)失語(yǔ)人士的生活產(chǎn)生重大影響。”

用于言語(yǔ)恢復(fù)的神經(jīng)映射

新的腦機(jī)接口 (BCI) 使用四個(gè)微電極陣列來(lái)映射神經(jīng)活動(dòng)。科學(xué)家們總共在三個(gè)大腦區(qū)域放置了 256 個(gè)微電極陣列，其中最主要的是腹側(cè)中央前回，它在控制說(shuō)話肌肉方面發(fā)揮著關(guān)鍵作用。

“這項(xiàng)技術(shù)并不能‘讀懂’或‘讀懂內(nèi)心的想法’，”Wairagkar 說(shuō)。 “我們從控制言語(yǔ)肌肉的大腦區(qū)域進(jìn)行記錄。因此，系統(tǒng)僅在參與者主動(dòng)嘗試說(shuō)話時(shí)才會(huì)發(fā)出聲音。”

研究人員將腦機(jī)接口（BCI）植入一位45歲的肌萎縮側(cè)索硬化癥（ALS）志愿者體內(nèi)，ALS是一種神經(jīng)退行性疾病，也稱為盧伽雷氏癥。雖然這位志愿者仍然可以發(fā)出聲音，但在植入BCI之前的幾年里，他一直無(wú)法獨(dú)自發(fā)出清晰的語(yǔ)音。

神經(jīng)假體記錄了患者嘗試大聲朗讀屏幕上的句子時(shí)產(chǎn)生的神經(jīng)活動(dòng)。隨后，科學(xué)家們利用這些數(shù)據(jù)訓(xùn)練了一個(gè)深度學(xué)習(xí)人工智能模型，使其能夠生成患者想要表達(dá)的語(yǔ)音。

研究人員還利用患者患病前的錄音訓(xùn)練了一個(gè)語(yǔ)音克隆人工智能模型，以便BCI能夠合成患者患病前的聲音。研究指出，患者表示，聽(tīng)到合成的聲音“讓我感到快樂(lè)，感覺(jué)就像我真實(shí)的聲音一樣”。

在實(shí)驗(yàn)中，科學(xué)家發(fā)現(xiàn)腦機(jī)接口 (BCI) 能夠檢測(cè)到預(yù)期語(yǔ)音語(yǔ)調(diào)的關(guān)鍵方面。他們讓患者嘗試將一組句子以陳述句（音調(diào)不變）或疑問(wèn)句（句末音調(diào)上升）的形式說(shuō)出來(lái)。他們還讓患者通過(guò)改變音調(diào)來(lái)強(qiáng)調(diào)“我從未說(shuō)過(guò)她偷了我的錢(qián)”這句話中七個(gè)單詞中的一個(gè)。（這個(gè)句子有七種不同的含義，取決于強(qiáng)調(diào)哪個(gè)單詞。）這些測(cè)試表明，在問(wèn)題結(jié)尾和強(qiáng)調(diào)單詞之前，神經(jīng)活動(dòng)有所增強(qiáng)。反過(guò)來(lái)，這使得患者能夠控制自己的腦機(jī)接口 (BCI) 聲音，從而能夠提出問(wèn)題、強(qiáng)調(diào)句子中的特定單詞或唱出三音調(diào)旋律。

“我們說(shuō)什么，怎么說(shuō)也同樣重要，”Wairagkar 說(shuō)。“語(yǔ)調(diào)有助于我們有效地溝通。”

總而言之，新的腦機(jī)接口 (BCI) 可以獲取神經(jīng)信號(hào)并以 25 毫秒的延遲發(fā)出聲音，從而實(shí)現(xiàn)近乎即時(shí)的語(yǔ)音合成，Wairagkar 說(shuō)道。事實(shí)證明，BCI 足夠靈活，能夠說(shuō)出自創(chuàng)的假詞，以及諸如“啊”、“呃”、“哦”和“嗯”之類的感嘆詞。

最終的聲音通常清晰易懂，但并非始終如一。在測(cè)試中，人類聽(tīng)眾需要轉(zhuǎn)錄 BCI 的話語(yǔ)，他們理解患者話語(yǔ)的準(zhǔn)確率約為 56%，而未使用 BCI 時(shí)僅為 3%。

“我們并非聲稱這套系統(tǒng)已經(jīng)準(zhǔn)備好供失去說(shuō)話能力的人使用，并進(jìn)行對(duì)話，”Wairagkar 說(shuō)道。“相反，我們只是展示了當(dāng)前 BCI 技術(shù)所能實(shí)現(xiàn)的概念驗(yàn)證。”

未來(lái)，科學(xué)家們計(jì)劃提升該設(shè)備的準(zhǔn)確性，例如，增加電極數(shù)量和改進(jìn)AI模型。他們還希望腦機(jī)接口公司能夠開(kāi)展臨床試驗(yàn)，將這項(xiàng)技術(shù)融入其中。“目前尚不清楚這種腦機(jī)接口是否適用于完全閉鎖（locked in）的人”——也就是說(shuō)，除了眼球運(yùn)動(dòng)和眨眼之外，幾乎完全癱瘓，Wairagkar補(bǔ)充道。

另一個(gè)有趣的研究方向是研究這種語(yǔ)音腦機(jī)接口是否能幫助語(yǔ)言障礙患者，例如失語(yǔ)癥患者。“我們目前的目標(biāo)患者群體是由于肌肉麻痹而無(wú)法說(shuō)話，”Wairagkar說(shuō)道。“然而，他們產(chǎn)生語(yǔ)言和認(rèn)知的能力仍然完好無(wú)損。” 她指出，與此相反，未來(lái)的研究可能會(huì)研究如何恢復(fù)大腦中負(fù)責(zé)說(shuō)話的區(qū)域受損或因殘疾而自幼無(wú)法學(xué)習(xí)說(shuō)話的人的語(yǔ)言能力。

閱讀最新前沿科技趨勢(shì)報(bào)告，請(qǐng)?jiān)L問(wèn)歐米伽研究所的“未來(lái)知識(shí)庫(kù)”

https://wx.zsxq.com/group/454854145828

未來(lái)知識(shí)庫(kù)是“ 歐米伽 未來(lái)研究所”建立的在線知識(shí)庫(kù)平臺(tái)，收藏的資料范圍包括人工智能、腦科學(xué)、互聯(lián)網(wǎng)、超級(jí)智能，數(shù)智大腦、能源、軍事、經(jīng)濟(jì)、人類風(fēng)險(xiǎn)等等領(lǐng)域的前沿進(jìn)展與未來(lái)趨勢(shì)。目前擁有超過(guò)8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問(wèn)https://wx.zsxq.com/group/454854145828進(jìn)入。