Woman's Brain Implant 將她的想法實(shí)時(shí)轉(zhuǎn)化為語(yǔ)言

在 30 歲時(shí)患上腦干中風(fēng)近二十年后，由于新的腦機(jī)接口 （BCI） 過(guò)程，美國(guó)一名女性重新獲得了將想法實(shí)時(shí)轉(zhuǎn)化為文字的能力。

通過(guò)以 80 毫秒的增量分析她的大腦活動(dòng)并將其轉(zhuǎn)換為她聲音的合成版本，美國(guó)研究人員的創(chuàng)新方法消除了困擾該技術(shù)早期版本的令人沮喪的延遲。

我們的身體能夠按照我們認(rèn)為的方式傳達(dá)聲音，這是我們經(jīng)常認(rèn)為理所當(dāng)然的功能。只有在極少數(shù)時(shí)刻，當(dāng)我們被迫停下來(lái)等待翻譯，或者通過(guò)揚(yáng)聲器聽(tīng)到我們的演講被延遲時(shí)，我們才會(huì)欣賞我們自己解剖結(jié)構(gòu)的速度。

對(duì)于塑造聲音的能力已經(jīng)被切斷的人大腦的言語(yǔ)中樞，無(wú)論是通過(guò)肌萎縮側(cè)索硬化癥或危急病變神經(jīng)系統(tǒng)的組成部分，大腦植入物與專(zhuān)用軟件相結(jié)合，有望獲得新的生命。

一個(gè)數(shù)字之BCI 語(yǔ)音翻譯項(xiàng)目見(jiàn)過(guò)巨大的突破最近，每個(gè)都旨在減少?gòu)乃枷胫挟a(chǎn)生語(yǔ)言所需的時(shí)間。

大多數(shù)現(xiàn)有方法都需要在軟件破譯其含義之前考慮完整的文本塊，這可能會(huì)大大拖延語(yǔ)音起始和發(fā)聲之間的秒數(shù)。

這不僅不自然，而且對(duì)于使用該系統(tǒng)的人來(lái)說(shuō)也可能令人沮喪和不舒服。

“改善語(yǔ)音合成延遲和解碼速度對(duì)于動(dòng)態(tài)對(duì)話(huà)和流暢的交流至關(guān)重要，”來(lái)自加州大學(xué)伯克利分校和舊金山分校的研究人員寫(xiě)在他們發(fā)布的報(bào)告中.

這“由于語(yǔ)音合成需要額外的時(shí)間來(lái)播放以及用戶(hù)和聽(tīng)眾理解合成的音頻這一事實(shí)而變得更加復(fù)雜，”解釋該團(tuán)隊(duì)由加州大學(xué)伯克利分校計(jì)算工程師 Kaylo Littlejohn 領(lǐng)導(dǎo)。

更重要的是，大多數(shù)現(xiàn)有的方法都依賴(lài)于 “說(shuō)話(huà)者” 通過(guò)公開(kāi)地進(jìn)行發(fā)聲動(dòng)作來(lái)訓(xùn)練界面。對(duì)于不練習(xí)或總是難以說(shuō)話(huà)的人來(lái)說(shuō)，為他們的解碼軟件提供足夠的數(shù)據(jù)可能是一個(gè)挑戰(zhàn)。

為了克服這兩個(gè)障礙，研究人員在這位 47 歲的參與者的感覺(jué)運(yùn)動(dòng)皮層活動(dòng)上訓(xùn)練了一個(gè)靈活的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，同時(shí)她從 1,000 多個(gè)單詞的詞匯中默默地“說(shuō)出”了 100 個(gè)獨(dú)特的句子。

Littlejohn 及其同事還使用了一種基于 50 個(gè)短語(yǔ)的輔助交流形式，使用了一組較小的單詞。

與以前的方法不同，這個(gè)過(guò)程不涉及參與者嘗試發(fā)聲——只是在腦海中思考句子。

該系統(tǒng)對(duì)兩種通信方式的解碼都非常出色，每分鐘的平均翻譯字?jǐn)?shù)接近以前方法的兩倍。

重要的是，使用可以連續(xù)即時(shí)解釋的預(yù)測(cè)方法可以使參與者的語(yǔ)音以更自然的方式流動(dòng)，比其他方法快 8 倍。它甚至聽(tīng)起來(lái)像她自己的聲音，這要?dú)w功于一個(gè)基于她之前演講錄音的語(yǔ)音合成程序。

該團(tuán)隊(duì)在沒(méi)有時(shí)間限制的情況下離線運(yùn)行該過(guò)程，表明他們的策略甚至可以解釋代表它沒(méi)有經(jīng)過(guò)刻意訓(xùn)練的單詞的神經(jīng)信號(hào)。

作者指出，在該方法被認(rèn)為在臨床上可行之前，仍有很大的改進(jìn)空間。雖然語(yǔ)音可以理解，但它遠(yuǎn)不及解碼文本的方法。

考慮到多遠(yuǎn)技術(shù)來(lái)了在短短幾年內(nèi)然而，我們有理由樂(lè)觀地認(rèn)為，那些沒(méi)有聲音的人可能很快就會(huì)歌頌研究人員和他們的讀心術(shù)設(shè)備。

這項(xiàng)研究發(fā)表在自然神經(jīng)科學(xué).

寶寶起名 起名