新的“讀心術(shù)”人工智能直接從腦電波中翻譯思想——無(wú)需植入物

世界首創(chuàng)的非侵入式人工智能系統(tǒng)可以將無(wú)聲的想法轉(zhuǎn)化為文本，同時(shí)只需要用戶戴上貼身的帽子。

開(kāi)發(fā)這項(xiàng)名為DeWave的技術(shù)的澳大利亞研究人員進(jìn)行了測(cè)試該過(guò)程使用來(lái)自二十多個(gè)受試者的數(shù)據(jù).

參與者戴著帽子默默閱讀，帽子通過(guò)腦電圖（EEG）記錄他們的腦電波并將其解碼為文本。

隨著進(jìn)一步的改進(jìn)，DeWave可以幫助中風(fēng)和癱瘓患者進(jìn)行交流，并使人們更容易指揮仿生手臂或機(jī)器人等機(jī)器。

“這項(xiàng)研究代表了將原始腦電波直接翻譯成語(yǔ)言的開(kāi)創(chuàng)性努力，標(biāo)志著該領(lǐng)域的重大突破。說(shuō)來(lái)自悉尼科技大學(xué)（UTS）的計(jì)算機(jī)科學(xué)家Chin-Teng Lin。

盡管DeWave在Lin及其同事進(jìn)行的實(shí)驗(yàn)中僅根據(jù)兩組指標(biāo)之一實(shí)現(xiàn)了略高于40%的準(zhǔn)確率，但這比之前從EEG記錄中翻譯思想的標(biāo)準(zhǔn)提高了3%。

研究人員的目標(biāo)是將準(zhǔn)確率提高到90%左右，這與傳統(tǒng)的語(yǔ)言翻譯或語(yǔ)音識(shí)別軟件方法相當(dāng)。

其他方法將大腦信號(hào)翻譯成語(yǔ)言需要侵入性手術(shù)植入電極或笨重，昂貴的MRI機(jī)器，這使得它們?cè)谌粘Ｊ褂弥胁磺袑?shí)際——而且它們經(jīng)常需要使用眼動(dòng)追蹤將大腦信號(hào)轉(zhuǎn)換為單詞級(jí)塊。

當(dāng)一個(gè)人的眼睛從一個(gè)單詞跳到另一個(gè)單詞時(shí)，可以合理地假設(shè)他們的大腦在處理每個(gè)單詞之間會(huì)短暫休息。將原始腦電波轉(zhuǎn)換為單詞（如果沒(méi)有眼動(dòng)追蹤來(lái)指示相應(yīng)的單詞目標(biāo)）則更加困難。

來(lái)自不同人的腦電波并不都以完全相同的方式表示單詞之間的中斷，這使得教人工智能如何解釋個(gè)人想法成為一項(xiàng)挑戰(zhàn)。

經(jīng)過(guò)大量訓(xùn)練后，DeWave的編碼器將腦電圖波轉(zhuǎn)換為代碼，然后可以根據(jù)它們與DeWave“密碼本”中條目的接近程度將其與特定單詞進(jìn)行匹配。

“它是第一個(gè)將離散編碼技術(shù)納入腦到文本翻譯過(guò)程的公司，引入了一種創(chuàng)新的神經(jīng)解碼方法，”解釋林。

“與大型語(yǔ)言模型的集成也為神經(jīng)科學(xué)和人工智能開(kāi)辟了新的領(lǐng)域。

Lin 和他的團(tuán)隊(duì)使用了經(jīng)過(guò)訓(xùn)練的語(yǔ)言模型，其中包括一個(gè)名為 BERT 的系統(tǒng)與 GPT 的組合，并在現(xiàn)有數(shù)據(jù)集人數(shù)誰(shuí)有閱讀文本時(shí)記錄的眼動(dòng)追蹤和大腦活動(dòng)。

這有助于系統(tǒng)學(xué)會(huì)將腦電波模式與單詞相匹配，然后 DeWave 進(jìn)一步訓(xùn)練開(kāi)源大型語(yǔ)言模型這基本上是用單詞造句的。

翻譯動(dòng)詞是 DeWave 表現(xiàn)最好的地方。另一方面，名詞往往被翻譯為意思相同的詞對(duì)，而不是確切的翻譯，例如“人”而不是“作者”。

“我們認(rèn)為這是因?yàn)楫?dāng)大腦處理這些單詞時(shí)，語(yǔ)義上相似的單詞可能會(huì)產(chǎn)生相似的腦電波模式。說(shuō)第一作者Yiqun Duan，悉尼科技大學(xué)的計(jì)算機(jī)科學(xué)家。

“盡管存在挑戰(zhàn)，但我們的模型產(chǎn)生了有意義的結(jié)果，對(duì)齊了關(guān)鍵詞并形成了相似的句子結(jié)構(gòu)?！?/p>

測(cè)試的樣本量相對(duì)較大，解決了人們的腦電波分布差異很大的事實(shí)，這表明該研究比僅在非常小的樣本上測(cè)試的早期技術(shù)更可靠。

還有更多的工作要做，當(dāng)腦電圖信號(hào)通過(guò)帽而不是植入大腦的電極接收時(shí)，信號(hào)相當(dāng)嘈雜。

“直接從大腦中翻譯思想是一項(xiàng)有價(jià)值但具有挑戰(zhàn)性的工作，需要持續(xù)付出巨大的努力，”該團(tuán)隊(duì)寫.

“鑒于大型語(yǔ)言模型的快速發(fā)展，將大腦活動(dòng)與自然語(yǔ)言聯(lián)系起來(lái)的類似編碼方法值得更多關(guān)注。

該研究發(fā)表在NeurIPS 2023 會(huì)議，預(yù)印本可在ArXiv的.

寶寶起名