諾貝爾物理學(xué)獎(jiǎng)：Hopfield 和 Hinton 的 AI 如何改變我們的世界

如果您在觀看最新的 AI 生成的視頻時(shí)驚掉了下巴，您的銀行余額被欺詐檢測系統(tǒng)從犯罪分子手中挽救出來，或者您的一天因?yàn)槟軌蛟诒寂苤锌谑龆绦哦兊酶虞p松，那么您要感謝許多科學(xué)家、數(shù)學(xué)家和工程師。

但是，有兩個(gè)名字對使這些體驗(yàn)成為可能的深度學(xué)習(xí)技術(shù)做出了基礎(chǔ)性貢獻(xiàn)，他們是：普林斯頓大學(xué)物理學(xué)家約翰·霍普菲爾德和多倫多大學(xué)計(jì)算機(jī)科學(xué)家杰弗里·辛頓.

這兩位研究人員是獲得諾貝爾物理學(xué)獎(jiǎng)2024 年 10 月 8 日，以表彰他們在人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域的開創(chuàng)性工作。

盡管人工神經(jīng)網(wǎng)絡(luò)是以生物神經(jīng)網(wǎng)絡(luò)為模型的，但兩位研究人員的工作都借鑒了統(tǒng)計(jì)物理學(xué)，因此獲得了物理學(xué)獎(jiǎng)。

神經(jīng)元如何計(jì)算

人工神經(jīng)網(wǎng)絡(luò)起源于對活體大腦中生物神經(jīng)元的研究。1943 年，神經(jīng)生理學(xué)家沃倫·麥卡洛克 （Warren McCulloch） 和邏輯學(xué)家沃爾特·皮茨 （Walter Pitts） 提出了一種神經(jīng)元工作原理的簡單模型.

在 McCulloch-Pitts 模型中，神經(jīng)元與其相鄰的神經(jīng)元相連，并且可以接收來自它們的信號。然后它可以將這些信號組合起來，向其他神經(jīng)元發(fā)送信號。

但有一個(gè)轉(zhuǎn)折點(diǎn)：它可以以不同的方式權(quán)衡來自不同鄰居的信號。想象一下，您正在嘗試決定是否購買一部新的暢銷手機(jī)。您與您的朋友交談并詢問他們的建議。

一個(gè)簡單的策略是收集所有朋友的推薦，并決定接受大多數(shù)人所說的任何內(nèi)容。例如，您問三個(gè)朋友 Alice、Bob 和 Charlie，他們分別說 yay、yay 和 nay。這導(dǎo)致您決定購買這款手機(jī)，因?yàn)槟袃蓚€(gè) yes 和一個(gè) nay。

但是，您可能會更信任一些朋友，因?yàn)樗麄儗夹g(shù)小工具有深入的了解。因此，您可能決定更多地考慮他們的建議。

例如，如果 Charlie 知識淵博，您可能會數(shù)他的 nay 三次，現(xiàn)在您決定不買手機(jī) – 兩個(gè) yes 和 3 個(gè)反對。

如果你不幸有一個(gè)在技術(shù)小工具問題上完全不信任的朋友，你甚至可以給他們一個(gè)負(fù)的權(quán)重。所以他們的 yay 算作 nay，他們的 nay 算作 yay。

一旦您自己決定新手機(jī)是否是一個(gè)不錯(cuò)的選擇，其他朋友可以向您征求建議。

同樣，在人工和生物神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元可以聚合來自鄰居的信號，并向其他神經(jīng)元發(fā)送信號。

此功能導(dǎo)致了一個(gè)關(guān)鍵區(qū)別：網(wǎng)絡(luò)中是否存在循環(huán)？例如，如果我今天問 Alice、Bob 和 Charlie，明天 Alice 問我推薦，那么就會出現(xiàn)一個(gè)循環(huán)：從 Alice 到我，再從我回到 Alice。

如果神經(jīng)元之間的連接沒有循環(huán)，那么計(jì)算機(jī)科學(xué)家稱它為前饋神經(jīng)網(wǎng)絡(luò)。前饋網(wǎng)絡(luò)中的神經(jīng)元可以分層排列。

第一層由 inputs 組成。第二層從第一層接收信號，依此類推。最后一層表示網(wǎng)絡(luò)的輸出。

但是，如果網(wǎng)絡(luò)中存在一個(gè)循環(huán)，計(jì)算機(jī)科學(xué)家將其稱為遞歸神經(jīng)網(wǎng)絡(luò)，并且神經(jīng)元的排列可能比前饋神經(jīng)網(wǎng)絡(luò)更復(fù)雜。

Hopfield 網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)的最初靈感來自生物學(xué)，但很快其他領(lǐng)域開始影響它們的發(fā)展。這些課程包括邏輯、數(shù)學(xué)和物理。

物理學(xué)家約翰·霍普菲爾德 （John Hopfield） 使用物理學(xué)的思想來研究特定的遞歸神經(jīng)網(wǎng)絡(luò)的類型，現(xiàn)在稱為 Hopfield 網(wǎng)絡(luò)。特別是，他研究了它們的動(dòng)態(tài)：隨著時(shí)間的推移，網(wǎng)絡(luò)會發(fā)生什么變化？

當(dāng)信息通過社交網(wǎng)絡(luò)傳播時(shí)，這種動(dòng)態(tài)也很重要。每個(gè)人都知道模因正在病毒式傳播，回音室在在線社交網(wǎng)絡(luò)中形成。這些都是集體現(xiàn)象，最終由網(wǎng)絡(luò)中人們之間的簡單信息交換產(chǎn)生。

霍普菲爾德是使用物理場中的模型，尤其是那些為研究磁學(xué)而開發(fā)的，以了解遞歸神經(jīng)網(wǎng)絡(luò)的動(dòng)力學(xué)。他還表明，他們的動(dòng)態(tài)可以給這樣的神經(jīng)網(wǎng)絡(luò)一種記憶形式.

玻爾茲曼機(jī)和反向傳播

在 1980 年代，Geoffrey Hinton、計(jì)算神經(jīng)生物學(xué)家 Terrence Sejnowski 和其他人擴(kuò)展了 Hopfield 的想法，創(chuàng)建了一類名為玻爾茲曼機(jī)，以 19 世紀(jì)物理學(xué)家的名字命名路德維希·玻爾茲曼.

顧名思義，這些模型的設(shè)計(jì)植根于玻爾茲曼開創(chuàng)的統(tǒng)計(jì)物理學(xué)。

與可以存儲模式并糾正模式中的錯(cuò)誤的 Hopfield 網(wǎng)絡(luò)不同（就像拼寫檢查器一樣），玻爾茲曼機(jī)器可以生成新模式，從而播下現(xiàn)代生成式 AI 革命的種子。

Hinton 也是 1980 年代發(fā)生的另一項(xiàng)突破的一部分：反向傳播.如果你想讓人工神經(jīng)網(wǎng)絡(luò)完成有趣的任務(wù)，你必須以某種方式為人工神經(jīng)元之間的連接選擇合適的權(quán)重。

反向傳播是一種關(guān)鍵算法，可以根據(jù)網(wǎng)絡(luò)在訓(xùn)練數(shù)據(jù)集上的性能來選擇權(quán)重。然而，訓(xùn)練多層人工神經(jīng)網(wǎng)絡(luò)仍然具有挑戰(zhàn)性。

在 2000 年代，Hinton 和他的同事們巧妙地使用 Boltzmann 機(jī)器訓(xùn)練多層網(wǎng)絡(luò)首先逐層預(yù)訓(xùn)練網(wǎng)絡(luò)，然后在預(yù)訓(xùn)練網(wǎng)絡(luò)之上使用另一種微調(diào)算法來進(jìn)一步調(diào)整權(quán)重。

多層網(wǎng)絡(luò)被重新命名為深度網(wǎng)絡(luò)，深度學(xué)習(xí)革命已經(jīng)開始。

AI 將其回報(bào)給物理學(xué)

諾貝爾物理學(xué)獎(jiǎng)?wù)故玖宋锢韺W(xué)的思想如何促進(jìn)了深度學(xué)習(xí)的興起?，F(xiàn)在，深度學(xué)習(xí)已經(jīng)開始對物理學(xué)進(jìn)行應(yīng)有的回報(bào)，它能夠準(zhǔn)確、快速地模擬從分子和材料一直到整個(gè)地球氣候的系統(tǒng)。

通過將諾貝爾物理學(xué)獎(jiǎng)授予 Hopfield 和 Hinton，該獎(jiǎng)項(xiàng)委員會表明了它對人類利用這些進(jìn)步來促進(jìn)人類福祉和建設(shè)可持續(xù)世界的潛力的希望。

一個(gè)mbuj Tewari， 統(tǒng)計(jì)學(xué)教授，密歇根大學(xué)

本文轉(zhuǎn)載自對話根據(jù) Creative Commons 許可。閱讀原創(chuàng)文章.

寶寶起名