人工智能現(xiàn)在可以參加會議并編寫代碼：但存在隱藏的風(fēng)險

Microsoft 最近推出其所有軟件的新版本，并添加了人工智能（AI）助手，可以為您完成各種任務(wù)。

副駕駛員可以總結(jié)口頭對話團(tuán)隊在線會議，根據(jù)口頭討論提出支持或反對特定觀點的論點，并回復(fù)您的部分電子郵件。它甚至可以編寫計算機(jī)代碼。

這種快速發(fā)展的技術(shù)似乎使我們更接近未來，人工智能使我們的生活更輕松，并消除了我們作為人類必須做的所有無聊和重復(fù)的事情。

但是，盡管這些進(jìn)步都非常令人印象深刻和有用，但我們必須謹(jǐn)慎使用它們大型語言模型（法學(xué)碩士）。盡管它們具有直觀性，但它們?nèi)匀恍枰记刹拍苡行?、可靠和安全地使用它們?/p>

大型語言模型

LLM 是一種“深度學(xué)習(xí)”神經(jīng)網(wǎng)絡(luò)，旨在通過根據(jù)提供的提示分析不同響應(yīng)的概率來理解用戶的意圖。因此，當(dāng)一個人輸入提示時，LLM 會檢查文本并確定最有可能的響應(yīng)。

ChatGPT的，法學(xué)碩士的一個突出例子，可以為各種主題的提示提供答案。然而，盡管 ChatGPT 的回應(yīng)看似知識淵博，但不擁有實際知識。它的響應(yīng)只是基于給定提示的最可能的結(jié)果。

當(dāng)人們向 ChatGPT、Copilot 和其他 LLM 提供他們想要完成的任務(wù)的詳細(xì)描述時，這些模型可以出色地提供高質(zhì)量的響應(yīng)。這可能包括生成文本、圖像或計算機(jī)代碼。

但是，作為人類，我們經(jīng)常突破技術(shù)可以做什么以及它最初設(shè)計的界限。因此，我們開始使用這些系統(tǒng)來做我們應(yīng)該自己完成的跑腿工作。

為什么過度依賴人工智能可能是一個問題

盡管他們看似聰明的反應(yīng)，但我們不能盲目信任LLM 準(zhǔn)確或可靠。我們必須仔細(xì)評估和驗證他們的輸出，確保我們的初始提示反映在提供的答案中。

為了有效地驗證和驗證 LLM 輸出，我們需要對主題有深刻的理解。沒有專業(yè)知識，我們就無法提供必要的質(zhì)量保證。

在我們使用 LLM 來彌合我們自己知識差距的情況下，這一點變得尤為重要。在這里，我們?nèi)狈χR可能會導(dǎo)致我們陷入一種情況，即我們根本無法確定輸出是否正確。這種情況可能會在文本生成和編碼中出現(xiàn)。

使用 AI 參加會議并總結(jié)討論會帶來明顯的可靠性風(fēng)險。

雖然會議記錄基于成績單，但會議記錄的生成方式仍與 LLM 中的其他文本相同。它們?nèi)匀换谡Z言模式和所說的概率，因此在采取行動之前需要驗證。

由于以下原因，他們還遭受解釋問題同音字，發(fā)音相同但含義不同的單詞。由于對話的上下文，人們善于理解在這種情況下的含義。

但人工智能不擅長推斷上下文，也不理解細(xì)微差別。因此，期望它根據(jù)可能錯誤的成績單提出論點會帶來進(jìn)一步的問題。

如果我們使用人工智能來生成計算機(jī)代碼，驗證就更難了。使用測試數(shù)據(jù)測試計算機(jī)代碼是驗證其功能的唯一可靠方法。雖然這表明代碼按預(yù)期運行，但它并不能保證其行為符合現(xiàn)實世界的期望。

假設(shè)我們使用生成式 AI 為情感分析工具創(chuàng)建代碼。目標(biāo)是分析產(chǎn)品評論并將情緒分類為積極、中性或消極。我們可以測試系統(tǒng)的功能并正確驗證代碼功能——從技術(shù)編程的角度來看，它是合理的。

然而，想象一下，我們在現(xiàn)實世界中部署了這樣的軟件，它開始將諷刺性的產(chǎn)品評論歸類為正面的。情感分析系統(tǒng)缺乏必要的上下文知識，無法理解諷刺不被用作正反饋，恰恰相反。

在諸如此類的細(xì)微情況下，驗證代碼的輸出是否與預(yù)期結(jié)果匹配需要專業(yè)知識。

非程序員將不了解用于確保代碼正確的軟件工程原則，例如規(guī)劃、方法、測試和文檔。編程是一門復(fù)雜的學(xué)科，軟件工程作為管理軟件質(zhì)量的領(lǐng)域而出現(xiàn)。

作為我自己的風(fēng)險，存在重大風(fēng)險研究研究表明，非專家會忽略或跳過軟件設(shè)計過程中的關(guān)鍵步驟，從而導(dǎo)致代碼質(zhì)量未知。

驗證和驗證

ChatGPT 和 Copilot 等 LLM 是強(qiáng)大的工具，我們都可以從中受益。但我們必須小心，不要盲目相信提供給我們的產(chǎn)出。

我們正處于基于這項技術(shù)的偉大革命的開端。人工智能有無限的可能性，但它需要被塑造、檢查和驗證。而目前，只有人類才能做到這一點。

西蒙·索恩，計算機(jī)與信息系統(tǒng)高級講師，Cardiff Metropolitan University

本文轉(zhuǎn)載自對話根據(jù)知識共享許可。閱讀原文.

寶寶起名