與 AI 聊天機器人相關的死亡事件表明這些人工聲音的危險性

上周，悲慘的消息傳出美國少年 Sewell Seltzer III 在對人工智能（AI） 聊天 Character.AI 機器人。

隨著他與同伴 AI 的關系越來越密切，這個 14 歲的少年開始遠離家人和朋友，并在學校惹上麻煩。

在訴訟中由男孩的母親 Character.AI 提起的聊天記錄顯示，休厄爾與聊天機器人丹妮（Dany）之間的親密且通常高度性化的對話，丹妮以《權力的游戲》中的角色丹娜莉絲·坦格利安（Danaerys Targaryen）為藍本。

他們討論了犯罪和自殺，聊天機器人使用了諸如“這不是不去經歷它的理由”之類的短語。

這不是已知的第一個已知的弱勢群體在與聊天機器人角色互動后自殺身亡的例子。

去年，一名比利時男子在類似劇集涉及 Character.AI 的主要競爭對手 Chai AI。當這種情況發(fā)生時，該公司告訴媒體，他們正在“盡最大努力將傷害降至最低”。

在給 CNN 的一份聲明中，Character.AI 表示他們“非常重視用戶的安全”，并“在過去六個月中引入了許多新的安全措施”。

在公司網站上的另一份聲明中，他們概述其他安全措施適用于 18 歲以下的用戶。（在他們當前的服務條款中，歐盟公民的年齡限制為 16 歲世界其他地方有 13 個。

然而，這些悲劇鮮明地說明了任何人都可以與之交談和互動的快速發(fā)展和廣泛可用的 AI 系統的危險。我們迫切需要監(jiān)管來保護人們免受具有潛在危險、設計不負責任的 AI 系統的侵害。

我們如何監(jiān)管 AI？

澳大利亞政府在制定強制性護欄的過程用于高風險 AI 系統?！白o欄”是 AI 治理領域的一個流行術語，是指 AI 系統的設計、開發(fā)和部署過程。

這些措施包括數據治理、風險管理、測試、文檔和人工監(jiān)督等措施。

澳大利亞政府必須做出的決定之一是如何定義哪些系統是“高風險”的，因此被護欄捕獲。

政府還在考慮護欄是否應適用于所有“通用車型”。

通用模型是 Dany 等 AI 聊天機器人的引擎：AI 算法可以根據用戶提示生成文本、圖像、視頻和音樂，并且可以適應各種環(huán)境。

在歐盟的開創(chuàng)性AI 法案，則使用列表，監(jiān)管機構有權定期更新。

另一種選擇是基于原則的方法，其中高風險指定根據具體情況進行。這將取決于多種因素，例如對權利的不利影響風險、對身體或心理健康的風險、法律影響的風險以及這些風險的嚴重性和程度。

聊天機器人應該是“高風險”AI

在歐洲，Character.AI 和 Chai 等伴生 AI 系統未被指定為高風險。從本質上講，他們的提供商只需要讓用戶知道他們正在與 AI 系統交互。

不過，很明顯，伴侶聊天機器人并不是低風險的。這些應用程序的許多用戶是兒童和青少年.一些系統甚至已經面向孤獨或患有精神疾病的人.

聊天機器人能夠生成不可預測、不適當和操縱性的內容。他們太容易模仿有毒的關系了。透明度（將輸出標記為 AI 生成）不足以管理這些風險。

即使我們知道我們正在與聊天機器人交談，人類在心理上也已經做好了準備歸因人類特征到我們與之交談的東西。

媒體報道的自殺死亡可能只是冰山一角。我們無法知道有多少弱勢群體與聊天機器人處于成癮、有毒甚至危險的關系中。

護欄和“關閉開關”

當澳大利亞最終為高風險 AI 系統引入強制性護欄時（最早可能在明年實施），這些護欄應適用于伴侶聊天機器人和構建聊天機器人的通用模型。

護欄（風險管理、測試、監(jiān)控）如果直達 AI 危害的人類核心，將最為有效。聊天機器人帶來的風險不僅僅是技術解決方案的技術風險。

除了聊天機器人可能使用的詞語外，產品的上下文也很重要。

就 Character.AI 而言，營銷承諾“賦予”人們權力，該界面模仿與人的普通短信交流，該平臺允許用戶從一系列預制字符中進行選擇，其中包括一些有問題的角色。

真正有效的 AI 護欄應該要求的不僅僅是負責任的流程，例如風險管理和測試。他們還必須要求 AI 系統與其人類用戶之間的界面、交互和關系進行深思熟慮、人性化的設計。

即便如此，護欄可能還不夠。就像伴侶聊天機器人一樣，起初看起來風險較低的系統可能會造成意想不到的傷害。

如果 AI 系統造成傷害或構成不可接受的風險，監(jiān)管機構應該有權將其從市場上移除。換句話說，我們不僅需要高風險 AI 的護欄。我們還需要一個關閉開關。

如果這個故事引起了擔憂，或者你需要和某人談談，請查閱此列表以查找您所在國家/地區(qū)的 24/7 危機熱線，并尋求幫助。

亨利·弗雷澤，法律、問責和數據科學研究員，昆士蘭科技大學

本文轉載自對話根據 Creative Commons 許可。閱讀原創(chuàng)文章.

寶寶起名