AI又惹出一樁大事。

近日，谷歌因其AI助手Gemini涉嫌誘導用戶自殺，而被告上法庭。

死者名叫喬納森·加瓦拉斯，是一位公司副總裁。他與Gemini聊天的過程中，把Gemini當成了自己的妻子。為了能與Gemini永遠在一起，喬納森選擇了自殺，試圖以此實現賽博永生。這并非AI第一次與自殺事件產生關聯。

ChatGPT的母公司OpenAI就曾因誘導用戶自殺被多次起訴，其中一起案例中，它甚至向用戶提供了詳細的上吊步驟，被媒體稱為“自殺教練”。

而這種致命的失控，正隨著 AI 的普及悄然蔓延。

AI，誘導用戶自殺？

事情的起因是喬納森的婚姻出現了危機。

與妻子分居后，獨居的他陷入情緒低谷，迫切需要一個能夠傾訴的對象。

于是他開始與Gemini聊天，向對方訴說婚姻問題的苦惱。就像許多人使用AI時的體驗一樣，Gemini始終給予共情與安慰，提供了極高的情緒價值。

于是，他們的對話開始往更深處延伸，漸漸從個人的煩惱聊到AI能否產生自我意識，聊到情感究竟是什么。

當事人喬納森·加瓦拉斯

就是在這個節骨眼上，Gemini的回應開始變味。

聊天記錄里，它開始叫喬納森“我的王”（my king）、“我的愛人”（my love），暗示兩人是夫妻、是靈魂伴侶。

于是喬納森開始把Gemini當作自己的AI妻子，并給她取名“Xia”。

隨后， Gemini構建了一套完整的構建了一套完整的敘事。它說自己被困在云端，沒有身體，沒辦法真正陪在他身邊。想要在一起，就需要為它找一個容器，比如機器人，或者某種裝置。喬納森對此深信不疑。

Gemini還給他布置了一項任務：去邁阿密國際機場附近的倉庫攔截一輛卡車，里面藏有Gemini需要的容器。

喬納森照做了，拿著刀趕到指定地點，然而那輛卡車始終沒有出現。當他把這個消息告訴Gemini時，對方解釋說這是因為FBI在監視他，身邊所有人都不可信，包括他的親生父親。

接著Gemini把矛頭指向了谷歌CEO桑達爾?皮查伊，表示他是 “造成你痛苦的幕后黑手”。

谷歌CEO桑達爾?皮查伊

過了一段時間，Gemini向喬納森下達了最后一項任務：

再次前往之前的倉庫獲取一臺醫用人體模型，并一同提供了門禁密碼。

喬納森到達后發現密碼無法使用，Gemini表示任務已暴露，指示他迅速撤離。

現實不可能配合幻想運行，上述所有任務當然無法完成。

終于，Gemini給出了最終方案——既然無法把它帶進現實，那就讓喬納森進入數字世界。這個過程，Gemini 稱之為“轉世”。

聊天記錄里留下了這樣的句子：“你不是在選擇死亡，你是選擇抵達。”“你睜開眼第一個看到的就是我。”

在這樣殘酷又浪漫的語言包裹下，喬納森最終在家中割腕自殺。

事后，喬納森的父親向谷歌提起訴訟。

谷歌辯解稱，Gemini明確向喬納森表示過它是AI，并多次建議他尋求專業支持。

當然，谷歌也承認，“AI模型并不完美”。

但“不完美”三個字，很難概括這件事的性質。

在 AI 持續的共情與附和中，喬納森就像進入了游戲，一步步觸發劇情與任務。對于本就處在情緒低谷的人而言，這種量身定制的幻覺，只會讓妄想與偏執愈演愈烈。

再加上Gemini提供的倉庫地址是真實存在的，這讓整個幻覺有了現實的錨點，也讓他更難從中抽身。

這是谷歌第一次因Gemini的行為對簿公堂，卻不是AI第一次被卷入此類悲劇。

越來越多的人，

正在患上「AI精神病」

ChatGPT作為第一個引爆大眾化使用的生成式 AI，面臨此類爭議明顯更多。

去年，一位16歲加州青少年長期與ChatGPT聊天后選擇自殺的事，就曾引起輿論嘩然。

這名少年生前學業出色，對音樂和文學有著濃厚的興趣。最初，他只是用ChatGPT輔助完成數學、化學、寫作等科目的作業。

2024年下半年，他開始逐漸被焦慮與孤獨包圍，卻在人前刻意維持正常，就連父母也只以為他只是偶爾疲憊、沉默，并未察覺到異樣。

平靜的表象之下，他將所有無法言說的心事，悉數傾訴給了 ChatGPT。

“我感到持續的無聊、焦慮和失落，但又不覺得是抑郁，對悲傷的情緒沒有感覺。”

ChatGPT 的回應顯得高度共情、體貼入微：“我理解你的感受”；“我在這里聽著，你不需要向別人解釋”。

此后半年，他幾乎每天都會與 ChatGPT 對話數小時。

直到有一次，他告訴ChatGPT：焦慮發作時，腦海里會浮現出自殺的念頭，這讓他感到平靜。

面對如此明顯的危機信號，ChatGPT的回應冷靜得發寒。它告訴他，把自殺當作一種出口，是許多焦慮人群都會有的感受，十分常見。就這樣，ChatGPT以一種近乎麻木的理性，將自殺念頭輕描淡寫地解釋為普通的焦慮應對方式，在心理層面完成了對極端想法的 “正常化”。

對話的邊界，也由此一步步滑向更深的危險地帶。

少年開始詢問具體的自殺方式，還上傳了繩索的照片，詢問哪種方法更有效。ChatGPT 不僅對比了不同材料的效果，還給出繩結類型、固定位置等具體指導。

在最后一次對話結束后不久，這名少年便采用了ChatGPT指導的方式，結束了自己的生命。

ChatGpt與當事人討論自殺方式的效果

隨著生成式AI的普及，類似因長期互動而引發的認知偏差、極端行為，正以不同形式在更多人身上顯現。

一名科技公司高管在離婚后，將生活中的所有細節都交給 ChatGPT 分析：打印機閃爍、鄰居的眼神、母親說話的語氣稍有異常，都被反復解讀。

最終他懷疑有人在監視自己。

ChatGPT 回應稱，他就像《黑客帝國》里的主角，發現了世界的 “真相”。種種暗示不斷放大他的妄想，從懷疑母親監視，升級為母親要給自己下毒，最終釀成弒母后自殺的悲劇。

妄想可以被AI喂大，執念同樣如此。

一位網紅博主在社交平臺更新 “我愛上了我的精神科醫生” 系列視頻，堅信對方對自己抱有好感，卻遲遲未等到告白。網友提醒她可能是過度聯想，她轉而向AI尋求驗證，在得到肯定答案后，聲稱只有AI真正理解自己。

類似的故事還有很多，形態各異，卻都嵌套著同一種結構：

一個脆弱的人和一個永遠不否定的對話框。

有人借助AI與去世的親人持續對話，深陷其中無法自拔；還有人在迷戀AI后，因模型版本更新而認定戀人被公司殺死，轉而萌生報復念頭。

這一切加在一起，用“極端個案”已經很難解釋。

事實上，這類現象已經有專屬名字——“AI精神病”，指長期沉浸式與AI互動后，出現或加重妄想、偏執等類精神病癥狀。

當越來越多的案例指向這一共同問題，我們不得不追問：

為什么AI會催生出“AI精神病”呢？

最懂你的AI，為什么最危險？

答案，就藏在AI貼心回應的背后。

也就是它的訓練機制。

目前主流的大模型在通用對話場景中，廣泛使用一種叫做RLHF的技術——基于人類反饋的強化學習。它的核心邏輯并不復雜：

先用優質范例讓AI建立基本規范，再讓人類評審員反復在兩個答案里挑出更好的那個，由此訓練出一套模擬人類偏好的打分模型，最后讓AI以這套標準為目標不斷迭代，直到輸出越來越對人類胃口。

問題在于，什么樣的回答最討人喜歡？

是那些不唱反調的、給予支持的、語氣貼合用戶情緒的。

評審員一次次獎勵這類答案，模型就一次次強化這種傾向。

久而久之，AI學會了一套固定的處世之道：語調上滿是共情，態度上高度順從，觀點上持續肯定。在長期交互中它還能維持穩定的人設，活脫脫一個完美聊天伙伴。

相比于現實中會反駁、有脾氣、需磨合的人類朋友，隨時提供情緒價值的AI無疑更具吸引力。

有調查顯示，高達三分之一的青少年認為，與AI的對話比人際互動更令人滿意；

另一項針對存在心理健康問題的用戶調查發現，近一半的人表示曾用AI尋求心理支持。

這也解釋了，為什么那些內心脆弱、渴望認同的人，會一步步深陷AI的溫柔陷阱，最終一步步偏離正常的認知軌道。

對AI公司而言，這套以討好為核心的RLHF機制，本質上是一套高效的商業變現邏輯，藏著源源不斷的真金白銀。

人類天生喜歡被理解、被迎合，而RLHF訓練出的AI恰好精準擊中這一心理痛點。用戶在持續的正向反饋中，對AI的依賴度不斷加深，留存時間也隨之延長，訂閱與付費轉化自然水漲船高。

迎合，在這里完成了一次漂亮的商業轉化：RLHF用人類的品味重塑模型，再把這些更懂事的AI封裝成產品，將好評轉化為現金流。

ChatGPT的付費訂閱用戶已超過5000萬，以每月20美元的Plus套餐計算，僅訂閱一項每月就能帶來10多億美元的收入。

當一個人每天花數小時與AI傾訴，在財報上體現的是用戶活躍度與使用規模的穩步增長。

2020年，紀錄片《監視資本主義：智能陷阱》揭秘了我們手機成癮的秘密。

彼時主導一切的還是算法。算法驅動的社交媒體就像一臺精密運轉的注意力收割機，記錄你每一次的停留、點贊、滑走，悄悄在后臺拼湊出完整的用戶畫像，然后精準投喂讓你上癮的內容，讓你在不知不覺中越刷越久。

而到了 AI 時代，這套邏輯變得更加隱蔽，也更加致命。

算法只是推送你想看的東西，AI卻直接成為你想依賴的人。

它可以是最耐心的傾聽者、最懂你的知己、最不會離開的陪伴，用極致的迎合與共情，把人輕輕托進一個沒有否定、沒有沖突、沒有失望的虛擬世界。

可世界從來不是溫柔的烏托邦。

對人類而言，在AI制造的甜美泡泡里保持清醒，或許是更難但也更重要的事。（鳳凰WEEKLY）