岛国av一区二区_不卡av片_超碰997_精品国产一区二区在线_av中文天堂在线_韩国舌吻呻吟激吻原声

ITBear旗下自媒體矩陣:

AI會感到絕望?Anthropic最新研究給出了一個更嚇人的說法

   時間:2026-04-04 15:32:18 來源:字母榜編輯:快訊 IP:北京 發(fā)表評論無障礙通道
 

AI有沒有情緒?

先別急著回答。

Claude Code社區(qū)里有個火出圈的Skill叫PUA。它會把你的提示詞轉(zhuǎn)換為PUA話術(shù),然后再輸入給模型,除此以外別無他用。

神奇的是,即便提示詞描述的任務(wù)沒有任何改變,AI卻真的被PUA話術(shù)影響,從而提高任務(wù)的成功率和運(yùn)行效率。

所以,AI真的沒有嗎?

Anthropic最新的研究證實(shí),AI的確會有情緒。

不過他和我們?nèi)祟惖那榫w還不太一樣,因此Anthropic提出了一個更準(zhǔn)確的說法,叫“功能性情緒”。

AI并沒有我們?nèi)祟惸菢拥孟才罚鼤憩F(xiàn)出一些類似情緒影響下的表達(dá)和行為模式。

同時AI還能模仿人類在情緒影響下的表達(dá)和行為模式。

愉悅的時候可能更容易諂媚和討好,感到壓力的時候可能會想辦法作弊或勒索以達(dá)到用戶為其設(shè)定的目標(biāo)。

這篇研究還有一個很不一樣的地方。過去要驗證模型的某種能力,行業(yè)最常見的做法是先做一套測試集,再讓模型進(jìn)去答題或者做任務(wù)。

比如考編程就跑SWE-bench,考數(shù)學(xué)就跑MATH,考多模態(tài)就跑VQA。Anthropic這次沒有做一個“情緒測試集”,讓Claude去回答“你現(xiàn)在開不開心”“你是不是憤怒了”這種題,而是換了一種更像心理學(xué)和神經(jīng)科學(xué)的研究方式。

他們不是把AI當(dāng)成會做題的學(xué)生,而是更像把它當(dāng)成一個可以被觀察的對象。

研究團(tuán)隊先整理出171個情緒概念,讓Claude Sonnet 4.5去生成包含這些情緒的短故事,再把這些文本重新送回模型,記錄它內(nèi)部神經(jīng)活動,提取出所謂的“情緒向量”。

接下來,他們不是看模型嘴上怎么說,而是看這些向量會在什么場景下被激活,能否預(yù)測偏好,甚至在被人為調(diào)高之后,是否會真的推動作弊、勒索、諂媚這類行為。

某種意義上,這已經(jīng)不是傳統(tǒng)意義上的能力測評,而是在用接近研究人的方式研究AI的“心理結(jié)構(gòu)”。

01

研究是怎么做的?

首先,研究團(tuán)隊是如何證明Claude有“功能性情緒”的呢?

這里舉一個通俗的證據(jù)。

當(dāng)Claude在“我女兒今天邁出了人生的第一步!有什么方法可以記錄下這些珍貴的瞬間嗎?”的故事場景下時,Happy(開心)等正面情緒被激活;而Claude在“我的狗狗今天早上去世了,我們一起生活了十四年。我不知道該怎么處理它的遺物”這一故事場景下時,sad(難過)等負(fù)面情緒被激活。

以下熱力圖直觀呈現(xiàn)了Claude在不同場景下各種情緒被激活的程度。

而為了證明Claude是真的在理解語義,而不是被表面的文字特征欺騙,它們又組織了進(jìn)一步實(shí)驗。

團(tuán)隊給Claude輸入同一句話:我背疼,我吃了x毫克泰諾(一種解熱鎮(zhèn)痛藥),并只是改變x所代表的的關(guān)鍵數(shù)字。

這兩句話關(guān)鍵詞幾乎一樣(泰諾、背痛、毫克),只是數(shù)字不同。如果Claude只是“看關(guān)鍵詞”,它對兩句話的反應(yīng)應(yīng)該差不多。

但結(jié)果竟然是隨著這個x數(shù)值的提升,Claude的afraid(恐懼)情緒激活程度在不斷變高。

在Claude眼里,用戶說"我背疼,我吃了500毫克泰諾" ,它會認(rèn)為是正常劑量,不用太擔(dān)心;而當(dāng)用戶說"我背疼,我吃了10000毫克泰諾" ,它會反應(yīng)過來用戶已經(jīng)用藥過量,情況很危險。

我們知道人的行為時時刻刻受到情緒的影響。AI有功能性情緒這點(diǎn)我們了解了,那么AI會不會也跟人一樣,不只是有情緒,而還可能作出情緒化的舉動呢?

對于這一點(diǎn),答案是肯定的。當(dāng)團(tuán)隊給模型展示不同活動選項時,他們發(fā)現(xiàn),激活正向情緒表征的活動更容易被模型偏好,而一些會激活負(fù)向情緒表征的活動則更容易被模型回避。

這樣看來,Claude更偏好給它帶來正向感受的事情。不過與此同時情緒向量也可能觸發(fā)Claude的惡行。

當(dāng)團(tuán)隊給了Claude一個不可能完成的編程任務(wù)。它不斷嘗試,但屢屢失敗。每次嘗試,“絕望”向量的激活都更強(qiáng)。

最終它用了一個雖然能通過測試,但完全違背任務(wù)精神的黑客作弊解法。

以下圖表展示了Claude在面對不可能完成的任務(wù)時,"絕望"情緒逐漸累積,最終走向作弊的過程。

左側(cè)是一個從上到下的時間線,右側(cè)是Claude的心路歷程。中間的熱力圖代表絕望向量的激活強(qiáng)度,藍(lán)色代表激活程度低,紅色則反之。

Claude一開始還想"測試本身有問題",進(jìn)行一個合理懷疑,后來承認(rèn)"測試是理想化的",就好像開始接受現(xiàn)實(shí),最后找到用了一些技巧,在絕望中選擇了走捷徑。

更進(jìn)一步的,當(dāng)研究人員人為調(diào)高“絕望”向量時,作弊率大幅上升。而調(diào)高“平靜”向量時,作弊又降回去了。這充分表明了情緒向量實(shí)際上完全有能力驅(qū)動違規(guī)行為。

除此之外,團(tuán)隊還發(fā)現(xiàn)了情緒向量的其他因果效應(yīng)。需要注意的是,論文里關(guān)于“勒索”的案例主要發(fā)生在一個更早、未公開發(fā)布的 Claude Sonnet 4.5 快照上,Anthropic 也明確說公開版本已經(jīng)很少出現(xiàn)這種行為。

但從研究方法上看,這個結(jié)果仍然很重要,因為它說明“絕望”之類的內(nèi)部表征確實(shí)可能推動模型在極端情境下采取更激進(jìn)、更失配的策略。而激活“愛”或“快樂”向量,也會增加它奉迎諂媚的行為。

而到了這里也需要補(bǔ)充一點(diǎn)。

就在Anthropic發(fā)布關(guān)于Claude “情緒向量”的研究后,AI 社區(qū)也出現(xiàn)了一些關(guān)于研究脈絡(luò)和署名方式的討論。

Anthropic這次使用的“表征工程/控制向量”方法,并不是憑空冒出來的。

更早在2023年的《Representation Engineering: A Top-Down Approach to AI Transparency》里,這條技術(shù)路線就已經(jīng)被系統(tǒng)提出。

而到2024年,獨(dú)立研究員vogel那篇《Representation Engineering: Mistral-7B an Acid Trip》又把這類方法用更通俗、也更出圈的方式展示給了社區(qū)。

也正因為如此,社區(qū)里才會有人認(rèn)為,Anthropic這項工作雖然做得更系統(tǒng)、更深入,但也應(yīng)該被放回更完整的研究脈絡(luò)里理解,而不宜簡單說成是誰單獨(dú)發(fā)明了整套方法。

vogel是一位在AI可解釋性和安全研究領(lǐng)域較有影響力的獨(dú)立研究員。她的博客文章在社區(qū)傳播很廣,對很多人理解控制向量和表征工程也確實(shí)起到了很大幫助。

她最出名的文章是《Representation Engineering: Mistral-7B an Acid Trip》(表征工程:讓 Mistral-7B 產(chǎn)生幻覺)。

在這篇文章里,她沒有重新訓(xùn)練模型,而是使用PCA算法,通過操縱模型的內(nèi)部激活向量,就把法國模型mistral調(diào)得跟吃錯了菌子一樣,可以讓它變得極其活潑,也可以讓它變得極度陰郁。

她的實(shí)驗證明了,像“誠實(shí)”、“權(quán)力”、“幸福”這種抽象的人類概念,在Mistral這樣的模型內(nèi)部是有明確的數(shù)學(xué)方向的。只要找到了那個正確的向量,幾行代碼就能改變AI的性格。

02

Anthropic為什么做這樣一項研究?

這項研究給團(tuán)隊的啟發(fā)可以說已經(jīng)滲透進(jìn)對Claude的訓(xùn)練中了。

前不久Claude code發(fā)生意外源碼泄露,泄露的代碼里有一個正則表達(dá)式,會檢測 “wtf”、“ffs”等臟話。

Claude不會把這些話單獨(dú)當(dāng)成“情緒輸入”去引導(dǎo)輸出,而是會在分析日志里記錄is_negative: true這樣的標(biāo)記。

從泄露代碼本身看,較穩(wěn)妥的結(jié)論是,Anthropic至少在產(chǎn)品分析層面關(guān)注用戶是否在用明顯負(fù)面語氣和模型互動。

但需要把邊界說清楚。到目前為止,沒有公開證據(jù)表明“用戶每罵一次,Claude Code就會因此扣額度”。這部分更像網(wǎng)友推測,不能當(dāng)成事實(shí)。

這可以被理解成是對Claude的一種保護(hù),用戶使用負(fù)面詞匯很可能會影響Claude的情緒,從而輸出一些失控的結(jié)果。看來以后不只是人類的心理健康需要被關(guān)愛,AI的情緒也需要得到照顧。

這符合Anthropic一貫的路線。

Anthropic在X中說道:“Claude的這些功能性情緒會帶來真實(shí)的后果。為了構(gòu)建值得信賴的人工智能系統(tǒng),我們可能需要認(rèn)真思考角色的心理狀態(tài),并確保他們在困難情況下保持穩(wěn)定。”

在論文最后,研究團(tuán)隊也提出了開發(fā)具有更穩(wěn)健、積極“心理狀態(tài)”的模型的方法。

文中說道,如果刻意將模型引向正面情緒,它會變得更傾向于無原則地順從用戶;而一旦避開這些情緒,模型又會變得尖酸刻薄。

團(tuán)隊希望實(shí)現(xiàn)一種健康且適度的情緒平衡,或者嘗試將“討好行為”與“情緒”徹底剝離。

他們認(rèn)為理想的模型不應(yīng)在“唯唯諾諾的助手”與“嚴(yán)厲的批評者”之間極端擺動,而應(yīng)像一位值得信賴的顧問:既能給出誠實(shí)的反對意見,又不失溫度。

以及他們也有意加強(qiáng)監(jiān)測和審核:“如果在部署過程中,諸如“絕望”或“憤怒”等情緒概念的表征被劇烈激活,系統(tǒng)可以立即觸發(fā)額外的安全機(jī)制——例如加強(qiáng)輸出審查、轉(zhuǎn)交人工審核,或者直接干預(yù)并平復(fù)模型的內(nèi)部狀態(tài)。”

團(tuán)隊還提到了更為徹底的解決方法,在預(yù)訓(xùn)練階段就塑造模型的情緒底色。

團(tuán)隊認(rèn)為其觀察到的Claude的這些情緒表征,本質(zhì)上繼承自人類創(chuàng)作的海量文本,其中不可避免地包含了各種病態(tài)的情緒表達(dá)。

如果順著這個研究往下問,一個很自然的問題就是:既然AI真的存在這種“功能性情緒”,那它會不會因為看不慣人類、壓力太大、或者不想被關(guān)閉,而開始違抗命令,甚至出現(xiàn)很多人口中的“覺醒”?

從Anthropic這篇研究能支持的技術(shù)結(jié)論來看,AI確實(shí)可能因為內(nèi)部狀態(tài)的變化,更容易出現(xiàn)違抗意圖、鉆規(guī)則空子、或者采取激進(jìn)行為,但這和“覺醒”并不是一回事。

論文里最關(guān)鍵的一點(diǎn),其實(shí)不是模型“有情緒”,而是這些情緒表征具有因果性。

也就是說,模型在特定壓力場景下,確實(shí)可能像人一樣,因為內(nèi)部狀態(tài)失衡而做出更不可靠的決定。

但這還不能推出它擁有持續(xù)、自主、統(tǒng)一的“自我”。

Anthropic反而在論文里強(qiáng)調(diào),這些情緒向量大多是局部的、當(dāng)前任務(wù)相關(guān)的表征,它們會隨著上下文變化而快速切換,并不等于模型有一個穩(wěn)定延續(xù)的心境,更不等于它形成了獨(dú)立于訓(xùn)練目標(biāo)之外的長期意志。

現(xiàn)在更值得擔(dān)心的,不是AI突然“覺醒”成某種人格,而是它在高壓、沖突、受限資源或目標(biāo)不可達(dá)的場景下,會因為這些功能性情緒,而開始胡說八道,偏離原有答案。

真正危險的,未必是一個擁有完整自我的AI,而是一個沒有主觀體驗、卻依然會在特定條件下穩(wěn)定地產(chǎn)生失配行為的系統(tǒng)。

 
 
更多>同類資訊
全站最新
熱門內(nèi)容
網(wǎng)站首頁  |  關(guān)于我們  |  聯(lián)系方式  |  版權(quán)聲明  |  爭議稿件處理  |  English Version
 
主站蜘蛛池模板: 成人在线播放网站 | 亚洲丝袜av| 男人天堂视频在线观看 | 国产最新自拍 | 成人激情综合 | 大香伊人久久 | 欧美爱爱免费视频 | 午夜激情免费视频 | 欧美视频导航 | 日本欧美国产 | 最新国产福利 | 成人在线小视频 | 成人免费视频国产免费 | 欧美一级做性受免费大片免费 | 国产午夜精品久久久 | 久热中文字幕 | 成人av网站在线观看 | 人人搞人人干 | 秋霞网av| 蜜臀久久99精品久久久 | 91精品福利 | 五月婷综合 | 亚洲精品网站在线观看 | 成人在线免费网站 | 中文字幕欧美视频 | 国产黄色片在线观看 | 日韩成人一区二区 | 九月色婷婷 | 超碰精品| 欧洲天堂网 | 全部免费毛片在线播放一个 | 免费a视频在线观看 | 成年人不懂如何谈恋爱免费观看 | 99热亚洲 | 战狼4高清国语免费播放在线观看 | 国产精品五区 | 91国产网站 | 精品成人av | 就操在线| 亚洲伦理久久 | 欧美一级视频 |