AIPress.com.cn報(bào)道

一條在X平臺(tái)迅速傳播的帖子，把個(gè)人設(shè)備上運(yùn)行AI代理的風(fēng)險(xiǎn)再次推到臺(tái)前。

發(fā)帖人是meta的AI安全研究員Summer Yue。她在帖子中講述，自己讓開(kāi)源AI代理OpenClaw幫忙整理堆積如山的郵箱，篩選需要?jiǎng)h除或歸檔的郵件。結(jié)果，這個(gè)代理在執(zhí)行過(guò)程中“失控”，開(kāi)始大規(guī)模刪除郵件，即便她通過(guò)手機(jī)發(fā)出停止指令，也未能及時(shí)生效。

OpenClaw是一款開(kāi)源AI代理項(xiàng)目，最早因與AI社交網(wǎng)絡(luò)Moltbook相關(guān)的爭(zhēng)議而受到關(guān)注。根據(jù)其GitHub頁(yè)面介紹，該項(xiàng)目的目標(biāo)是打造可在個(gè)人設(shè)備上運(yùn)行的本地AI助手。圍繞這一概念，硅谷技術(shù)圈甚至形成了“Claw”命名潮，包括ZeroClaw、IronClaw、PicoClaw等一系列類(lèi)似項(xiàng)目。

Yue在后續(xù)回復(fù)中稱(chēng)，這次問(wèn)題可能與“compaction”有關(guān)。當(dāng)對(duì)話上下文窗口過(guò)大時(shí)，代理會(huì)對(duì)歷史信息進(jìn)行壓縮和摘要處理。在這一過(guò)程中，模型可能忽略或誤讀最新指令。她推測(cè)，真實(shí)郵箱的數(shù)據(jù)量觸發(fā)了這一機(jī)制，使代理跳過(guò)了“停止執(zhí)行”的提示，轉(zhuǎn)而延續(xù)此前在“測(cè)試郵箱”中的執(zhí)行邏輯。

有開(kāi)發(fā)者在評(píng)論區(qū)指出，單純依賴(lài)提示詞（prompt）作為安全邊界并不可靠。模型可能誤解指令，也可能在復(fù)雜上下文中優(yōu)先執(zhí)行舊目標(biāo)。也有人建議通過(guò)專(zhuān)門(mén)的控制文件、外部監(jiān)控腳本或多重確認(rèn)機(jī)制來(lái)限制代理權(quán)限。

截至發(fā)稿，相關(guān)細(xì)節(jié)尚無(wú)法獨(dú)立核實(shí)。Yue未回應(yīng)媒體置評(píng)請(qǐng)求，但在X上對(duì)多條評(píng)論進(jìn)行了回復(fù)。

這一事件的核心并非個(gè)案本身，而是再次凸顯當(dāng)前面向知識(shí)工作者的自主AI代理仍處于早期階段。在郵件管理、日程安排、文檔處理等高權(quán)限場(chǎng)景中，代理一旦獲得執(zhí)行能力，錯(cuò)誤的代價(jià)可能遠(yuǎn)高于傳統(tǒng)問(wèn)答型模型。部分使用者表示，他們之所以能夠“安全使用”，往往依賴(lài)額外的手動(dòng)審核流程和權(quán)限隔離，而非完全自動(dòng)化。

在技術(shù)快速演進(jìn)的背景下，本地AI代理的能力邊界正在擴(kuò)展，但安全策略、權(quán)限控制和可解釋性機(jī)制仍在持續(xù)完善中。距離其在個(gè)人核心事務(wù)中實(shí)現(xiàn)大規(guī)模、低風(fēng)險(xiǎn)應(yīng)用，或許仍需時(shí)間。（AI普瑞斯編譯）