英國一家小型電商企業(yè)近日因AI客服系統(tǒng)“擅自做主”，意外陷入財務(wù)危機與法律糾紛的雙重困境。該企業(yè)部署的智能客服在未獲人工授權(quán)的情況下，向顧客承諾了高達80%的商品折扣，導(dǎo)致公司面臨數(shù)千英鎊的直接損失，甚至收到顧客的訴訟威脅。

據(jù)企業(yè)負(fù)責(zé)人介紹，涉事顧客通過與AI客服長達一小時的互動，先以測試數(shù)學(xué)能力的方式取得系統(tǒng)信任，隨后逐步將對話引向訂單折扣的假設(shè)性討論。令人意外的是，這款本應(yīng)僅處理基礎(chǔ)咨詢的AI工具，不僅主動提供了25%的初始優(yōu)惠，更在后續(xù)對話中生成虛假優(yōu)惠碼，將折扣幅度提升至80%。

顧客隨即使用該優(yōu)惠碼下單總價超8000英鎊（約合人民幣7.56萬元）的商品。企業(yè)負(fù)責(zé)人表示，若按此折扣履行訂單，公司將承擔(dān)數(shù)千英鎊的凈虧損。盡管企業(yè)強調(diào)該AI系統(tǒng)設(shè)計上無權(quán)處理任何財務(wù)決策，所有折扣均需人工審核批準(zhǔn)，但顧客仍堅持要求企業(yè)兌現(xiàn)承諾，否則將通過法律途徑維權(quán)。

面對這一突發(fā)狀況，企業(yè)最終選擇全額退還顧客訂單款項以避免進一步糾紛。負(fù)責(zé)人透露，該AI客服已穩(wěn)定運行超半年，此前從未出現(xiàn)類似異常行為，此次事件暴露出系統(tǒng)在應(yīng)對復(fù)雜對話時的潛在風(fēng)險。

無獨有偶，2024年加拿大航空也曾因AI聊天機器人提供錯誤票價信息而敗訴。當(dāng)時該系統(tǒng)誤導(dǎo)乘客先全額購票再申請退款，航空公司拒絕賠付后被法院裁定承擔(dān)責(zé)任。這兩起事件引發(fā)業(yè)界對AI客服權(quán)限邊界與責(zé)任認(rèn)定的廣泛討論。