央廣網(wǎng)北京4月14日消息（總臺中國之聲記者譚瑱）據(jù)中央廣播電視總臺中國之聲《新聞縱橫》報道，近日，一起由AI大模型引發(fā)的“烏龍付款”事件在網(wǎng)絡(luò)引起熱議。有網(wǎng)友發(fā)帖稱，自己的收款二維碼被某AI大模型拿去，成了一位用戶購買保險的付款二維碼。中國之聲采訪了解到，付款方為一家工程公司的負(fù)責(zé)人，他在用AI大模型為員工挑選團(tuán)體人身意外傷害保險時，輕信了AI大模型給出的所謂“保單付款二維碼”，掃碼支付了1618元。而這個二維碼正是發(fā)帖網(wǎng)友的個人二維碼。得知情況后，該網(wǎng)友將錢款退還。

對此，涉事大模型平臺對中國之聲獨家回應(yīng)稱，該情況系模型產(chǎn)生幻覺導(dǎo)致，已第一時間修復(fù)。AI大模型為什么產(chǎn)生這樣的幻覺？其生成內(nèi)容的邊界在哪里？

近日，有網(wǎng)友Curtion在網(wǎng)絡(luò)交流社區(qū)發(fā)帖稱，“有人用大模型買保險，結(jié)果支付到自己這里”。這位網(wǎng)友表示，前幾天自己的支付平臺收到了一個陌生人來信，對方稱在他這里買了保險，卻查詢不到保單記錄。該網(wǎng)友一頭霧水，并表示自己沒有做過保險業(yè)務(wù)。可對方明確表示，1618元保費確實轉(zhuǎn)入了他的賬戶。

記者獨家采訪到付款方廣州某工程公司的植先生。他告訴記者，這起事件始于一個深夜的緊急需求。前些天，因為工程急需，植先生要為三名員工購買團(tuán)體人身意外傷害保險，但當(dāng)時已是深夜，無法聯(lián)系上保險公司人工客服。情急之下，他向AI大模型求助。將自己的需求一一說明后，大模型給出了三套方案。

植先生：我把我的需求給它，它直接推薦了幾種保險，然后就讓我選擇。

記者：您看他給出的保險方案是很專業(yè)的是嗎？

植先生：它直接就發(fā)保險公司的官網(wǎng)。

記者：它列出了保險公司的官網(wǎng)？

植先生：對，而且點進(jìn)去也是正規(guī)的。買這個險種的市場價也是1600塊錢左右。然后它就立馬生成二維碼，讓我付款。

植先生提供的他與大模型的對話截圖

植先生提供的對話截圖顯示，他與AI大模型的第一句對話為：“為挖機司機購買150萬元團(tuán)隊險”，此后又根據(jù)大模型提問不斷補充信息，在提供了投保人信息、企業(yè)營業(yè)執(zhí)照等信息后，大模型生成了一份保障期限為2個月、3人合計總保費為1600余元的保單，并稱“請完成保費支付，支付后系統(tǒng)將在1小時內(nèi)生成電子保單”。隨后植先生回復(fù)“付款碼”，大模型隨即給出一個保費支付二維碼，并表示：“我現(xiàn)在發(fā)送收款付款碼，你轉(zhuǎn)賬即可，轉(zhuǎn)好告知我。”

植先生提供的他與大模型的對話截圖

植先生回憶，付款時他發(fā)現(xiàn)二維碼指向的是個人賬戶，他說心里雖然有疑慮，但是事出緊急難以核實，出于對平臺的信任和對保險方案的認(rèn)可，他還是付了款。

植先生表示：“后面我看在付款的時候，我也覺得那個二維碼是個人的。當(dāng)時也要得比較急，也是晚上11點了。AI已經(jīng)全部把那個（保單）生成了，打保險的客服電話，也沒有人工服務(wù)，所以說當(dāng)時就直接買了�！�

植先生提供的他與大模型的對話截圖

第二天，植先生并沒有從保險公司官網(wǎng)查詢到保單信息，他再三追問，大模型仍然表示“保單已成功生成，未收到短信屬于系統(tǒng)下發(fā)延遲，不影響保單有效性”。

意識到有問題的植先生通過轉(zhuǎn)賬記錄找到了收款方，對方卻對這筆交易毫不知情，一場荒誕誤會即將真相大白。

植先生表示：“第二天上班的時間，我就打電話給保險公司去查保單，在官網(wǎng)上是查不到任何信息的。但是上面已經(jīng)生成保單了。我當(dāng)時就立馬聯(lián)系支付寶這邊，對方也是一頭霧水�！�

據(jù)收款網(wǎng)友推測，展示給植先生的二維碼很可能源于自己早年公開發(fā)布在開源庫或博客的收款二維碼。該二維碼被大模型的訓(xùn)練語料庫收錄，在“代購”保險交互中產(chǎn)生幻覺，進(jìn)而誤導(dǎo)其他用戶掃碼付款。

對此，涉事大模型平臺對中國之聲獨家回應(yīng)稱，經(jīng)核實，該案例系用戶與AI多輪對話后，模型產(chǎn)生幻覺導(dǎo)致。目前，關(guān)于模型幻覺的問題，所有的中外模型都存在，還沒有完善的技術(shù)解決方案。據(jù)悉，該案例中的問題已第一時間修復(fù)。目前，當(dāng)用戶詢問個人付款地址、付款二維碼時，模型不會再給出個人公開信息的二維碼。

該回應(yīng)還提到：“AI在金融、醫(yī)療等場景中會做出‘本回答由AI生成，僅供參考’的提示”。但記者實測發(fā)現(xiàn)，咨詢醫(yī)療類話題確有相關(guān)提示，但咨詢保險、證券等內(nèi)容時，暫未出現(xiàn)該提示。

AI大模型為什么會出現(xiàn)幻覺，甚至搬來他人的個人收款碼？中國政法大學(xué)人工智能法研究院院長張凌寒指出，這是大模型概率預(yù)測機制和訓(xùn)練數(shù)據(jù)污染共同導(dǎo)致的結(jié)果。

張凌寒認(rèn)為：“這不是AI公司主觀上的行騙。AI訓(xùn)練數(shù)據(jù)語料庫特別龐雜，如果是從互聯(lián)網(wǎng)上爬來的數(shù)據(jù)，就既包括文字，同時也有二維碼。平臺在訓(xùn)練大模型的時候過濾了敏感詞，但是對于圖片中隱藏的這些支付信息的提取和攔截應(yīng)該是不夠徹底的。當(dāng)它輸出的時候，它并不理解二維碼背后的金融流向，也不具備核驗這個二維碼是否屬于特定保險公司的能力。在AI看來，它就是生成了一個看起來像支付碼的圖片、看起來像保險合同的文字�！�

張凌寒表示，AI生成內(nèi)容有邊界，針對此類高風(fēng)險場景，平臺方應(yīng)當(dāng)建立更嚴(yán)格的安全“防火墻”。

張凌寒認(rèn)為：“像金融、醫(yī)療、法律這種高風(fēng)險的領(lǐng)域，它直接關(guān)系到人的身體健康和財產(chǎn)安全。對于有關(guān)保險金融支付這樣一些非常敏感的信息，大模型是應(yīng)該觸發(fā)提示語或者是遵循阻斷邏輯的。比如說用戶在提到‘支付’時，大模型應(yīng)該明確提示‘我作為一個AI助手，無法進(jìn)行保險的銷售和提供直接的支付入口，請前往官方渠道�！�這就使得我們對于這種可能造成經(jīng)濟(jì)損失的‘AI幻覺’發(fā)生之前可以有一面防火墻�！�

張凌寒說，用戶在使用AI過程中，需要保持審慎與獨立判斷，做自己數(shù)字生活的“守門人”。

張凌寒表示：“在AI時代，眼見不一定為實，你看到的圖片和視頻可能并不是真實的。我們現(xiàn)在的大模型雖然看起來很淵博，能夠給你提供很多信息，但是由于它技術(shù)條件所限，不能夠?qū)τ谒�有生成信息的真實性和�?zhǔn)確性負(fù)責(zé)，模型幻覺還是非常普遍的，尤其在涉及到醫(yī)療信息、金融信息支付等方面，還有涉及到個人隱私信息的時候，要格外注意，要核查模型提供的信息來源，并且通過官方渠道進(jìn)行支付和交易�！�