只要簡(jiǎn)單幾個(gè)提示詞，人工智能（AI）工具就能為我們生成指定的文本、圖片、視頻，一鍵識(shí)別快速給出作業(yè)的答案，甚至能思考并完成PPT的制作。遇到問題先找“AI”，成為越來越多人的日常。然而，圖片可能并不符合時(shí)代背景、給出的答案仔細(xì)查證并不真實(shí)，甚至?xí)幾敕蓷l文或歷史事件……這么聰明的AI，為什么會(huì)“一本正經(jīng)地胡說八道”呢？

AI幻覺與監(jiān)管體系的對(duì)抗（圖片由豆包AI生成）

AI幻覺為多領(lǐng)域引入風(fēng)險(xiǎn)

11月12日，法治日?qǐng)?bào)報(bào)道了北京市通州區(qū)人民法院審結(jié)的一起案件，看似“完美佐證”的案例，卻是AI軟件“捏造”的虛假信息。在一起商事糾紛案件中，原告代理人庭后向法院提交了書面意見，其中援引了名為最高人民法院的某案例及上海一中院的（2022）滬01民終12345號(hào)案件。兩案的事實(shí)細(xì)節(jié)、法律爭(zhēng)議與裁判邏輯都與審理中的案件高度契合，完美佐證原告代理人主張的觀點(diǎn)。

然而，“完美”經(jīng)不起推敲，經(jīng)查，兩起案例均為AI“編造”，是以審理中的案件為基礎(chǔ)反復(fù)向AI大模型軟件提問得出的結(jié)果。這不僅讓我們看到AI虛假信息進(jìn)入司法程序，給司法公正帶來的風(fēng)險(xiǎn)，也將“AI幻覺”的問題重新揭示在大眾面前。

事實(shí)上，AI內(nèi)容造假并非新近話題。早在AI軟件普及之初，就有網(wǎng)友發(fā)現(xiàn)，AI軟件會(huì)生成根本不存在的內(nèi)容，或者引用不存在的法律條文、參考文獻(xiàn)等，雖然大幅提高了生產(chǎn)和工作效率，卻帶來了“信用危機(jī)”。

在今年2月由清華大學(xué)新聞與傳播學(xué)院新媒體研究中心與人工智能學(xué)院發(fā)布的《DeepSeek與AI幻覺》報(bào)告（以下簡(jiǎn)稱報(bào)告）中，AI幻覺被定義為“模型生成與事實(shí)不符、邏輯斷裂或脫離上下文的內(nèi)容，本質(zhì)上是統(tǒng)計(jì)概率驅(qū)動(dòng)的‘合理猜測(cè)’。”

報(bào)告列舉了一起Whisper自動(dòng)語音識(shí)別系統(tǒng)在醫(yī)療領(lǐng)域的應(yīng)用案例。該系統(tǒng)可以將患者與醫(yī)生問診過程的音頻轉(zhuǎn)寫為文字病歷，已覆蓋超過3萬名臨床醫(yī)生和40個(gè)醫(yī)療系統(tǒng)。這本應(yīng)成為將醫(yī)生從繁重的文案工作中解放出來的先進(jìn)工具，卻導(dǎo)致了嚴(yán)重的后果。

經(jīng)查，100多個(gè)小時(shí)的Whisper轉(zhuǎn)錄樣本中，約有一半內(nèi)容存在幻覺。進(jìn)一步調(diào)查發(fā)現(xiàn)，2.6萬份自動(dòng)轉(zhuǎn)錄病例中，幾乎每本都存在瞎編和幻覺問題，對(duì)患者健康和醫(yī)療系統(tǒng)帶來了嚴(yán)重的負(fù)面影響。

究其原因，“看起來非常聰明，能回答很多問題的大語言模型，所謂的‘智能’其實(shí)是算出來的。既然是計(jì)算，本身就存在一定的不確定性，給出來的答案也會(huì)有偏差?！标愮娊忉尩?。

多因素交織導(dǎo)致AI幻覺

那么，影響幻覺率高低的因素有哪些？

“不僅有算法的因素、算力的因素，還有訓(xùn)練數(shù)據(jù)和訓(xùn)練過程的因素，這些因素都會(huì)導(dǎo)致大語言模型出現(xiàn)幻覺率較高的情況。”陳鐘介紹道。

所謂幻覺率高的情形，一方面是計(jì)算本身的算法有相應(yīng)的偏差，還有一些情況雖然算法可能是準(zhǔn)確的，但是計(jì)算精度不夠也會(huì)帶來偏差。此外，數(shù)據(jù)在做訓(xùn)練時(shí)，人類通常會(huì)采用獎(jiǎng)勵(lì)函數(shù)來引導(dǎo)計(jì)算過程和答案之間的對(duì)應(yīng)關(guān)系。一旦獎(jiǎng)勵(lì)函數(shù)出現(xiàn)了偏差，相應(yīng)地也會(huì)帶來幻覺。

值得關(guān)注的是，AI大模型訓(xùn)練過程中還出現(xiàn)了一種新的“數(shù)據(jù)投毒”污染，即在訓(xùn)練AI大模型時(shí)，在數(shù)據(jù)“投喂”的過程中，故意加入一些虛假的內(nèi)容，或者是修改其模型文件（整個(gè)訓(xùn)練的結(jié)果），讓AI生成的答案符合某些特定意圖。

根據(jù)新華網(wǎng)的報(bào)道，當(dāng)訓(xùn)練數(shù)據(jù)中僅有0.01%的虛假文本時(shí)，模型輸出的有害內(nèi)容會(huì)增加11.2%；即使是0.001%的虛假文本，其有害輸出也會(huì)相應(yīng)上升7.2%。

這種“數(shù)據(jù)投毒”除了會(huì)導(dǎo)致不良信息、虛假信息外，還會(huì)造成更嚴(yán)重的后果。比如在醫(yī)療領(lǐng)域，被“投毒”的AI大模型可能會(huì)誤診病情；在金融領(lǐng)域，被篡改的算法可能引發(fā)交易風(fēng)險(xiǎn)；在自動(dòng)駕駛領(lǐng)域，惡意數(shù)據(jù)可能讓車輛在關(guān)鍵時(shí)刻失明，等等。

AI幻覺的分類

陳鐘介紹，AI幻覺又分為事實(shí)性幻覺和忠實(shí)性幻覺。事實(shí)性幻覺指的是AI大模型生成的內(nèi)容與實(shí)際存在于現(xiàn)實(shí)世界的事實(shí)不一致。我們經(jīng)常說的一本正經(jīng)地胡說八道可以理解為事實(shí)性幻覺的一種表現(xiàn)。

忠實(shí)性幻覺指的是AI大模型生成的內(nèi)容與用戶的提問不一致，也就是AI工具給出的答案可能是對(duì)的，但并不是用戶想要的，簡(jiǎn)而言之就是“答非所問”。

舉例來說，如果用戶提問，“糖尿病患者可以通過吃蜂蜜來代替糖嗎？”在事實(shí)性幻覺的情況下，AI大模型可能會(huì)告訴用戶，“是的”，然后介紹蜂蜜是天然的，可以幫助糖尿病患者穩(wěn)定血糖水平?！暗鋵?shí)這個(gè)是錯(cuò)的，蜂蜜也是升糖的。”陳鐘解釋道。

而在忠實(shí)性幻覺情況下，AI大模型可能會(huì)回答，蜂蜜富含微生物和礦物質(zhì)，對(duì)提高免疫力很有幫助，因此是一種健康的食品?！按竽Ｐ徒o出的這句話是對(duì)的，但是我并沒有問它蜂蜜是不是健康食品，我是想問它糖尿病患者能不能吃這件事?！标愮娺M(jìn)一步補(bǔ)充道。

引導(dǎo)AI向善的治理實(shí)踐

針對(duì)AI大模型伴隨的相關(guān)問題，國(guó)際層面廣泛重視并采取了多項(xiàng)行動(dòng)。

在剛剛結(jié)束的世界互聯(lián)網(wǎng)大會(huì)上，《為人類共同福祉構(gòu)建全球人工智能安全與治理體系》報(bào)告正式發(fā)布，提出了以聯(lián)合國(guó)為中心構(gòu)建全球人工智能安全治理體系的機(jī)制舉措與政策建議。近年來，我國(guó)積極通過《生成式人工智能服務(wù)管理暫行辦法》《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法》等法律法規(guī)，探索建立生成合成內(nèi)容標(biāo)識(shí)、安全評(píng)估等制度，來有效防范相關(guān)風(fēng)險(xiǎn)。

實(shí)踐層面，中央網(wǎng)信辦牽頭，在全國(guó)范圍內(nèi)開展“清朗·整治AI技術(shù)濫用”專項(xiàng)行動(dòng)，通過強(qiáng)化AI技術(shù)源頭治理、聚焦利用AI技術(shù)制作違法不良信息等，防范AI技術(shù)濫用，維護(hù)網(wǎng)民合法權(quán)益。

國(guó)際視角，近日，日本政府公布人工智能利用指針草案，要求企業(yè)積極公開信息、防止高度仿真的“深度偽造”圖像等不當(dāng)內(nèi)容擴(kuò)散，并呼吁公眾正確理解AI特性及其潛在風(fēng)險(xiǎn)，如偏見與犯罪用途。

聯(lián)合國(guó)則于去年3月通過了《抓住安全、可靠和值得信賴的人工智能系統(tǒng)帶來的機(jī)遇，促進(jìn)可持續(xù)發(fā)展》決議。歐盟也以《人工智能法》為核心治理框架，通過構(gòu)建風(fēng)險(xiǎn)分級(jí)管控與倫理審查并行的雙重機(jī)制，在維護(hù)安全底線的同時(shí)為人工智能技術(shù)創(chuàng)新保留發(fā)展空間。

用戶何去何從？

陳鐘進(jìn)一步分享了用戶如何應(yīng)對(duì)AI大模型幻覺率高的方法。

他指出，核心在于提高科技素養(yǎng)。要主動(dòng)擁抱新技術(shù)，深入了解大語言模型的計(jì)算原理究竟是什么。在具體操作層面，他表示，對(duì)于只需要用基礎(chǔ)模型就能解決或者回答的問題，盡量少用推理模型。如果必須用到推理模型，則可以通過以下幾種方式盡可能地降低幻覺率。

一是提出相應(yīng)的約束條件，盡可能避免大語言模型朝著沒有約束的方向引出相應(yīng)的幻覺；二是對(duì)比同一問題不同模型給出的答案，掌握幻覺率高和低的模型間的差異。

在此基礎(chǔ)上，陳鐘認(rèn)為最重要的一點(diǎn)是如果所需要的答案對(duì)于真實(shí)性和準(zhǔn)確性的要求極高，一定要通過人工的方式反復(fù)核查核驗(yàn)，而不是簡(jiǎn)單地相信AI模型給出的結(jié)果，并直接引用。

在此層面，中華女子學(xué)院媒介與女性研究院主任、副教授、研究生導(dǎo)師、《AI時(shí)代職場(chǎng)與家庭的雙贏密碼》作者劉旸也給出了青少年安全合理使用AI工具的建議。家庭層面，家長(zhǎng)應(yīng)盡量引導(dǎo)青少年不要直接照搬AI工具生成的答案，而是查看其思考過程；或者說，針對(duì)某道不會(huì)的題目，可以讓AI再生成一道同類型的其他題目，從而實(shí)現(xiàn)繼續(xù)學(xué)習(xí)、增強(qiáng)記憶的效果。青少年自身對(duì)于AI生成的內(nèi)容也要保持合理的警惕，不要一味地完全相信，可以通過交叉驗(yàn)證（用多個(gè)信息來源核對(duì)）、追溯信源（讓AI提供信息來源）、運(yùn)用批判性思維（這個(gè)答案符合常識(shí)和邏輯嗎？）等方法來主動(dòng)辨別AI生成內(nèi)容的真?zhèn)巍?/p>

談及從根源上降低AI大模型生成內(nèi)容的幻覺率，陳鐘呼吁，最主要的還是要靠大語言模型的開發(fā)者，從技術(shù)手段創(chuàng)新層面來解決相應(yīng)的問題。

一些主流的AI大模型廠商，已經(jīng)采取了相應(yīng)措施，從技術(shù)層面筑牢AI幻覺的防御墻。新華網(wǎng)的報(bào)道提到，豆包升級(jí)了深度思考功能，由先搜后想變?yōu)?span id="you3ctz" class="technical_term" style="box-sizing: border-box; color: rgb(0, 85, 255); cursor: pointer;">邊想邊搜，思考過程中可以基于推理多次調(diào)用工具、搜索信息，回復(fù)質(zhì)量明顯提升；通義千問在20多個(gè)通用任務(wù)上應(yīng)用強(qiáng)化學(xué)習(xí)，增強(qiáng)通用能力的同時(shí)糾正不良行為；元寶持續(xù)擴(kuò)充引入各領(lǐng)域的權(quán)威信源，在回答時(shí)交叉校驗(yàn)相關(guān)信息，提高生成內(nèi)容的可靠性。

AI幻覺的治理之路，既是技術(shù)迭代的探索，也是人與智能協(xié)同的修行。唯有持續(xù)強(qiáng)化技術(shù)研發(fā)、健全規(guī)范體系、完善校驗(yàn)機(jī)制，方能從根源上遏制幻覺風(fēng)險(xiǎn)，筑牢AI應(yīng)用的可靠底線。當(dāng)AI工具擺脫“虛妄”的桎梏，以更安全、精準(zhǔn)的姿態(tài)融入生產(chǎn)生活各領(lǐng)域，人工智能技術(shù)在賦能社會(huì)進(jìn)步、增進(jìn)民生福祉方面的重要意義才將持續(xù)放大。

參考資料：

1.新華網(wǎng).新華視點(diǎn)·關(guān)注AI造假丨當(dāng)AI“一本正經(jīng)胡說八道”……2025.09.24.

2.新京報(bào).AI編造“完美”案例，為司法帶來虛假信息風(fēng)險(xiǎn).2025.11.12.

3.人民郵電報(bào).中央網(wǎng)信辦開展“清朗·整治AI技術(shù)濫用”專項(xiàng)行動(dòng).2025.05.08.

4.新浪財(cái)經(jīng).日本政府出臺(tái)人工智能草案 要求AI大模型運(yùn)營(yíng)商降低幻覺率.2025.11.12.

5.人民法院報(bào).人工智能法律治理的國(guó)際實(shí)踐.2025.04.11.

6.信息安全國(guó)家工程研究中心.《為人類共同福祉構(gòu)建全球人工智能安全與治理體系》發(fā)布.2025.11.10.

7.清華大學(xué)新聞與傳播學(xué)院新媒體研究中心、人工智能學(xué)院. DeepSeek與AI幻覺.2025.02.

來源：北京科技報(bào)

采訪專家：陳鐘（北京大學(xué)計(jì)算機(jī)學(xué)院教授、元宇宙技術(shù)研究所所長(zhǎng)）

撰文：記者 賈朔榮