【資料圖】

據(jù) CNBC 報(bào)道，本周三，OpenAI 宣布計(jì)劃采取一種新的 AI 模型訓(xùn)練方法，以解決“AI 幻覺”難題。

“AI 幻覺”指的是聊天機(jī)器人(行情300024,診股)用編造的信息進(jìn)行回應(yīng)，這是 AI 的自信反應(yīng)。當(dāng)模型有“幻覺”（輸出欺騙性數(shù)據(jù)的傾向）時(shí)，其使用的的訓(xùn)練數(shù)據(jù)并不能證明輸出的合理性。比如，ChatGPT 或 Bard 等模型有時(shí)看似在滔滔不絕陳述事實(shí)，但實(shí)際內(nèi)容卻是“一本正經(jīng)胡說八道”。

OpenAI 研究人員在報(bào)道中寫道，“即使是最先進(jìn)的模型也很容易生成虛假信息——在不確定情況時(shí)，它們往往表現(xiàn)出捏造事實(shí)的傾向。這種幻覺在需要多步推理的領(lǐng)域尤其嚴(yán)重，其中一個(gè)環(huán)節(jié)上的邏輯錯(cuò)誤就足以破壞整個(gè)解答過程?！?/P>

OpenAI 為幻覺問題提出了新的策略：在 AI 模型訓(xùn)練當(dāng)中設(shè)置新的獎(jiǎng)勵(lì)機(jī)制，不僅獎(jiǎng)勵(lì)其獲得正確的最終結(jié)論，更要獎(jiǎng)勵(lì)它們?cè)诘贸龃鸢傅倪^程中做出的每個(gè)正確推理步驟。

研究人員表示，這種方法被稱為“過程監(jiān)督”，而非“結(jié)果監(jiān)督”。由于能夠鼓勵(lì)模型更多遵循人類的“思維”方法鏈，所以過程監(jiān)督方法也許能提高 AI 輸出的可解釋性。

OpenAI 公司數(shù)學(xué)生成（mathgen）研究員 Karl Cobbe 在采訪中指出，“檢測和緩解模型中的邏輯錯(cuò)誤或者幻覺，將是構(gòu)建高一致性 AGI（通用人工智能）的關(guān)鍵一步?！彪m然 OpenAI 之前沒有發(fā)明出過程監(jiān)督方法，但如今亡羊補(bǔ)牢，為時(shí)未晚。“這項(xiàng)研究的動(dòng)機(jī)在于解決幻覺問題，使得模型具備解決挑戰(zhàn)性推理問題的強(qiáng)大能力。”

Cobbe 還提到，OpenAI 已經(jīng)發(fā)布一套附帶數(shù)據(jù)集，其中包含 80 萬個(gè)人類標(biāo)注，用于訓(xùn)練研究論文中描述的這套模型。

解決“AI 幻覺”難題任重道遠(yuǎn)

隨著 AI 技術(shù)得到廣泛應(yīng)用，“AI 幻覺”帶來的潛在問題也開始浮現(xiàn)，并引發(fā)大眾擔(dān)憂。

以谷歌 2 月發(fā)布 Bard 時(shí)的宣傳為例，這款聊天機(jī)器人對(duì)詹姆斯·韋伯太空望遠(yuǎn)鏡做出了錯(cuò)誤描述。最近，ChatGPT 又在紐約聯(lián)邦法院一份文件中引述了“不存在的”案件，涉案律師可能因此面臨處罰。

美國律師 Steven A. Schwartz 向 ChatGPT 求助，想要為自己訴哥倫比亞國家航空一案找點(diǎn)支持案例，ChatGPT 卻給出了根本不存在的判例建議。Schwartz 聲稱他“沒有意識(shí)到 ChatGPT 給出的內(nèi)容可能是假的”。但從他跟機(jī)器人的聊天記錄來看，他還是保持了一絲懷疑，想要進(jìn)一步檢查這些信息。但很遺憾，他選擇詢問 ChatGPT 來確認(rèn)內(nèi)容真實(shí)性，系統(tǒng)則再次做出誤導(dǎo)，向他保證這些虛構(gòu)判例完全真實(shí)合法。

此前在接受《紐約時(shí)報(bào)》采訪時(shí)，OpenAI 的聯(lián)合創(chuàng)始人 Ilya Stutskever 曾坦言 AI 幻覺是個(gè)大問題，但很有可能被“治愈”：我們現(xiàn)在的做法是雇人教會(huì) ChatGPT 如何表現(xiàn)。你只需要與它互動(dòng)，它就能從你的反應(yīng)中推斷出你想要的東西，比如，你對(duì)輸出結(jié)果不滿意。因此，它應(yīng)該在下一次做些不同的事情。我認(rèn)為這種方法很有可能（a quite a high chance）完全解決幻覺的問題。

隨著 OpenAI 最新 AI 模型訓(xùn)練方法的公布，如何解決“AI 幻覺”難題再次引發(fā)討論。

電子隱私信息中心高級(jí)顧問兼 AI 與人權(quán)項(xiàng)目負(fù)責(zé)人 Ben Winters 對(duì) OpenAI 的訓(xùn)練方法表示懷疑，稱實(shí)際效果要在檢查了完整的數(shù)據(jù)集和隨附示例后才能確定。

Winters 強(qiáng)調(diào)，“我只是覺得單憑這一種措施，不足以在實(shí)際應(yīng)用場景當(dāng)中顯著降低 AI 生成錯(cuò)誤信息和不正確結(jié)果的問題……另外，他們會(huì)不會(huì)把研究成果全面納入產(chǎn)品也非常重要。如果不是，這反而會(huì)引發(fā)其他嚴(yán)重問題，比如操縱模型有選擇地向公眾發(fā)布信息?！?/P>

考慮到還不清楚 OpenAI 論文有沒有經(jīng)過同行評(píng)審或者其他形式的評(píng)審，布朗大學(xué)技術(shù)責(zé)任中心主任 Suresh Venkatasubramanian 認(rèn)為這項(xiàng)研究的意義更多在于初步觀察，而非實(shí)際應(yīng)用。

Venkatasubramanian 指出，“在對(duì)此給予肯定之前，首先得等待這項(xiàng)成果在研究領(lǐng)域得到證實(shí)。這個(gè)世界上，很多結(jié)果總會(huì)定期出現(xiàn)。因?yàn)榇笳Z言模型的工作方式總體上并不穩(wěn)定，所以在某一種設(shè)置、模型和上下文中起效的東西，很可能在另一種設(shè)置、模型和上下文中毫無作用。人們最擔(dān)心的「幻覺」，其實(shí)是模型可能捏造的引用和參考資料。但文中沒有能解決這個(gè)問題的證據(jù)?！也皇钦f一定解決不了，只是說這篇論文缺乏相關(guān)證據(jù)。”

在強(qiáng)調(diào) ChatGPT 局限性方面，OpenAI 做得還不夠

OpenAI 能夠意識(shí) ChatGPT 的“AI 幻覺”問題，但在強(qiáng)調(diào) ChatGPT 局限性方面，OpenAI 做得還不夠。

在 ChatGPT 的主頁上，OpenAI 發(fā)布的一條警告內(nèi)容稱“可能偶爾會(huì)產(chǎn)生不正確信息”，這也是其系統(tǒng)功能和局限性部分的九條須知之一。但這條警告內(nèi)容放在任何信息源上都同樣適用，對(duì)于 ChatGPT 這樣一種強(qiáng)大、身處炒作大潮的風(fēng)口浪尖且容易被嚴(yán)重誤解的技術(shù)成果，OpenAI 在引導(dǎo)用戶方面做得還遠(yuǎn)遠(yuǎn)不夠，OpenAI 應(yīng)該投入更多精力，明確強(qiáng)調(diào) ChatGPT 無法穩(wěn)定區(qū)分事實(shí)和“幻覺”。

據(jù) The Verge 報(bào)道，過去幾個(gè)月間，很多人都被 ChatGPT 的“胡說八道”所愚弄和影響。值得慶幸的是，大多數(shù)案例都微不足道，幾乎沒有造成負(fù)面沖擊，ChatGPT 最多也就是捏造了一篇新聞報(bào)道、一篇學(xué)術(shù)論文或者一本不存在的書。但在個(gè)別案例中，ChatGPT 的錯(cuò)誤信息確實(shí)可能引發(fā)嚴(yán)重后果。

今年 5 月，得克薩斯州農(nóng)工大學(xué)的一位教授就使用聊天機(jī)器人檢查學(xué)生是不是在靠 AI 寫水文章。ChatGPT 倒是非常熱情，表示所有論文都是由 AI 生成的，但卻拿不出什么真憑實(shí)據(jù)。教授深信不疑而且大為光火，威脅要讓學(xué)生們掛科甚至畢不了業(yè)，好在最終大家發(fā)現(xiàn)了這個(gè)錯(cuò)誤。

這些事件并不會(huì)徹底毀掉人們對(duì)于 ChatGPT 等聊天機(jī)器人的期待和認(rèn)可。只要配合正確的場景和適當(dāng)?shù)谋Ｗo(hù)措施，這些 AI 工具仍然能在信息檢索等任務(wù)中發(fā)揮巨大作用。目前也有各種有趣的研究正在推進(jìn)，表明此類系統(tǒng)也許能在未來更好地尊重客觀事實(shí)。

但當(dāng)下，這類 AI 產(chǎn)品的局限性需要引起人們足夠的重視。企業(yè)需要向大眾強(qiáng)調(diào) AI 產(chǎn)品的局限性，媒體也需要承擔(dān)相應(yīng)的報(bào)道責(zé)任。

干預(yù)措施并不需要特別復(fù)雜，但必須得有。比如，為什么 ChatGPT 無法識(shí)別用戶想要的是事實(shí)性依據(jù)，并提醒對(duì)方“請(qǐng)注意檢查信息來源”？在用戶要求它判斷特定文本是否由 AI 生成時(shí)，ChatGPT 為什么就不能明確表示“對(duì)不起，我沒有能力做出判斷”？

當(dāng)然，OpenAI 一直在努力改進(jìn)這些問題。自 ChatGPT 推出以來，它已經(jīng)變得越來越坦率、會(huì)直言自己存在局限性。最經(jīng)典的表述就是“作為一個(gè) AI 語言模型，我……”。但不一致問題仍然存在，比如，當(dāng)問它“你能檢測出 AI 生成的文本嗎？”它回答說“檢測結(jié)果不一定準(zhǔn)確?！钡蛩斎肓艘淮蠖蝺?nèi)容，并提出同樣的問題時(shí)，它只是簡單回答“是的，這段文字是由 AI 生成的?！?/P>

此外，當(dāng)要求 ChatGPT 提供一份測量專業(yè)書籍推薦清單時(shí)，它給出的答案共有 10 本書，其中不少質(zhì)量很高，但有 2 本則是完全虛構(gòu)的。如果不是在刻意檢查，可能根本就不會(huì)注意到這個(gè)問題。當(dāng)用戶和 ChatGPT 交流多了，并且驗(yàn)證后就會(huì)發(fā)現(xiàn)，ChatGPT 這類 AI 產(chǎn)品經(jīng)?！昂f八道”。

面對(duì)這樣的現(xiàn)狀，“可能偶爾會(huì)產(chǎn)生不正確信息”之類的免責(zé)聲明顯然遠(yuǎn)遠(yuǎn)不夠。

關(guān)鍵詞：