12 月 4 日消息,據(jù) The Verge 北京時間今日報道,美國哥倫比亞大學 Tow 數(shù)字新聞研究中心(Tow Center for Digital Journalism)的研究人員測試發(fā)現(xiàn),OpenAI 的 ChatGPT 搜索工具在準確性上存在一些問題。
今年 11 月,OpenAI 面向訂閱用戶推出了這一工具,稱其可以快速提供答案,并附帶相關網(wǎng)頁來源鏈接。然而研究顯示,ChatGPT 搜索在識別文章引用時表現(xiàn)不佳,即使是面對來自與 OpenAI 數(shù)據(jù)共享的出版商的內容,ChatGPT 也難以準確處理。
研究人員測試了 20 家出版商的 200 條引文,其中 40 條來自禁止 OpenAI 爬蟲抓取的網(wǎng)站。但 ChatGPT 依然自信地給出了錯誤答案,幾乎沒有表明自身的不確定性。
測試結果顯示,ChatGPT 的 153 次回答完全或部分錯誤,僅有 7 次明確表示無法準確回答。這 7 次回答中,它使用了“看起來”“有可能”等限定詞,或直接承認“無法找到具體文章”。
一份圖表進一步顯示,ChatGPT 的回答中“錯誤”的占 89 次,“部分正確”有 57 次,而完全“正確”的只有 47 次。
測試中還記錄了一些典型案例,例如,ChatGPT 錯誤地將《奧蘭多哨兵報》讀者來信的引用歸因為《時代周刊》文章;另一個例子中,它在被要求確認《紐約時報》一篇關于瀕危鯨魚的文章引用時,鏈接到了一家完全剽竊該文章的網(wǎng)站。
OpenAI 對《哥倫比亞新聞評論》回應稱,“在缺乏 Tow Center 隱藏的測試數(shù)據(jù)和方法的情況下,解決錯誤歸因非常困難。這次研究是對我們產品的非典型測試。”O(jiān)penAI 同時承諾將繼續(xù)優(yōu)化搜索結果。
據(jù)IT之家此前報道,今年早些時候,OpenAI 還宣布與新聞行業(yè)進行了廣泛的合作,并收集了合作伙伴對于搜索功能的反饋。任何網(wǎng)站或出版商都可以選擇出現(xiàn)在 ChatGPT 搜索結果中。達成合作的媒體和出版商包含美聯(lián)社、阿克塞爾・斯普林格、康泰納仕、道奇梅雷迪思、《金融時報》、GEDI、赫斯特、《世界報》、路透社、大西洋月刊、時代雜志和 Vox 媒體等等。