中国科学家开发啄木鸟引擎:AI幻觉矫正新突破

目录
来自中国科学技术大学和腾讯优兔实验室的一组科学家开发了一种通过人工智能模型对抗“幻觉”的工具。
幻觉是指人工智能模型产生高置信度输出的趋势,而这些输出并不是基于其训练数据中存在的信息出现的。这个问题渗透到了大型语言模型(LLM)的研究中,其影响可以在OpenAI的ChatGPT和Anthropic的Claude等模型中看到。
USTC/腾讯团队开发了一种名为“啄木鸟”的工具,他们声称该工具能够纠正多模式大型语言模型(MLLMs)中的幻觉。
人工智能的这一子集涉及GPT-4(尤其是其视觉变体GPT-4V)等模型,以及将视觉和/或其他处理与基于文本的语言建模一起纳入生成人工智能模式的其他系统。
根据该团队的预印本研究论文,啄木鸟使用三个独立的人工智能模型来进行幻觉矫正,除了MLLM正在进行幻觉矫正。
其中包括GPT-3.5涡轮增压器、接地DINO和BLIP-2-FlanT5。这些模型共同作为评估者来识别幻觉,并指示被校正的模型根据其数据重新生成输出。
在上面的每个例子中,LLM都会对提示(蓝色背景)产生错误答案(绿色背景)的幻觉。校正后的啄木鸟反应显示为红色背景。资料来源:尹等,2023年
为了纠正幻觉,为啄木鸟提供动力的人工智能模型使用了五个阶段的过程,包括“关键概念提取、问题制定、视觉知识验证、视觉声明生成和幻觉纠正”
相关:人类和人工智能通常更喜欢阿谀奉承的聊天机器人回答真相——研究
研究人员声称,这些技术提供了额外的透明度,“与基线MiniGPT-4/mPLUG猫头鹰相比,准确率提高了30.66%/24.33%。”他们使用他们的方法评估了许多“现成”的MLLMs,并得出结论,啄木鸟可以“很容易地整合到其他MLLMs中”