数字技术与应用杂志社

摘要：<正>随着多模态大模型的持续进步，其在图像情感识别等任务中的表现愈发卓越。然而，情绪幻觉问题已成为制约其进一步发展的关键瓶颈。为应对这一挑战，本文提出了一种创新的解码方法——OPERA，旨在解决多模态大模型的情绪幻觉问题。该方法无需额外的数据、知识或训练成本，为提升模型的准确性和可信度提供了新的解决方案。OPERA方法通过深入剖析多模态大模型自注意力矩阵中的知识聚合模式，巧妙地引入过度信任惩罚和回顾分配策略，能够精准定位幻觉产生的根源并有效缓解。实验通过与基线解码方法束搜索对比，证实OPERA方法在缓解情绪幻觉问题上具有显著优势。

专辑： 信息科技;哲学与人文科学

专题： 心理学;计算机软件及计算机应用;自动化技术

分类号： B842.6;TP391.41;TP18