SHIELD: Suppressing Hallucinations In LVLM Encoders via Bias and Vulnerability Defense
该论文首次将大视觉语言模型（LVLM）中的物体幻觉溯源至视觉编码器，指出统计偏差、固有偏差和脆弱性三个关键问题。为解决这些问题，提出了无需训练的框架 SHIELD，通过三种策略缓解幻觉：重加权视觉令牌以降低统计偏差、引入噪声衍生令牌对抗固有偏差、采用对抗攻击与对比解码应对脆弱性。在多个基准和 LVLM 家族上的实验表明，SHIELD 有效减少了物体幻觉，并保持了强大的通用性能，代码已开源。