摘要：通过视觉指令微调训练的多模态大型语言模型（MLLMs）在各类任务中均取得了优异表现，然而在以视觉为中心的任务（如物体计数或空间推理）中，其性能仍存在局限。我们将这一差距归因于当前主流的纯文本监督范式，该范式仅为视觉通路提供间接指导，常导致多模态大型语言模型在训练过程中舍弃精细的视觉细节。在本文中，我们提出了视觉表征对齐（VIsual Representation ALignment，VIRAL）方法，这是一种简单而有效的正则化策略，可使多模态大型语言模型的内部视觉表征与预训练视觉基础模型（Vision Foundation Models，VFMs）的表征对齐。通过显式强制执行这种对齐，VIRAL不仅能让模型保留来自输入视觉编码器的关键视觉细节，还能从视觉基础模型中补充额外的视觉知识，从而增强其处理复杂视觉输入的推理能力。我们的实验表明，在广泛采用的多模态基准测试的所有任务中，该方法均实现了性能的持续提升。此外，我们还进行了全面的消融研究，以验证我们框架背后的关键设计选择。我们认为，这一简单发现为在训练多模态大型语言模型时有效整合视觉信息开辟了重要方向。Huggingface链接：Paper page，论文链接：2509.07979
研究背景和目的
研究背景：
随着多模态大型语言模型（MLLMs）的发展，这些模型在处理多样化任务时展现出强大的能力，尤其是在结合视觉和语言信息的任务中取得了显著进展。然而，尽管MLLMs在多种任务中表现优异，它们在处理以视觉为中心的任务时仍面临挑战，如物体计数和空间推理等任务。这些任务要求模型不仅理解文本信息，还需要精确捕捉和处理视觉细节。
现有的MLLMs主要依赖于文本监督进行训练，这种训练方式虽然有效提升了模型的文本理解和生成能力，但往往忽视了视觉信息的精细处理。具体来说，传统的视觉指令微调方法主要集中于语言建模目标，即通过最大化文本输出的对数似然来更新模型参数，而视觉表示仅通过文本输出间接获得监督。这种间接监督方式导致模型在训练过程中容易丢失视觉编码器提供的丰富视觉细节，从而影响其在视觉相关任务中的表现。
为了解决这一问题，研究人员开始探索如何更有效地整合视觉信息到MLLMs中。其中一个关键挑战在于如何确保模型在训练过程中保留并利用视觉编码器提供的精细视觉特征。为此，本研究提出了视觉表示对齐（VIRAL）策略，旨在通过显式对齐MLLMs的内部视觉表示与预训练视觉基础模型（VFMs）的表示，来增强模型对复杂视觉输入的理解能力。
研究目的：
本研究的主要目的是通过引入视觉表示对齐策略，解决MLLMs在处理以视觉为中心的任务时面临的挑战。具体来说，研究旨在实现以下几个目标：
- 提升视觉细节保留能力：通过VIRAL策略，使MLLMs在训练过程中能够保留视觉编码器提供的精细视觉特征，从而增强模型在物体计数、空间推理等视觉相关任务中的表现。
- 增强多模态理解能力：通过显式对齐MLLMs的内部视觉表示与VFMs的表示，使模型能够更好地理解和处理多模态输入，从而提升其在复杂视觉场景下的推理能力。
- 验证VIRAL策略的有效性：通过广泛的实验验证VIRAL策略在提升MLLMs视觉理解能力方面的有效性，并探索其在不同视觉编码器和语言模型骨干网络上的通用性。
研究方法
1. 视觉表示对齐策略（VIRAL）：
VIRAL策略的核心思想是通过显式对齐MLLMs的内部视觉表示与预训练VFMs的表示，来增强模型对视觉细节的处理能力。具体来说，VIRAL在MLLMs的视觉表示层引入了一个辅助的正则化目标，该目标通过最小化MLLMs内部视觉表示与VFMs特征之间的余弦相似度损失来实现对齐。
2. 模型架构：
实验基于LLaVA-1.5架构，该架构结合了预训练的语言模型（如Vicuna-1.5）和视觉编码器（如CLIP），并通过一个轻量级的视觉-语言投影器将视觉特征映射到语言模型的嵌入空间。为了验证VIRAL策略的有效性，研究还探索了不同视觉编码器（如SigLIPv2）和语言模型骨干网络（如Qwen2.5-7B）的组合。
3. 实验设置：
- 数据集：实验主要在LLaVA-665K数据集上进行，该数据集包含了多样化的多模态指令数据。
- 训练参数：使用LoRA进行高效适应，批量大小为64，学习率设置为3e-5。
- 评估指标：评估指标包括CV-Bench2D、What’s Up、MMVP、MME、MMStar和POPE等，以全面评估模型在视觉中心任务和一般多模态理解任务上的表现，并确保模型的整体能力。
研究结果
1. 基准测试结果：
实验结果显示，与基线模型相比，使用VIRAL策略在所有测试设置下均显著提高了模型在所有任务上的性能。特别是在以视觉为中心的任务中，如物体计数和空间推理任务上，VIRAL策略显著优于仅使用文本监督的基线模型，展示了更优的性能提升。例如，在CV-Bench2D和MMVP任务上，VIRAL策略相比基线模型分别实现了高达33.33%和33.11%的准确率提升。
2. 内部表示分析：
通过层间相似性分析和注意力分析，研究揭示了VIRAL策略如何帮助模型在中间层保留更精细的视觉特征，从而增强了对视觉场景的理解能力。例如，在16层模型中，VIRAL策略相比基线模型在注意力定位任务上表现出更低的空间熵，表明模型能够更集中地关注与给定文本提示相关的图像区域。
3. 鲁棒性分析：
为了验证VIRAL策略是否使模型对视觉细节更加敏感，研究设计了视觉标记随机排列测试。实验结果显示，使用VIRAL策略训练的模型在随机排列输入下的性能下降更显著，表明该策略确实增强了模型对空间关系的捕捉能力。
研究局限
尽管VIRAL策略在提升MLLMs视觉理解能力方面展现出显著效果，但研究仍存在一些局限性：
1. 数据依赖性问题：
VIRAL策略的性能提升高度依赖于高质量VFMs提供的监督信号，对于缺乏足够VFM支持的场景，其效果可能受限。
2. 泛化能力：
尽管实验在多种任务上验证了VIRAL策略的通用性，但对于更复杂的推理任务，如涉及动态对象跟踪的任务，VIRAL策略可能需要进一步调整以保持最佳性能。
3. 训练效率：
VIRAL策略引入了额外的模型参数和计算开销，可能对训练效率产生一定影响，特别是在资源有限的情况下。未来研究需要探索更高效的训练策略以平衡性能提升和计算成本。
未来研究方向
针对VIRAL策略的局限性和潜在改进空间，未来研究可以从以下几个方面展开：
1.1 探索更精细的对齐机制：
研究可以探索更复杂的对齐目标（如特定中间层的多目标对齐）或引入额外的正则化约束，以进一步提升模型对复杂视觉场景的理解能力。
3.2 结合自监督学习：
将VIRAL策略与自监督学习目标结合，利用未标注的视觉数据增强模型对视觉表示的学习能力，减少对标注数据的依赖。
3.3 跨模态对齐：
探索跨模态表示对齐方法，使模型能够更好地理解和处理跨模态输入（如文本-图像对），从而提升在复杂视觉场景下的推理能力。
3.4 实际应用验证：
在实际应用场景中验证VIRAL策略的有效性，如机器人视觉导航、自动驾驶等领域，通过实际应用反馈进一步优化策略设计。
总之，本研究通过引入VIRAL策略显著提升了MLLMs在处理以视觉为中心任务时的表现。未来研究可以进一步探索更精细的对齐机制、结合自监督学习、跨模态对齐以及实际应用验证等方向，以推动MLLMs在视觉理解能力上的持续进步。