项目背景与目标
现代 VLM 已经能够准确识别物体及其颜色、形状、纹理等属性，但识别出这些属性并不意味着模型能够正确记住“哪些属性属于同一个物体”。认知科学中的 memory conjunction 研究发现，人类有时会记住多个刺激的组成特征，却错误地把来自不同刺激的特征重新组合起来，从而产生虚假的“见过”判断 [Reinitz et al., 1992]。
类似现象也可能出现在 VLM 中。例如，模型先后看到多个具有不同颜色、形状和纹理的物体，测试时出现一个从未完整出现过、但其颜色、形状和纹理都分别出现过的新物体。如果模型主要依赖各个特征是否熟悉，而没有保存稳定的物体绑定关系，就可能错误地认为该物体曾经出现。
本项目旨在研究 VLM 是否能够在多图像上下文中保持稳定的物体绑定记忆，以及上下文距离和视觉干扰等因素如何影响绑定错误的发生。在行为实验的基础上，项目还将使用已有的表示探针方法，对模型不同层的内部表示进行初步分析，探索模型能否分别表示单独的物体特征以及这些特征之间的绑定关系。
核心任务设计
任务一：构建并测试 VLM 物体绑定记忆任务（30分）
参考经典 memory conjunction 实验，构建一个可控的视觉物体记忆任务。图像生成可以借鉴 CLEVR [Johnson et al., 2017] 中程序化生成、精确控制视觉属性的思路，自行生成由不同颜色、形状和纹理组合而成的简单单物体图像。
每次实验首先向 VLM 展示若干学习图片，随后要求模型判断测试物体是否曾经完整出现。测试物体应至少包括真正出现过的目标项（target）、所有组成特征都分别出现过但完整组合从未出现过的关键重组诱饵（critical conjunction lure），以及只包含部分已见特征的 near lure 和基本不包含已见特征的 unrelated lure。
选择至少两个 VLM 进行测试，比较不同类型测试物体的正确率和错误接受率，分析模型是否存在“能够正确识别真正见过的物体，却错误接受由已见特征重新组合得到的新物体”的现象。
期望产出：
- 可重复生成的物体绑定记忆测试数据；
- 至少两个 VLM 的测试结果；
- 不同测试物体类型的准确率和错误接受率比较。
任务二：研究上下文与视觉干扰对绑定错误的影响（30分）
在任务一的基础上，进一步研究不同实验条件如何影响绑定错误。学生从上下文距离、干扰物体与学习物体的特征重叠程度、组成特征的重复次数等因素中选择至少两个进行实验。
例如，可以在学习图片和测试图片之间插入不同数量的无关内容，观察上下文距离增加后绑定错误是否更加明显；也可以比较普通无关干扰图片和与学习物体共享颜色、形状或纹理的干扰图片，判断具有相同特征的物体是否会产生更强的记忆干扰。
实验应保证不同条件之间除研究变量外尽量保持一致，并同时关注目标项和各类新物体的表现，从而区分一般性的遗忘和特定的绑定错误。
期望产出：
- 至少两个实验因素的对照实验；
- 不同条件下绑定错误变化的统计结果和可视化；
- 不同 VLM 对实验变量敏感性的比较和分析。
任务三：使用表示探针初步分析绑定错误的内部机制（20分）
行为结果只能说明 VLM 是否发生了绑定错误，并不能直接说明模型内部是否保存了正确的物体绑定信息。本任务选择一个可以获得中间层表示的开源 VLM，使用线性探针（linear probing）对不同网络层中的信息进行分析。
学生可以参考 Huang et al. [2026] 在 Formalizing the Binding Problem 中提出的方法及其公开代码。该工作通过冻结模型并训练简单探针，分析模型表示中是否包含单独的视觉特征以及特征之间的绑定信息，并提供了数据构造、模型表示提取和探针训练的完整实现。
学生需要分别训练探针预测物体的颜色、形状或纹理，以及不同特征是否来自同一个物体，并比较这些信息在模型不同层中的可解码程度。重点分析是否存在“单独特征仍然能够被准确解码，但物体绑定信息明显较弱”的情况，并比较模型回答正确和发生绑定错误时的内部表示差异。
本任务不要求完整定位绑定错误的因果机制，只需要利用已有方法得到一个能够补充行为实验的内部表示分析结果。
期望产出：
- 基于已有公开方法实现的表示探针实验；
- 不同网络层中单独特征信息和绑定信息的比较；
- 对行为错误与内部表示之间关系的初步分析。
任务四：结果分析与研究报告（20分）
综合前三项任务撰写项目报告，总结 VLM 在物体绑定记忆任务上的主要表现，并分析上下文距离、视觉干扰等因素如何影响错误发生。
结合表示探针结果，讨论模型的错误更可能与物体绑定信息本身较弱有关，还是可能发生在后续的信息使用过程中。不要求得到唯一的机制结论，但需要明确说明现有实验能够支持哪些结论、还存在哪些无法排除的解释，以及未来可以通过哪些实验进一步验证。
报告应包括数据构造方法、行为实验结果、不同实验条件的比较、表示探针结果、典型成功与失败案例，以及当前研究的主要局限和可能的改进方向。
数据集与技术栈
- 数据集：参考 CLEVR 的程序化生成方式，自行构建由颜色、形状和纹理组合而成的简单物体图像。
- 模型：Qwen、LLaVA 等能够处理多图像输入的 VLM；机制实验选择能够获取中间层表示的开源模型。
- 数据生成与实验：Python、Pillow、PyTorch、Hugging Face Transformers。
- 机制分析：参考 Huang et al. [2026] 的 feature-binding probing 方法及公开代码。
评估标准与预期成果
- VLM 物体绑定记忆任务构建与行为测试（30分）
- 上下文与视觉干扰实验（30分）
- 表示探针机制分析（20分）
- 研究报告（20分）
总分：100分
预期交付物：
- 数据生成、模型测试和结果分析代码；
- 物体绑定记忆测试数据；
- 行为实验与表示探针实验结果；
- 项目研究报告。
参考文献
- Reinitz, M. T., Lammers, W. J., & Cochran, A. P. S. (1992). Memory-conjunction errors: Miscombination of stored stimulus features can produce illusions of memory. Memory & Cognition, 20(1), 1-11.
- Wheeler, M. E., & Treisman, A. M. (2002). Binding in short-term visual memory. Journal of experimental psychology: General, 131(1), 48.
- Johnson, J., Hariharan, B., Van Der Maaten, L., Fei-Fei, L., Lawrence Zitnick, C., & Girshick, R. (2017). Clevr: A diagnostic dataset for compositional language and elementary visual reasoning. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 2901-2910).
- Campbell, D., Rane, S., Giallanza, T., De Sabbata, N., Ghods, K., Joshi, A., … & Webb, T. (2024). Understanding the limits of vision language models through the lens of the binding problem. Advances in Neural Information Processing Systems, 37, 113436-113460.
- Huang, L., Li, Y., Salehi, S., Chang, Y., Soni, A., & Kording, K. P. (2026). Formalizing the Binding Problem. arXiv preprint arXiv:2606.03976.