项目背景与目标
人类视觉系统对不同类型的信息存在功能分化。经典研究将腹侧通路与物体识别和视觉知觉联系起来，将背侧通路与空间信息和视觉引导动作联系起来 [Goodale & Milner, 1992]；后续研究进一步提出与动态社会知觉相关的第三视觉通路 [Pitcher & Ungerleider, 2021]，以及偏向动作和物体识别的两条“what”通路 [Wurm & Caramazza, 2022]。场景加工也涉及多个具有功能选择性的皮层区域 [Epstein & Baker, 2019]。
自然视觉 fMRI 研究表明，自然电影能够诱发跨被试共享的皮层活动模式 [Hasson et al., 2004]；大量物体和动作类别则在皮层上形成连续的语义组织，并表现出一定程度的跨个体一致性 [Huth et al., 2012]。这些结果提示，视觉内容与皮层功能组织之间存在结构性的对应关系。
与此相比，许多视频多模态模型采用共享的视觉表征前端，再通过时序建模、跨模态融合或语言模块完成不同内容的理解。已有多专家和条件路由方法主要从任务分工、模态差异或计算效率出发，而较少直接利用人类视觉功能组织作为模型的结构先验。
基于以上背景，本研究重点关注“人脑视觉系统中的功能分化，能否成为视频模型的有效归纳偏置”这一问题，具体探索三个问题：
- 视频理解中的功能分化是否呈现出与人类视觉功能组织相似的结构；
- 基于功能分化的动态多专家架构是否优于共享编码器和纯学习式路由；
- 如果有效，收益究竟来自多专家结构本身，还是来自脑数据提供的结构化先验。
这一思路与 neuroconnectionist research programme 一致：将神经科学中的理论组织转化为可计算、可检验的模型假设，并通过模型比较检验其解释力 [Doerig et al., 2023]。
核心任务设计
任务一：内容类型与功能通路占据分析（25分）
- 目标：建立“视频内容属性 → 皮层功能选择性”的统计映射，为模型提供神经科学先验。
- 任务要点：
- 将公开皮层功能分区与自然视觉 fMRI 数据对齐；
- 使用现成视觉/视频模型自动提取内容属性，尽量避免人工标注；
- 分析物体、场景/空间、动作、动态社会信息等内容属性与不同功能区域响应之间的关系；
- 通过跨被试分析和交叉验证检验稳定性；
- 控制低级视觉特征、运动能量、镜头切换等潜在混杂因素。
- 评分维度：数据管线（10分），稳定性检验（10分），混杂控制（5分）。
任务二：功能专家视觉前端与动态路由（30分）
- 目标：构建受人类视觉功能组织启发的多专家视觉前端，并检验动态路由是否带来实际收益。
- 任务要点：
- 设置 object、spatial/scene、action、social-dynamic 等功能专家；
- 增加 language-semantic expert 作为跨模态工程对照，不将其宣称为与上述视觉通路同构的独立脑通路；
- 为各专家配置现成开源视觉编码器，通过统一接口接入主干；
- 构建随视频内容和任务变化的动态路由器；
- 加入时间持续性约束，避免路由在 token 级频繁切换；
- 冻结主干，仅训练路由器、投影层和轻量适配器。
- 评分维度：架构实现（12分），路由器与持续性约束（10分），可复现性（8分）。
- 加分项：输出专家占据时间轴，并与独立估计的人脑功能选择性进行对照可视化（最多额外10分）。
任务三：脑先验的作用与消融（25分）
- 目标：区分性能提升来自多专家架构本身，还是来自脑数据提供的结构化先验。
- 任务要点：
- 比较共享单编码器、多专家无脑先验、多专家+数据驱动路由、多专家+随机脑先验、多专家+真实脑先验等设置；
- 尽可能保持参数量、训练数据、训练步数和推理预算一致；
- 对脑先验强度进行分级消融；
- 分别分析脑先验对专家划分、路由稳定性和任务性能的影响；
- 若脑先验没有额外收益，完整报告负结果。
- 评分维度：对照设计（10分），等算力比较的严谨性（10分），结果分析（5分）。
任务四：评测与跨内容泛化（20分）
- 目标：验证功能结构化是否带来真实且可泛化的收益。
- 任务要点：
- 在标准视频理解评测集上进行评测；
- 按内容属性分层报告结果；
- 检验模型是否会随内容变化合理调整专家权重；
- 检验低社会性内容下 social expert 是否相应降权；
- 在固定推理预算下比较性能与计算效率；
- 在训练分布之外进行跨内容泛化测试。
- 评分维度：评测完整性（8分），分层分析（7分），泛化与效率（5分）。
数据集与技术栈
- 脑影像数据：公开皮层功能分区图谱、公开自然视觉/自然电影 fMRI 数据集。具体使用的数据集将单独引用其原始数据论文及数据说明。
- 视频数据：公开视频理解训练与评测集，优先使用已有内容属性或可由模型自动提取属性的数据集，减少人工标注。
- 技术栈：脑影像预处理与统计分析工具、开源视觉/视频编码器、开源视频多模态模型；以冻结主干为基础，外挂多专家和轻量动态路由器。
评估标准与预期成果
- 内容类型与功能系统占据分析（25分）
- 功能结构化视觉前端与动态路由（30分）
- 脑先验的作用与消融（25分）
- 评测与跨内容泛化（20分）
总分：100分（加分项计入总分，超过100分按100分计）
预期交付物
- 内容属性与皮层功能选择性的分析结果与可视化；
- 功能结构化视频模型原型及严格匹配的基线；
- 脑先验强度的对照实验与消融报告；
- 专家路由随视频时间变化的可视化；
- 模型路由与脑数据之间的表征对应分析；
- 可复现代码与技术文档。
参考文献
Bi, Y., Wang, X., & Caramazza, A. (2016). Object domain and modality in the ventral visual pathway. Trends in Cognitive Sciences, 20(4), 282–290. https://doi.org/10.1016/j.tics.2016.02.002
Goodale, M. A., & Milner, A. D. (1992). Separate visual pathways for perception and action. Trends in Neurosciences, 15(1), 20–25. https://doi.org/10.1016/0166-2236(92)90344-8
Hasson, U., Nir, Y., Levy, I., Fuhrmann, G., & Malach, R. (2004). Intersubject synchronization of cortical activity during natural vision. Science, 303(5664), 1634–1640. https://doi.org/10.1126/science.1089506
Huth, A. G., Nishimoto, S., Vu, A. T., & Gallant, J. L. (2012). A continuous semantic space describes the representation of thousands of object and action categories across the human brain. Neuron, 76(6), 1210–1224. https://doi.org/10.1016/j.neuron.2012.10.014
Epstein, R. A., & Baker, C. I. (2019). Scene perception in the human brain. Annual Review of Vision Science, 5, 373–397. https://doi.org/10.1146/annurev-vision-091718-014809
Pitcher, D., & Ungerleider, L. G. (2021). Evidence for a third visual pathway specialized for social perception. Trends in Cognitive Sciences, 25(2), 100–110. https://doi.org/10.1016/j.tics.2020.11.006
Wurm, M. F., & Caramazza, A. (2022). Two “what” pathways for action and object recognition. Trends in Cognitive Sciences, 26(2), 103–116. https://doi.org/10.1016/j.tics.2021.10.003
Doerig, A., Sommers, R. P., Seeliger, K., Richards, B., Ismael, J., Lindsay, G. W., Kording, K. P., Konkle, T., van Gerven, M. A. J., Kriegeskorte, N., & Kietzmann, T. C. (2023). The neuroconnectionist research programme. Nature Reviews Neuroscience, 24(7), 431–450. https://doi.org/10.1038/s41583-023-00705-w