Instructors
- Yizhou Wang (Official Instructor)
- Yixin Zhu (CoRe)
- Lifeng Fan (CoRe)
- Wei Wang (CoRe)
- Siyuan Huang (CV)
- Tengyu Liu (CV)
- Xue Feng (MAS)
- Yaodong Yang (MAS)
- Fangwei Zhong (MAS)
- Yitao Liang (ML)
- Zilong Zheng (NLP)
- Wenjuan Han (NLP)
- Hangxin Liu (Robotics)
- Zhenliang Zhang (Simulation)
Project List
| 导师 | 题目 | 内容与要求 |
|---|---|---|
| 张驰 | 抽象学习的统一框架 | 1. 统一抽象学习问题框架。结合最大最小墒理论和分类模型处理瑞文测试、数字推理和离群选择。方法涉及多种抽象问题和学习策略，需要了解基本的机器学习策略和概率模型以及优化方法。朱松纯老师也将亲自指导。项目目标是向高水平顶级期刊（如Nature、Science及其子刊、美国国家科学院院刊）投稿 2.课题周期：3-6个月 |
| 刘航欣 | 移动机器人场景重建和导航 | 1. 激光雷达、深度相机等传感器安装、调试和数据处理 2. SLAM和物体、人姿态识别 3. 路径规划、机器人状态估计 4. 课题周期较长，建议延续到暑假 |
| 刘航欣 | 物体物理属性的探究 | 1. 识别、分割物体、估计其6维姿态 2. 基于机械臂末端的视觉和力数据，在交互过程中识别物体的物理属性（质量、重心等 3. 基于物理属性进行抓取任务的规划 4. 课题周期较长，建议延续到暑假 |
| 张振亮 | 面向具身智能的场景与任务生成 | 1、根据典型AI场景需求，研究如何定义通用的任务空间，并在空间上生成各类合理任务，配置虚拟场景 2、研究面向任务的虚拟场景生成算法 3、每周需要工作不少于15小时，预计3个月 |
| 张振亮 | 实时多物态融合场景构建方法研究 | 1、学习并使用常见的游戏引擎（Unity3D或UE4/5），基于游戏引擎研究包含流体、布料在内的虚拟场景构建方法 2、开发Python接口实现信息双向通信 3、每周需要工作不少于15小时，预计3个月 |
| 刘腾宇 | 环境相关的人体动作意图实时预测 | 1. 根据实时人体姿态和三维环境预测人的动作和意图 2. 该项目将支持对穿透现实的尝试：将虚拟现实中的场景互动映射到真实空间 3. 每周需要工作不少于15小时，预计3-6个月。计划三个月内完成动作和意图的预测，并在六个月内完成穿透现实的初步实现。 |
| 刘腾宇 | 基于强化学习的多物体拾取 | 1. 通过强化学习使灵巧手实现 拾取 - 调整姿态 - 再拾取 的动作模式，完成多物体的拾取和灵巧操作 2. 技能要求：熟悉强化学习的基本概念，有调试强化学习算法相关经验。编程能力出众可破格。 3. 每周需要工作不少于15小时，预计3-6个月。 |
| 杨耀东 | 基于合作型多智能体强化学习技术的双灵巧手控制 | 1. 该课题将探索如何控制两只灵巧手进行的合作任务，例如端盘子，揉圆子，转魔方等。我们将探索如何使用多智能体强化学习技术进行对双灵巧手控制的建模，并且从合作博弈的角度出发设计算法。 2. 技能要求：熟悉强化学习基本概念，有调试强化学习算法相关经验。编程能力出众可破格。 3. 课题周期：预计3 - 6个月 |
| 杨耀东 | 带有安全约束的多智能体强化学习算法设计与应用 | 1. 符合安全性的强化学习技术具有着重要应用，例如无人驾驶，机械制造等等。本课题将研究如何在一个多智能体系统中设计具有安全性约束的强化学习过程。我们将探索满足安全性约束的强化学习框架, 并探索如何针对一个多智能体系统进行安全性的学习。 2. 技能要求：熟悉强化学习基本概念，有调试强化学习算法相关经验。编程能力出众可破格。 3. 课题周期：预计3 - 6个月 |
| 杨耀东 | 基于分层强化学习的U-V系统实践 | 1. 研读朱老师《三读赤壁赋》的文章，对其中提及的U系统（即，理的系统）和V系统（即，心的系统），进行数学建模的问题。目标使用分层强化学习。内层代表“心”层，即一个由智能体自身奖励函数驱动的强化学习系统，外层代表“理”层，即一些外部约束的条件，是一个高层次的可调控内层的智能体。同时针对U-V两个系统的智能体都同时采用梯度更新的学习范式，设计学习算法。 2. 技能要求：熟悉强化学习基本概念，有调试强化学习算法相关经验。编程能力出众可破格。 3. 课题周期：预计3-6个月。 |
| 钟方威 | 基于心智理论的多智能体协商与任务规划 | 1. 基于对合作者心理状态进行建模，提升智能体间协商通信效率，从而促进个体间快速达成团队共识，实现高效合作 2. 需要对强化学习有一定基础， 3. 课题周期：偏好长期实习 |
| 韩文娟 | 语言的无监督语义角色标注 | 1. 该课题将探索自然语言的语义，语义角色标注是恢复自然语言语义的基础挑战之一，重点是研究“谁对谁做什么”、“何时”和“在哪里”等语义要素。我们的目标是结合语言学理论，以最少的标注数据利用类人的学习方式学习语义表示。 2. 技能要求：了解机器学习基本概念，有调试算法相关经验。编程能力出众可破格。 3. 课题周期：预计3 - 6个月 |
| 韩文娟 | 基于变分信息瓶颈的多语言句法归纳 | 1. 我们拟提出了一种用于语法归纳的自适应无监督信息压缩框架，包括依赖解析和成分解析。我们的目标是通过额外的信息瓶颈扩展 VAE 框架的传统方法，以规范潜在变量以有效提取信息。。 2. 技能要求：了解机器学习基本概念，有调试算法相关经验。编程能力出众可破格。 3. 课题周期：预计3 - 6个月 |
| 韩文娟 | OpenGI：开放性句法归纳平台 | 1. OpenGI主要关注结构预测算法（特别是句法结构）的开放。我们的目的是开放一个数据集、算法和软件的平台。旨在促进层次性结构预测的相关数据和算法的开放与互联，促进相关技术的普及和层次性结构的广泛应用。 2. 技能要求：了解机器学习基本概念，编程能力出众，熟悉python、pytorch。 3. 课题周期：预计3个月 |
| 韩文娟 | 联合视觉-语言理解：桥接视觉场景图与语言语义图 | 1. 用语言描述理解复杂的视觉场景图像是人工智能的一项基本任务。以前的作品通过分别为视觉场景和自然语言构建层次结构，已经显示出令人信服的理解结果。我们的目标是建立一个联合结构，以更好地理解视觉语言。。 2. 技能要求：了解机器学习基本概念，有调试算法相关经验。编程能力出众可破格。 3. 课题周期：预计3 - 6个月 |
| 郑子隆 | 多模态神经-符号问答系统 | 1. 通过神经-符号算法在图标、表格、图像、文本等多个模态中间进行查询，归纳，形成答案。 2. 技能要求：了解机器学习基本概念，有调试算法相关经验。编程能力出众可破格。 3. 课题周期：预计3 - 6个月 |
| 郑子隆 | 具身环境中的问答系统 | 1. 调研具身环境，并集合语义解译、神经-符号模块，进行合理问答/对话，最后执行相应任务。 2. 技能要求：了解机器学习基本概念，有调试算法相关经验。编程能力出众可破格。 3. 课题周期：预计3 - 6个月 |
| 王威、范丽凤 | 视觉逻辑落地（Visual Logic Grounding） | 本项目提出一个交叉领域的新任务：视觉-逻辑落地（vision-logic grounding），旨在建立视觉与逻辑规则之间的关系，基于规则约束的视觉理解与视觉解释，进而实现具有可解释性的视觉规划。主要包括：1）建立一个包含事件视频和逻辑规则的数据集 2. 提出一个视觉-逻辑落地的计算模型。例如，给出一个开门事件及其对应的STC-PG (spatial-temporal causal parsing graph)，建立开门事件与STC-PG的对应关系。希望每周能有效工作至少10小时，课题周期预估为3个月。 |
| 范丽凤 | 基于身体语言分析的认知状态理解及其应用 | 1. 帮忙增收一部分新数据，扩充现有数据集 2. 针对现有模型和工作做一些增补实验，包括人类行为实验和视频应用实验 3. 要求具有较好的编程能力和良好的科研态度 4. 每周至少有效工作10小时，课题周期预估为3个月 |
| 梁一韬 | 基于物理规则的强化学习 | 1. 利用强化学习来学习如何控制单个智能体已经在很多领域取得了成功，然而在多数情况其学习效率非常不令人满意。该课题想探索有没有更好地指导强化学习的方式。在许多偏真实的环境中，智能体是在一个物理空间里进行学习（如机器人控制领域），这也就意味着该智能体时刻受着物理规则的约束。该课题将探索如何在强化学习的过程中，利用对物理规则的复原，来更好地解决智能体的探索和优化问题。 2. 要求：了解强化学习的基础学习，有良好的数理基础。并且有良好的编程能力。（需要有写过大于500行代码项目的经验）。 |