项目背景与目标
在工业和服务领域中，“投掷”作为一种将物体快速送达目标位置的操作，能够突破机械臂工作空间的限制，提升工作效率。例如，通过将物体抛向远处的目标，机器人可以借助重力扩展操作范围。然而，实现对任意未知物体的精准投掷面临巨大挑战，主要源于不同物体在物理特性（如质量、质心、摩擦系数）和空气动力学特性（如形状、阻力） 上的显著差异。
本项目旨在构建一个基于元学习（Meta-Learning） 的机器人投掷系统。核心目标是让机器人通过在多种已知物体上进行充分训练，学习到一个通用的、可快速适应的投掷元策略（Meta-Policy）。当面对一个前所未见的全新物体时，机器人仅需通过极少量的试投（Few-shot adaptation），就能基于这个元策略快速微调，实现对新物体的精准、高效投掷。
核心任务设计
任务一：构建元学习驱动的投掷任务分布仿真环境 (30分)
此任务的目标是在Isaac Lab或者Mujoco等仿真平台中构建一个支持元学习训练范式的仿真环境。这不仅是简单的场景搭建，而是要创建一个结构化的任务分布（Distribution of Tasks），其中每个“任务”对应于投掷一种特定物理属性的物体。
- 任务多样性与参数化生成：通过程序化方式，对基础模型的物理参数进行随机化（如质量、摩擦、质心），并随机化投掷目标位置，从而创建成百上千个独一无二的投掷任务。
- 任务采样接口：环境需提供一个便捷的接口，用于在训练过程中随时采样新的、不同的投掷任务。
- 传感器与状态观测：配置必要的虚拟传感器（如相机、关节编码器等），并实现领域随机化。
任务二：元强化学习算法设计与训练 (50分)
本任务的核心是设计并实现一个元强化学习（Meta-RL）算法，用于训练一个具有快速泛化能力的机器人投掷策略。最终目标是获得一个“元策略”（Meta-Policy），它能够指导机器人在面对未知新物体时，仅需极少量尝试即可掌握精准的投掷技巧。 具体要求如下：
算法选择与实现：
- 选择并实现一种主流的元强化学习算法（例如 MAML, Reptile, RL² 等），并将其成功应用于机器人投掷问题。
- 你需要构建一个深度神经网络作为投掷策略模型，该网络能根据机器人状态与目标位置等信息，生成具体的投掷动作。
元训练（Meta-Training）过程：
- 训练框架需遵循元学习“学会学习”（Learning to Learn）的核心思想，具体包含两个相互交织的环节：
- 快速适应 (Few-Shot Adaptation): 在训练中，对于从环境中采样出的每一种新物体（即一个新“任务”），你的算法必须能利用少量（如1-5次）的投掷尝试，快速微调出一个针对该物体的有效策略。
- 元优化 (Meta-Optimization): 算法的全局优化目标是提升策略的“快速适应能力”。系统将根据模型在快速适应之后的最终投掷表现，来更新和优化基础的“元策略”，使其成为一个更高效、更通用的学习起点。
训练与收敛：
- 在任务一构建的多样化仿真环境中，对你所设计的元策略进行充分训练。
- 最终，需要验证该元策略在面对从未见过的、全新的测试物体时，依然能够表现出稳定且高效的快速适应能力。
任务三：实验评估与对比分析 (20分)
为了定量评估元策略的性能，需要设计并执行以下实验：
在多个从未见过的测试物体上，检验元策略在经过少量试投（如1-5次）后，能否迅速适应并达到较高的投掷精度。这一过程可以考察元策略的泛化能力和在新环境下的表现。
设置一个具有说服力的基线模型以进行对比分析。客观地分析和比较你的模型与基线在适应新物体时的学习速度与最终性能。重点在于对实验结果进行深入的讨论与解释，分析其差异产生的原因。
仿真平台与技术栈
推荐仿真平台:
- Isaac Lab: 基于Isaac sim仿真平台的robot learning框架, 并行训练效率高
- Mujoco Playground: 基于Mujoco仿真平台robot learning框架，具有更好的物理仿真
- 可选其他
推荐技术栈：
- 强化学习框架；Skrl, RLlib
- 机器人运动学库：Pinocchio, Curobo
- 可视化平台: Wandb
- 版本管理工具: Git
评估标注与预期成果
评分分配 (100分)：
仿真环境构建 (30分): 评估点在于是否成功搭建了支持元学习的仿真环境，包括是否实现物体物理参数和目标位置的程序化随机生成。
元强化学习算法 (50分): 这是核心部分，考查元强化学习算法的实现，重点在于是否正确构建了快速适应与元优化的训练框架，以及元策略在新任务上的学习能力。
实验评估与对比 (20分): 检验元策略的泛化能力。通过在新物体上进行少量试投并量化其性能，与基线模型进行对比分析，从而验证并深入讨论项目成果。
预期交付物：
- 项目代码库： 一个完整的 Git 项目库，包含所有源代码、配置文件和必要的依赖说明。代码结构清晰，注释完整。
- 项目报告: 内容需涵盖方法论、实验设计、结果分析和结论并包含清晰的图表.
- 演示视频：视频应清晰展示机器人在面对全新物体时，仅通过少量尝试就能快速适应并实现精准投掷的过程，以直观地验证项目成果, 视频长度不少于5分钟。
参考文献
Zeng, Andy, et al. “Tossingbot: Learning to throw arbitrary objects with residual physics.” IEEE Transactions on Robotics 36.4 (2020): 1307-1319.
Liu, Yang, and Aude Billard. “Tube acceleration: robust dexterous throwing against release uncertainty.” IEEE Transactions on Robotics 40 (2024): 2831-2849.
Aslam, Shoaib, et al. “DartBot: Overhand Throwing of Deformable Objects with Tactile Sensing and Reinforcement Learning.” IEEE Transactions on Automation Science and Engineering (2025).
Beck, Jacob, et al. “A tutorial on meta-reinforcement learning.” Foundations and Trends® in Machine Learning 18.2-3 (2025): 224-384.
Zakka, Kevin, et al. “Mujoco playground.” arXiv preprint arXiv:2502.08844 (2025).
Sundaralingam, Balakumar, et al. “Curobo: Parallelized collision-free robot motion generation.” 2023 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2023.