北京通用人工智能研究院BIGAI

通研院研究成果登《Science Robotics》:首次实现异构机器人团队之间基于意图理解的自适应模仿与协作

近日,国际期刊《Science Robotics》刊登了

北京通用人工智能研究院(简称通研院)

联合深圳市人工智能与机器人研究院(AIRS)

等单位提出的

通用”意图对齐模仿学习”

(Intention-Aligned Imitation Learning, IAIL)框架

突破了传统模仿学习受限于机器人形态的瓶颈

首次实现了异构机器人团队

包括无人机、无人船、轮足机器人

人形机器人及单/双臂机械手等

7类截然不同的机器人

之间基于意图理解的自适应模仿与协作

在涵盖30个多步协作场景的真机实验中

该框架取得了92%的任务成功率

展现出卓越的跨形态泛化能力与实际部署潜力

《Science  robotics》官网首页特选

研究成员为北京通用人工智能研究院(BIGAI)朱松纯、刘航欣、陈晰团队,深圳市人工智能与机器人研究院(AIRS)、香港中文大学(深圳)林天麟、高源团队,以及华盛顿大学圣路易斯分校等国内外顶尖机构人员。

原文链接:

https://doi.org/10.1126/scirobotics.adv2250

 

研究背景:从运动模仿到意图理解

在机器人技术日益普及的今天,从工业产线的柔性制造到灾后救援的多机协同,再到太空探索中的异构编队作业,越来越多的现实场景需要形态各异的机器人协同工作。然而,如何让异构机器人(Cross-embodiment)——例如天上飞的无人机、水里游的无人船、地面跑的轮式机器人和桌上操作的机械臂——能够相互”理解”并协作完成任务,一直是机器人学领域的关键问题

模仿学习(Imitation Learning)作为机器人技能获取的主流范式,长期以来面临一个根本性局限:传统方法依赖于示教者与学习者之间的直接运动映射,这要求两者具有相同或相似的物理构型。然而,在现实应用场景中需要协作的机器人往往在形态、运动模态和感知能力上存在本质差异。

研究团队从认知科学中的”理性模仿”(Rational Imitation)理论获得了关键启发。发展心理学研究表明,人类学习者(包括婴幼儿)在模仿时会优先再现示教者的推断目标(inferred goals),而非精确复制其运动模式。这种”理性模仿”(Rational Imitation)能力使得人类能够跨越形态差异实现行为迁移。

核心科学问题由此浮现:能否让机器人也具备这种基于意图理解的跨形态模仿能力?

 

图1. 不同模仿学习场景的视觉示意图

如图1所示,传统的模仿学习(左侧)通常局限于示教者与学习者拥有相同或相似的身体结构,其对应关系建立在共享的运动空间或不变的身体组件之上。然而,本研究探索了一种全新的、更具挑战性的跨体型模仿场景(右侧):即便是形态迥异的异构机器人团队(例如无人机与无人船),也能通过自然语言注释所编码的高层意图在共享嵌入空间中建立语义对应关系,从而实现跨运动模态、跨工作空间的模仿与协作。这一范式从根本上改变了模仿学习的对应粒度——从底层运动轨迹的逐步映射,上升到高层任务意图的语义对齐。

 

IAIL框架:三层架构实现意图驱动的行为自适应

意图对齐模仿学习(Intention-Aligned Imitation Learning, IAIL)框架的核心理念在于”超越形式与功能”(Beyond Form and Function):不对齐运动,对齐意图。

与近年来Open X-Embodiment、Octo、OpenVLA、HPT等致力于从大规模异构数据中学习通用策略或表征的方法不同,IAIL不追求训练跨所有机器人的单一通用策略,而是为每个机器人保留独立的运动生成模型以尊重其物理约束,同时通过构建跨机器人的共享意图空间(Shared Intention Space)实现异构体型间的行为关联与迁移。

IAIL框架采用”模块化生成 + 统一意图空间”的创新架构,包含三个相互协作的核心组件:

视频1. IAIL框架核心组件

 

1

上下文感知运动生成

(Context-aware Motion Generation)

该模块为每个机器人独立训练基于变分自编码器(VAE)的状态条件生成模型,学习在给定状态下生成安全、可执行的候选动作序列。关键设计在于:各机器人的生成模型完全独立训练,无需任何跨机器人数据共享,这极大降低了系统的部署门槛。

2

运动意图提取

(Motion Intention Extraction)

这是框架的核心创新。系统为每个机器人训练特定的运动编码器,同时训练所有机器人共享的注释编码器,两者通过对比学习目标函数联合优化。语言注释作为语义监督信号,驱动具有相同意图的动作——无论来自何种形态的机器人——在嵌入空间中聚集。

3

基于意图相似度的运动关联

(Motion Association via Intention Similarity)

在共享意图空间中,系统计算示教者动作嵌入与学习者所有候选动作嵌入之间的余弦相似度,选取距离最近的候选动作作为执行方案。当相似度低于预设阈值时,系统判定当前机器人不具备执行该示教意图的能力,主动保持待机而非冒险执行。

图2. 智能体对智能体(Agent-to-Agent)场景下

的IAIL框架概览

图3. 机器人团队之间的动作关联过程

实验验证:七类异构机器人的真机协作

研究团队在真实环境中搭建了涵盖七类异构机器人的实验平台:Cuboat(水面全向移动)、Tello无人机(空中飞行)、Diablo轮足机器人(轮式移动+高度调节)、Spark差速轮机器人(平面移动)、Pepper人形机器人(全身动画模拟)、单臂机械手(6自由度抓取)、双臂机械手(双臂协调操作)。

在30个多步协作场景的测试中,示教团队与学习团队之间没有任何机器人重叠——学习者需要在从未见过示教者形态的条件下,仅凭意图理解来复现任务目标。实验结果表明,IAIL取得了92%的任务成功率和88%的最佳自适应率。

视频2.真机实验

 

理论贡献:意图空间的结构与性质

图4. 256维潜在运动表征的t-SNE投影

研究团队对256维潜在运动表征进行了深入分析,揭示了意图空间的两个关键性质:

语义分离性:全局类间余弦距离高达0.997±0.003,表明不同任务类型的潜在表征近乎正交、高度分离。总体语义分离比率达到3.764。

跨体型对齐性:执行同一任务的不同机器人嵌入质心之间的平均余弦距离低至0.030-0.031,总体跨体型对齐比率达到3.046,证实了IAIL的意图空间具备良好的体型不变性(Embodiment Invariance)。

 

仿真研究:与基线方法的对比

除了真机实验,团队还进行了系统的仿真对比实验,将IAIL与两类代表性基线范式进行对照:基于密度的映射方法(Density-based Mapping)和基于描述的翻译方法(Description-based Translation)。在涉及所有机器人配对的500次重复评估中,双侧Welch t检验证实IAIL在所有挑战性配对中显著优于两类基线(所有p

 

图5. 仿真研究:监测任务中的模仿性能评估

图6. 仿真研究:不同环境条件下的物品选择评估

与大语言模型的无缝集成

IAIL框架的另一重要特性是其与大语言模型(LLMs)的天然兼容性。由于注释编码器与运动编码器经过联合训练,框架能够将语言指令与运动轨迹同等地投射到意图空间中。这意味着,当使用语言指令替代示教轨迹时,仅需将意图提取阶段的编码器从运动编码器切换至注释编码器,即可实现无缝的模态切换——无需任何额外训练或架构调整。

研究团队展示了与ChatGPT-4.0的集成:大语言模型作为高层规划器生成任务指令,IAIL则负责在意图空间中找到与指令语义最匹配的可执行动作。当采集人类示教轨迹不可行时,LLMs还可自动生成语言指令作为替代示教,从根本上降低了异构多机系统的部署门槛。

视频3.与大语言模型集成

 

对通用人工智能的启示

IAIL框架的研究成果对通用人工智能(AGI)的发展具有深远意义:

 

意图作为跨本体的通用接口

当前,Open X-Embodiment、Octo、OpenVLA等前沿工作致力于从大规模异构数据中训练通用策略,但其核心范式是将多样化的机器人表征压缩为单一通用模型。IAIL则证明了另一条路径的可行性:意图对齐的共享嵌入空间可以作为跨本体的元协议(meta-protocol),在保全每个机器人物理约束与功能特异性的同时,实现异构智能体间的高阶语义对齐。

 

认知-物理双层架构的验证

IAIL框架天然适配于大语言模型驱动的认知-物理双层多智能体系统:云端或边缘侧的认知智能体负责高阶规划与逻辑推理,而IAIL则作为物理执行接口,将抽象的语言意图转化为异构机器人的可执行策略。这一架构与BIGAI提出的”小数据、大任务”研究范式高度契合。

 

人机混合智能的基础

通过将机器人行为组织在与人类可理解的语言描述对齐的共享意图空间中,IAIL使得机器人的目标能够从其行为中被高效推断,这在人机协作场景中尤其有利于建立人类对机器人团队的理解与信任。

 

作者介绍

共同一作

 

陈晰

北京通用人工智能研究院研究员,机器人实验室核心成员。博士毕业于瑞典皇家工学院(KTH)机器人感知与学习实验室,清华大学博士后出站。研究方向聚焦于数据驱动的机器人控制与决策,涵盖强化学习、模仿学习及小样本策略的迁移与适应。研究成果发表于Science Robotics、NeurIPS、IEEE T-RO、RA-L、ICRA、IROS等国际顶级期刊与会议。

 

高源

深圳市人工智能与机器人研究院副研究员、国际合作部项目负责人,兼任香港中文大学(深圳)理工学院客座助理教授。入选深圳市海外高层次人才计划,在机器人学习算法、多机协作策略及异构多机系统等领域累计发表论文50余篇。

北京通用人工智能研究院

 

Facebook
Twitter
LinkedIn
Email