北京通用人工智能研究院BIGAI

中国机器人及人工智能大赛决赛见:TongVerse引领具身智能训练测试平台新实践

第二十七届中国机器人及人工智能大赛

人形机器人赛项全国决赛

8月即将开赛

依托TongVerse平台

北京通用人工智能研究院

将作为承办单位支撑大赛举办

仿真,虽无法完美复刻现实世界

但已被证实是横跨多学科的高效教学工具

为科研与教育提供了便捷且经济的实现途径

主流机器人仿真器支持高精度物理模拟

但缺乏视觉真实感

传统具身智能平台具备高清渲染能力

却简化了物理交互

为弥补现有机器人模拟器的局限性

填补全尺寸人形机器人教研的需求缺口

通研院主导研发兼具物理与视觉真实感的

具身智能训练测试平台TongVerse

旨在促进具身人工智能与机器人学领域的协同研究

推动人形机器人领域的教育发展与人才培养

 

成果简介

 

 

 

 

 

 

 

 

 

 

 

 

TongVerse是具身智能训练测试平台,为用户提供高质量场景渲染与机器人动力学仿真,该平台支持利用多样化数字资产构建多场景,集成先进感知模型或基础模型,并基于环境反馈实现动态人形机器人行为的规划与控制算法。TongVerse平台为学术界与工业界提供高精度、低成本的研究基础设施,目前已应用于国家级机器人赛事,致力于提升人形机器人的研究和教育水平。研究成果“PR2: A Physics- and Photo-realistic Humanoid Testbed with Pilot Study in Competition”已发表至Journal of Field Robotics

  • 项目链接:https://pr2-humanoid.github.io/

  • 开源地址:https://github.com/pr2-humanoid/PR2-Platform

  • 第一作者:通研院刘航欣研究员,其他作者包括:通研院谢琦工程师、通研院张泽宇研究员、通研院袁滔研究员、苏州大学王松老师、通研院王在进工程师、哈尔滨工业大学冷晓琨教授、哈尔滨工业大学孙立宁教授

  • 通讯作者:通研院张精文研究员、哈尔滨工业大学何治成博士、通研院苏垚研究员

 

系统架构

 

 

 

 

 

 

 

 

 

 

 

 

TongVerse平台基于 NVIDIA Isaac Sim 构建,该平台借助 GPU 加速图形技术与集成 Nvidia PhysX 5 的物理仿真能力,使用户能在具备物理仿真和照片级真实感的仿真环境中研究测试机器人技能。通过扩展 NVIDIA Isaac Sim 核心组件,TongVerse平台由三大模块构成:

(1)任务模块:利用丰富的数字资产构建交互式任务环境,并通过多种技术提升场景渲染质量和交互能力;

 

(2)物理仿真模块:支持各类数字资产导入,以构建多样化任务场景并模拟力场、系统动力学等物理效应;

 

(3)内置控制器模块:集成模型预测控制器、全身控制器及高级规划器,默认配置适合初学者,高级用户可按需替换为更复杂的控制方案。

 

 

赛事实践

 

 

 

 

 

 

 

 

 

 

 

 

2024年,TongVerse平台已应用于“第二十六届中国机器人及人工智能大赛人形机器人创新挑战赛”。其中,仿真选拔赛依托TongVerse具身智能训练测试平台开展,在4个月内吸引了137支队伍、400余名参与者参赛。该竞赛涵盖双足行走等传统任务,以及移动操作和基于语言指令的物体搜索等创新挑战。TongVerse平台不仅通过全国性赛事完成验证,开创了在高校赛事实现跨模态挑战的先河,并进一步推动人形机器人教育的普惠化发展。

今年4至8月,依托TongVerse平台,北京通用人工智能研究院将继续支撑“第二十七届中国机器人及人工智能大赛人形机器人赛项全国决赛”。与去年的家庭场景相比,今年的赛事更加聚焦于工业场景,通研院与乐聚机器人联合团队将TongVerse平台中的人形机器人本体模型更新为乐聚最新款双足人形机器人平台夸父4pro,仿真环境、双足行走控制器等方面也做了全面升级,定制了三个关卡对人形机器人在工业场景下的感知、规划、控制、交互等进行综合能力测试。

赛事整体测试环境

1

第一关:智越征途

考察机器人的自主导航和避障能力

第一关测试场景

2

第二关:王者之路

测试机器人在复杂地形上的运动控制能力

第二关测试场景

3

第三关:智能搬运

验证机器人的物品识别和精确放置能力

第三关测试场景

8月份的决赛现场,大赛将搭建同样的实地测试环境,考察参赛团队的算法在实体人形机器人上的具身作业能力。

欢迎加入TongVerse生态

8月,在合肥,我们决赛见

 

北京通用人工智能研究院

 

 

Facebook
Twitter
LinkedIn
Email