本文是对北京通用人工智能研究院通用视觉实验室&多智能体实验室联合北京大学人工智能研究院团队发表在人工智能和机器人方向顶会ICRA 2023 论文GenDexGrasp：Generalizable Dexterous Grasping 的介绍。（注：本文首发于北京大学人工智能研究院，头图由AI生成。）

本文共同一作为李浦豪[1,2]、刘腾宇[1]，其他作者李宇飏[1,2]、耿逸然[1,3]、朱毅鑫[3]、杨耀东[1,3]、通讯作者⻩思远[1]。分别来自以下单位：1. 北京通用人工智能研究院 2. 清华大学 3. 北京大学。 

论文链接：https://arxiv.org/abs/2210.00722
一、摘要

图1：可泛化通用抓握

机械手使用目前的抓握算法虽然已经可以实现比较稳定地抓握物体，然而对比人类的抓握能力，我们发现当前研究在可抓握物体的通用性和多样性上都还远远不足。人类除了使用全部手指的完全抓握外，在一些手指不可用的时候还可以非常高效地使用两个或三个手指进行抓握。同时，当我们想象我们拥有其他形状的手（比如章鱼触手或者鹰爪）时，可以在短时间内想象出如何使用新的手稳定地抓住物体。为了实现接近人类水平的可泛化多样灵巧抓握，本文提出了GenDexGrasp，一种新颖的面向任意手的抓握算法。与以前的通用抓握算法相比，GenDexGrasp在成功率、推理速度和⽣成多样性之间实现了三方面的平衡。

二、GenDexGrasp：跨机械手通用灵巧抓握

在本文中，我们将通用灵巧抓握定义为针对从未见过的机械手和观察到的物体生成抓握姿态的问题。我们从速度、多样性、泛化能力三个方面评估通用灵巧抓握。现有方法最多只能在其中的两个方面实现可接受的效果。

图2：GenDexGrasp方法概览图

为了在这三个方面实现平衡，我们设计了面向任意手的灵巧抓握算法GenDexGrasp。首先使用条件变分自动编码器（cVAE）为给定物体生成面向任意手的接触面。接下来，通过优化手的姿势以匹配生成出来的接触面。最后，通过物理模拟进⼀步优化抓握姿态，以确保接触在物理上是可行的。GenDexGrasp通过减少对手结构的假设来提供泛化性，并通过改进接触面的计算方式和高效的优化放方案实现快速推理，通过随机初始化的变分生成模型实现多样化的抓握生成。

图3：对齐距离（aligned distance）示意图

其中(b)、(d)表示欧式距离以及在欧式距离下(a)图所示抓握对应的接触面；(c)、(e)表示对齐距离以及在对齐距离下(a)图所示抓握对应的接触面。为了解决抓握优化过程中接触面的歧义性（尤其是对于薄壳物体），我们设计了一种新颖的度量方式“对齐距离”（aligned distance）来计算物体表面点与手之间的距离，它有助于表示抓握生成的准确接触面。具体而言，传统的欧式距离会在接触薄壳物体一侧时错误地将薄壳的两侧都标记为接触点，而对齐距离则考虑了接触点的方向和物体表面的法线，并纠正了这些错误。为了学习面向任意手的接触面，我们使用力闭合优化[1]收集了⼀个大规模的多手数据集MultiDex。MultiDex包含5只手和58个家庭物品的436,000个多样化抓握姿态。实验证明，我们的方法能够分别在没见过三指、四指、五指机械手抓握的情况下生成对应机械手的多样抓握姿势。表1通过定量实验表明我们的方法可以实现质量、速度、多样性三方的均衡。

图4：GenDexGrasp在三指机械手（Barrett，第一行）、四指机械手（Allegro，第二行）和五指机械手（Shadowhand，第三行）的生成结果。

在生成每一行结果时，GenDexGrasp均未在训练数据中见过对应指数机械手的抓握数据。

表1：定量实验结果，表明我们的方法首次同时在成功率、多样性和推理速度三个方面实现均衡。

三、总结

本文介绍了GenDexGrasp，一种通用的灵巧抓握方法，可以泛化到任意的机械手。通过利用接触面作为中间表示、一种测量手到点距离的新型对齐距离以及⼀种新型抓握算法，GenDexGrasp可以在合理的推理时间内生成多样化和高质量的抓握姿态。

定量实验表明，我们的方法首次在质量、多样性和速度之间实现合理的平衡。此外，我们为灵巧抓握收集了⼀个大规模的合成数据集MultiDex。MultiDex中包含了具有五个具有不同运动学结构的机器人手、常见的家庭用品和多样化的抓握姿态。