全文1484字，预计阅读时间4分钟

原创 | 张啸宇

编辑 | 吕嘉玲

1背景随着无人机技术的逐渐成熟，我们希望赋予无人机更加丰富的作业能力。空中作业机器人便是一种新型的机器人，将无人机与作业机构结合起来，使其兼具无人机的快速空间移动能力和机械臂的精确操纵能力。为了提高机器人的自主作业能力，视觉等传感器往往必不可少。在空中操作机器人中，视觉传感器通常安装在机械臂末端或无人机本体上。视觉传感器安装在机械臂末端时，由于无人机的抖动，作业目标很容易在图像画面中消失；安装在无人机本体上时，作业目标又很容易被机械臂遮挡（如图1所示）。这些问题限制了空中操作机器人进行高精度的作业活动。本文将介绍一种新颖的目标定位方法解决上述问题，相关工作发表于期刊IEEE Robotics and Automation Letters 并将在会议IEEE International Conference on Robotics and Automation (ICRA) 2022上报告[1]。

论文链接：

https://shiyuzhao.westlake.edu.cn/style/2022RAL_XiaoyuZhang.pdf

介绍视频：

https://www.bilibili.com/video/BV11T4y1m7tN?spm_id_from=333.999.0.0 

图 1 作业目标被机械臂遮挡2方法该目标定位方法的核心思想是观测到目标时，保存目标与周围特征点的空间距离；没有观测到目标时，利用匹配的特征点与目标点的空间距离计算目标点的位置。因为距离是与坐标系无关的，因此在进行目标定位的过程中不需要同时估计相机的自身位姿，使定位精度更高。基于距离的目标定位类似于GPS等定位系统的四点定位的原理，也就是在空间中，已知不在同一平面上的四个点，以及它们到目标点的距离，即可计算出唯一的目标点位置。该定位方法的系统流程图如图2所示。

图2 系统流程图

这里我们使用了RGB-D相机，但也可以拓展到双目相机。在每帧图像中我们提取了ORB特征点，因此根据相机模型，可以得到特征点在相机坐标系中的空间位置：

当观测到目标时，以及计算特征点到目标点的空间距离，并保存该距离：

当观测不到目标时，通过特征点匹配可以找到之前保存的特征点及其到目标点的距离，每个匹配的特征点可以提供一个约束。我们将这一约束定义为一个误差项：

因此，求解如下优化方程便可得到最终的目标点位置：

整个定位系统仿照经典的视觉SLAM系统进行搭建，分为建图和定位两部分。建图中，我们仅保存并更新特征点到目标点的距离，并不保存点的三维坐标，该地图被称为target-centered range-only map。定位中，实现的是求解目标点在当前相机坐标系中的相对位置，核心是构建上述的优化方程。

3实验

ICL-NUIM 数据集

我们首先在ICL-NUIM数据集中验证了我们的算法。如图3所示，在第一帧图像中指定目标，并在后续图像中持续定位目标，随着相机移动，目标会移出画面，但我们的算法依然能够进行定位。

图3 实验图像示意图这一过程中特征点到目标的距离如下所示：

video1因为使用SLAM算法可以构建全局地图，而目标位置可从地图中获得，因此我们将两种算法进行了比较，统计如图4所示，其中Em表示观测到目标时的目标定位误差，Eu表示没有观测到目标时的目标定位误差。可以看出，我们的方法取得了更高的定位精度，因为在SLAM中目标定位精度同时受到相机自身定位精度的影响。比较Em和Eu可以看出，即使不能直接观测到目标，仍能实现其较高的定位精度。

图4ICL-NUIM数据集误差统计

真实场景实验

此外，我们在不同的真实场景中，在真实无人机上进行了定位实验，如图5所示。

图 5 真实场景实验

在实验过程视频如下:

video2

在真实场景中实验的定位误差及与SLAM算法的比较如图6所示，我们的方法同样取得了更高的定位精度。

图6真实实验误差统计

运行速度

我们的算法运行效率较高，在配有i7-7700HQ 2.80GHz CPU的笔记本电脑上，每帧处理耗时约42毫秒，即每秒钟可处理约24帧，能够满足无人机的任务需求。

3总结与展望

在该工作中，我们提出了一种新型的目标定位方法，能够应对空中操作机器人中难免的目标遮挡等问题。该方法在数据集与真实环境中都取得了较好的实验结果。未来我们将进一步拓展该算法，并将其与实际的空中作业任务相结合，赋予空中机器人更强大的自主作业能力。

参考资料：[1] X. Zhang, Y. Zhang, P. Liu, and S. Zhao, “Robust Localization of Occluded Targets in Aerial Manipulation Via Range-Only Mapping,” IEEE Robotic and Automation Letters, vol. 7, no. 2, pp. 2921–2928, 2022.本文由西湖大学智能无人系统实验室张啸宇原创，申请文章授权请联系后台相关运营人员。