基于YOLO的无人机技术：研究综述及其应用

转载 2023-03-27 10:18 飞思实验室来源：飞思实验室

目前，无人机（UAV）或空中机器人正处于快速发展时期，基于YOLO算法的目标检测性能在工业上已达到较高水平，该算法仍需要不断改进。无人机可以携带各种设备来完成不同的任务。这些任务的例子包括喷洒液体药物，测绘，物流运输，灾害管理，航空摄影以及播种肥料或种子。基于YOLO算法的物体检测技术已经能够实现人类行为分析，面罩识别，医疗诊断分析，自动驾驶，交通评估，多目标跟踪和机器人视觉。然而，无人机面临复杂的场景或工作需要与地面控制终端保持良好的数据通信，因此无人机技术的创新和发展可能会受到某些应用环境的限制。然而，无人机面临复杂的场景或工作需要与地面控制终端保持良好的数据通信，因此无人机技术的创新和发展可能会受到某些应用环境的限制。此外，基于YOLO算法的目标检测技术需要部署到高性能处理器中，并与图像或视频数据结合使用，这对使用场景提出了一定的要求。这两种技术可以结合起来，创造出一种新技术——基于YOLO的无人机技术（YBUT）。无人机为YOLO算法提供了更多的应用场景，YOLO算法可以帮助无人机完成更多新颖的任务。通过这种方式，无人机技术和YOLO算法可以进一步促进人们的日常生活，同时为各自行业的生产力做出贡献。

随着无人机技术的不断成熟，世界各国的无人机数量每年都在增加，根据全球商用无人机的年销量和销量统计，如图1所示，到2025年，全球将有约679，000架无人机，市场规模约为5亿美元。全球无人机数量如此之多，如果无人机可以作为空中平台部署YOLO算法，就有可能使无人机更有价值。

图1 全球商用无人机年销量和销量统计

YOLO是一种广泛使用的深度学习算法，因为它是一种基于分类/回归的对象检测方法，赋予算法核心优势：结构非常简单，模型体积小，计算速度快。自引入YOLO以来（截至2023年2月）经过七年的发展，研究人员发布了YOLO算法的七个版本。基于YOLO的目标检测算法的机制是将输入图像调整为相同的大小，然后将图像分成大小相等的S×S网络单元，每个单独的网络单元都可以检测其中的对象。如果检测到的目标的中心落入网络像元中，则该网络像元将对目标进行预测。每个网络小区可能有N个检测框，每个检测框不仅计算自己的位置，还做出预测分数。分数表示检测目标存在于预测网络单元中的可能性。由于网络单元中可能有多个框，YOLO将自动选择得分最高的目标类别进行预测，如图2所示。

图2 基于YOLOv7的无人机技术架构图（BN：批量归一化层;AF：激活函数层）

利用中英文搜索引擎（如Web of Science、中国国家知识基础设施）对检索结果进行分析，得到中英文期刊在相关领域的主要研究主题。迄今为止，计算机视觉技术已经开发了各种各样的算法，其中YOLO算法是在2016年提出的，然后在2017年由Jiang等人首次应用，他们将YOLO算法与无人机相结合。此后，YOLO算法和无人机融合技术不断发展，相关研究成果或应用激增。该技术也已从探索性实验转变为学术研究热点（见图3）。

图3 在顶级期刊和会议上发表的论文数量（2017-2022）

根据我们对YBUT应用领域的调查，英文期刊中该领域热门话题的信息汇总为饼图，如图4中的调查结果所示。从饼图可以看出，热门话题主要集中在技术研究、工程和运输等行业，发表的论文或会议文献的数量代表了研究人员的兴趣。我们还调查了该领域热门话题的中国期刊，发现它们更关注技术研究、工程和自动化领域。随着无人机技术和YOLO算法的不断发展，这项技术开始在大多数领域进行探索，在少数领域，已经取得了一些成功。YBUT的发展和研究一直是顶级期刊和会议的热门话题，现在该技术的实际应用正逐渐引起他们的兴趣。

图4 YBUT的应用领域调查：（a）英文期刊的热门领域，（b）中文期刊的热门领域

在YBUT应用的早期阶段，主要工作机制是通过无人机采集图像或视频数据，然后由运行基于YOLO的目标检测算法的计算机进行目标检测，识别和分类。为了探索从无人机捕获的图像中检测车辆的方法，以应用于交通监控和管理，并且由于深度学习算法在目标检测中显示出显着的优势，研究人员尝试将基于YOLO的目标检测算法应用于无人机图像中的车辆检测。Jiang等在无人机上集成了热红外成像传感器和可见光成像传感器，构建了多源数据采集系统，通过特征点提取和单响应矩阵方法对图像进行校正和对齐，然后对多源数据进行图像融合。最后，他们利用深度学习YOLO算法进行数据训练和车辆检测（见图5）。

图5 Jiang等人提出的方法流程图

此外，Ruan等人试图使用深度学习和基于视觉的drogue检测和定位方法来解决复杂环境中无人机自主空中加油雾滴的准确检测和定位问题。他们使用经过训练的YOLO算法进行锥形轨迹检测，在确定基准位置后使用最小二乘椭圆拟合来确定椭圆的长半轴，最后使用单目视觉相机进行椎体下垂定位（见图6）。

图6 Drogue检测方法

随着YBUT的不断发展，新一代无人机配备了丰富的计算资源高性能处理器，其中部署了基于YOLO的目标检测算法，允许处理器在无人机收集数据时实时检测，识别和分类任务对象。Zhang等人为了探索新一代技术的可行性，将YOLOv3算法嵌入到资源有限的NVIDIA Jason TX1平台环境中（见图7），并让无人机携带嵌入式平台进行实时行人检测实验。

图7 四旋翼监测无人机

Alam等人为了减轻无人机机载嵌入式处理器的计算压力，增强YBUT的实用性，提出了一种高性价比的空中监视系统，该系统保留了机载嵌入式处理器Movidius VPU上有限的Tiny-YOLO计算需求，将大型Tiny-YOLO计算任务转移到云端，并保持无人机与云之间的最小通信。与其他最先进的方法相比，该系统在每秒帧数的目标检测处理速度方面快六倍，同时机载嵌入式处理器技术的应用降低了端到端延迟和网络资源消耗（见图8）。

图8 由Alam等人完成系统设计

Doukhi等人使用了配备Nvidia Jetson TX2高性能嵌入式处理器和PID控制器的无人机。然后，他们将YOLOv3算法部署在嵌入式处理器中，利用基于YOLO的目标检测算法直观地引导无人机跟踪检测到的目标，同时使用PID控制器控制无人机飞行。实验结果表明，所提方法仅通过鱼眼相机成功实现了定位和无人机跟踪飞行的视觉SLAM，无需外部定位传感器或引入GPS信号（见图9）。

图9 基于深度学习的运动控制软件架构。图中红色圆圈表示YOLOv3算法中的输入RGB图像，橙色圆圈表示YOLOv3算法的计算过程，蓝色圆圈表示YOLOv3算法检测到的目标和边界框数据

Afifi等人提出了一个用于多场景行人检测的强大框架，该框架使用YOLO-v3物体检测作为骨干检测器（见图10），并在无人机上的Nvidia Jetson TX2嵌入式处理器上运行。来自多个室外行人检测场景的实验结果表明，与YOLOv3算法相比，随着嵌入式处理器计算资源的增加，所提出的检测框架在mAP和FPS方面表现出更好的性能。

图10 行人检测框架的工作流程

YBUT已应用较为成熟的研究领域是输电线路检测、建筑表面检测、动目标跟踪、仪表显示读数、光伏组件检测、建筑识别与分类。根据目前的调查，YBUT在工程领域的应用研究中，研究人员更喜欢传输线检测的方向。在复杂环境中可以准确识别、分类和定位电力线杆、绝缘子、电气元件、配电线杆、输电塔、鸟巢和断路器等物体。例如，Bao等人提出了一种端到端并行混合注意力检测YOLO网络（PMA-YOLO），通过无人机收集传输线减振器数据，然后创建一个数据集来训练和测试模型;结果表明，该模型能够检测异常减振器，准确率为93.8%（见图11）。