通过无人机视觉导航增强多学科工程能力的综合实验
转载 2022-01-07 10:43 飞思实验室 来源:飞思实验室航空航天工程是与在地球大气层或外层空间运行的飞行器的设计、开发、建造、测试和操作有关的工程领域。作为最重要的专业之一,飞机控制和信息工程决定了航天器的智能和自主性,它本质上是一个多学科领域,其中信号处理、计算机科学等经典研究逐渐与控制理论、导航等更多领域特定知识融合。指导和人工智能专业培养目标不仅是培养学生成为各领域的专家,更要成为综合性复合型高级人才。因此,非常需要对学生进行多学科的教育,使他们能够系统地学习不同学科的知识并加以整合。设计了一个基于无人机视觉导航(UVN)的综合实验,为航空航天工程专业的学生提供一个多学科的实践训练环境。作为飞机控制与信息工程专业本科生最重要的实践课程之一,综合实验最适合于交叉学科和工程训练课程。
1.多学科仿真平台
多学科仿真平台是一个多目标的航空教学和实验环境,为学生提供灵活的硬件和软件,以完成航空航天工程中非常典型的任务:遥感和自主监测。它是一个可扩展的实用平台,包括无人机和远程对象场景,如图1所示。
图1 多学科仿真平台
多学科仿真平台包括与航空航天相关的不同学科,如控制理论、信息与工程、图像处理和机器学习,如图2所示。四轴飞行器和智能飞行器可分别从空间和地面采集信息,并配合实景沙盘模拟天地一体化实时遥感图像采集和信息传输过程。四轴飞行器的侦察处理结果和智能飞行器的感知信息可以传输到中控站,协调飞行器自主、智能地规划到感兴趣区域的路径。
图2 参与实验的相关学科
基于多学科仿真平台,教师可以设计无人机视觉导航、自主着陆等各类项目,包括控制理论、信息与工程、图像处理、机器学习等。如图2所示,实验内容设计为数据采集与处理、概念设计与仿真、飞行验证三个阶段,其中多学科工程能力贯穿于活动的全过程。
2.数据采集和处理
第一阶段的数据采集和处理,学生需要学习如何通过各种遥感采集设备捕捉图像,获取运动信息来计算无人机的位置和轨迹,并使用图像处理或人工智能来识别物体的利益。
与图像或视频预处理、图像分割、目标检测、跟踪和目标识别相关的数据处理,如图3所示。图像预处理旨在提高数据的质量,这可能涉及去噪、过滤、增强等。然后,学生可以尝试不同的分割方法,例如阈值、GMM、显着性或深度学习,来提取感兴趣的区域。之后,可以基于模板、Harris、HoG 或基于深度学习的算法实现目标检测、跟踪和识别。
图3 数据采集和处理
3.概念设计和模拟
在仿真的第二阶段,第一阶段获取的数据和信息可用于概念设计和在Matlab/Simulink 环境上对控制和导航系统进行仿真。采用成熟且广泛使用的开源飞机控制系统Pixhawk 作为飞行控制系统来控制四轴飞行器的姿态和位置。该系统集成了XSENS惯性测量单元和气压计传感器,可以提供四轴飞行器的3D加速度、3D角速度和高度的实时信息。
使用这些信息,可以计算四轴飞行器的姿态和位置信息。该平台大大简化了飞控算法的开发流程,帮助学生更加专注于视觉导航算法的开发,大大提高了效率。如图4所示,学生从无人机上的不同传感器获取各种数据,从而可以使用 Matlab/Simulink 设计视觉导航模型。模型在 Matlab/Simulink 中运行良好后,模型的参数可以作为 Pixhawk 的输入,引导四轴飞行器随心所欲地飞行。
图4 概念设计与仿真
4.飞行验证
在飞行验证阶段,要对子模型(数据采集、信号传输、实时处理、动态系统控制和自动导航)进行深思熟虑,有效结合,实现自动控制和自主视觉导航,如以下步骤:
四轴飞行器起飞前,需要检查系统状态,包括GPS信号、视觉计算机和飞控系统通讯。
一旦四轴飞行器上升到合适的高度,目标搜索状态就开始了。
一旦检测到物体,四轴飞行器就开始计算物体的状态信息,例如物体与自身的距离、高度和偏航角以及物体的位置。
根据计算出的物体状态信息,判断目标是否在可追踪范围内。
计算出的物体相对位置信息作为飞行控制系统的输入发送,引导四轴飞行器到达正确的位置并跟踪所需的物体。
根据仿真中确定的参数对控制器参数进行微调。
评估系统的性能。
综合实验是为飞机控制与信息工程专业的高年级本科生设计的。前一两年,学生已经学习了数学、计算机科学、信号处理、图像处理、控制理论等基础学科和专业基础课程。这个综合实验为学生提供了一个机会,让他们在一个系统的项目中了解不同的学科。通过无人机在特定任务下的设计、模拟和智能控制,学生不仅可以很好地复习以前的相关课程,了解无人机在航空航天工程中的作用,还可以增加他们对专业的兴趣和扩展他们在特定领域的能力。建议的综合实验教学过程也可以很容易地扩展到研究生作为一个更深入的研究项目。对于研究生来说,他们可以尝试通过灵活的平台解决更具挑战性的任务,并提高他们的创新和解决问题的能力。
源自:2020 IEEE Frontiers in Education Conference (FIE) DOI: 10.1109/FIE44824.2020 21-24 Oct. 2020