为了实现自主飞行，无人机需要捕捉到环境中的感知信号，并根据这些信息做出决定。卡耐基梅隆大学的研究人员开发了一种新方法，允许无人机分别学习感知和行动。这种分两阶段的方法克服了“模拟与现实之间的差距”，并创造了一种将完全根据模拟数据训练的无人机安全地部署到真实世界的航向导航的方法。

计算机科学学院机器人研究所的博士生Rogerio Bonatti说:“通常情况下，即使是在最逼真的模拟数据上训练的无人机，在现实世界中也会失败，因为光线、颜色和纹理的差异仍然太大，难以翻译。”“我们的感知模块接受了两种模式的训练，以增强对环境变化的应变力。”

第一个帮助训练无人机感知能力的模式是图像。研究人员使用逼真的模拟器创建了一个环境，其中包括无人机、足球场和从地面升起的红场大门，并随机定位以创建轨迹。然后，他们从成千上万随机生成的无人机和栅极配置中建立了一个模拟图像的大型数据集。

感知所需的第二个模态是了解门在空间中的位置和方向，研究人员利用模拟图像数据集完成了这一任务。

使用多种模式对模型进行教学，增强了对无人机经验的有力描述，这意味着它可以理解场和门的本质，从而从模拟转化为现实。压缩图像以减少像素有助于此过程。通过对低维表示的学习，可以使模型看穿现实世界中的视觉噪声并识别出大门。

在感知学习后，研究人员将无人机部署在模拟环境中，这样它就可以学习它的控制策略——或者如何实际移动。在这种情况下，它学习应用何种速度，因为它导航的过程和遇到每个门。因为这是一个模拟环境，一个程序可以在部署前计算出无人机的最佳飞行轨迹。这种方法比使用专家操作人员的手动监督学习具有优势，因为真实世界的学习可能是危险的、耗时的和昂贵的。

无人机通过研究人员指定的训练步骤来学习导航课程。博纳蒂表示，他对无人机在现实世界中所需要的特定操纵能力和方向提出了挑战。“我让无人机以不同的轨迹形状向左和向右转弯，随着噪音的增加，转弯难度会加大。”机器人并没有学习如何重新穿越任何特定的轨迹。相反，通过有策略地指导模拟的无人机，它会学习所有的元素和动作类型，从而自主地比赛。”

博纳蒂希望推动现有技术来接近人类解读环境线索的能力。

博纳蒂说，“到目前为止，无人驾驶赛车的大部分工作都集中于设计一个系统，该系统以速度为唯一目标，并配备了额外的传感器和软件。取而代之，我们旨在创造一种受人脑功能启发的计算结构，通过潜在的表示将视觉信息映射到正确的控制动作中。”

但无人机竞赛只是这种学习方式的一种可能。这种分离感知和控制的方法可以应用于许多不同的人工智能任务，如驾驶或烹饪。虽然这个模型依赖于图像和位置来教授感知能力，但其他的模式，如声音和形状，可以用于识别汽车、野生动物或物体。