研究人员展示了用于自主无人机的全息AR控制系统

从理论上讲，控制飞行无人机与驾驶直升机应该没有多大区别，但是如果没有人在驾驶舱内，可视化无人机相对于环境障碍物的当前位置可能很棘手-通常是二维的，依赖于相机和操纵杆。本周，香港科技大学的研究人员刘楚浩和沉少杰透露了一种有趣的新解决方案，该解决方案使用全息增强现实硬件创建实时3D地形图，使无人机飞行员可以简单地指向任何平面上方可视化的目标。

全息界面依赖于多种有趣技术的结合：在显示方面，Microsoft HoloLens头戴式耳机将增强现实内容生成为彩色体素图，可以使用自动无人机的深度摄像头和实时射线广播从任何角度进行查看位置数据。至关重要的是，该系统提供了对环境高度和深度的实时且高度空间感，从而使无人机可以很容易地从第三人称视角看到并重新定位。

然后，HoloLens将命令反馈给无人机，通过将佩戴者的手势和注视转变为类似点击的控件，在全息图内确定其下一个目标。然后，无人驾驶飞机会飞到新位置，并在3D地图行进时对其进行更新。一个演示视频研究者提供一个看起来科幻电影的直出-至少在全息侧。由于带宽限制，无人机仅将3D地图数据提供给AR接口，而不提供随附的第一人称视频。

在准备部署全息无人机控制系统之前，香港大学团队还有一段路要走。最初，无人机的数据是在室内测试空间内使用Wi-Fi共享的，尽管一旦5G网络超过了目前无人机受限的阶段，低延迟5G蜂窝连接可能会在室外工作。研究人员还指出，HoloLens在一组测试人员中“ [AR]视野非常有限……引起了频繁的抱怨”，可以使用HoloLens 2或其他AR耳机解决此问题。此外，尽管测试人员先前对AR硬件很熟悉，但他们仍然需要练习才能精通3D定位，这可能是手势识别或不完善的3D UI的问题。

值得注意的是，3D地图数据比实时第一人称视频的带宽效率更高，每秒更新10次时仅需要272MB数据，而以每秒30帧的速度发送第一人称视频图像则需要1.39GB的数据。展望未来，该团队希望同时包括两种类型的流以使用户受益，从而优化数据以满足网络的最小带宽水平。

尽管存在这些问题，全息AR系统显然具有很大的潜力。除了界面的视觉新颖性以外，使用便携式，独立的AR耳机控制远程车辆还有一个巨大的便利优势，而无需使用完整的计算机，显示器和操纵杆。研究人员计划在预定于2020年10月25日至29日举行的国际智能机器人与系统会议上正式提出将AR与自动无人机相结合的“第一步”。