纳米级四旋翼的视觉对象跟踪和伺服控制：系统，算法和实验外文翻译资料

英语原文共 17 页，剩余内容已隐藏，支付完成后下载完整资料

纳米级四旋翼的视觉对象跟踪和伺服控制：系统，算法和实验

摘要——无人机技术的发展有两个主要趋势：小型化和智能化，其中实现纳米级无人机的目标跟踪功能是最具挑战性的问题之一。在本文中，我们介绍了一种视觉客体跟踪和伺服控制系统，该系统利用量身定制的38g纳米级四旋翼飞机。集成了轻型视觉模块以实现对象跟踪功能，并安装了微型定位平台以提供准确的姿势估计。为了对物体外观变化具有鲁棒性，提出了一种新的以RMCTer表示的物体跟踪算法，该算法集成了强大的短期跟踪模块和有效的长期处理模块。特别是，长期处理模块可以提供额外的对象信息并及时修改短期跟踪模型。此外，针对四旋翼飞机提出了一种基于位置的视觉伺服控制方法，该方法利用反步法和自适应技术设计了自适应跟踪控制器。即使在干扰下也可以实现稳定而准确的目标跟踪。实验结果表明了整个跟踪系统的高精度和稳定性。

关键词——纳米级四旋翼，非线性控制，基于位置的视觉伺服，视觉目标跟踪。

1. 主要导言

近年来，人们对无人机的研究越来越多，引起了工业界和学术界的关注。小型化是发展的主要趋势之一。

2020年9月8日收到的手稿，并于2020年10月1日接受。这部分工作得到了清华大学郭强研究所的支持，得到了研究生教育和教学清华大学改革工程支持，得到了国家中国自然科学基金支持，由清华大学独立研究项目完成。由副编辑高卫南推荐(相应作者：孟子阳)。

引文：刘玉忠，孟子阳，邹永，曹先生，“纳米级四旋翼的视觉对象跟踪和伺服控制：系统，算法和实验”IEEE/CAA J.Autom.Sinica，第8卷，第2期，第344至360页，2021年2月。

刘玉忠，孟子阳分别供职于清华大学精密仪器系，北京100084，中国(电子邮件：lyz17@mails:tsinghua.edu.cn;ziyangmeng@tsinghua.edu.cn)。

邹永，是自动化和电气工程学院的一名学生，北京科技大学，北京，10083，中国(电子邮件：zouyao20@126.com）。

曹先生在荷兰格罗宁根，在格罗宁根大学工程技术学院任职(电子邮件：m.cao@rug.nl)。

本文中的一个或多个图形的颜色版本可在网上查阅http://ieeexplore.ieee.org。

无人机技术的数字对象标识符：10.1109/JAS.2020.1003530。在2019年，DJI创新公司推出了一个名为“MavicMini”的小型四转子，这是他们最小的产品。然而，它仍然重249克，体积为245毫米*290毫米*55毫米。大多数商用无人机，甚至微型无人机(重量在0.4-2磅或180-907克之间)都很容易对周围环境造成损害。相反，纳米级无人机(重量小于0.4磅或180克)具有操作安全和无声的优点，适合在严格限制的环境和批量飞行。2005年，国防高级研究计划局(DARPA)宣布了纳米飞行器(NAV)计划，其目标是设计一种纳米无人驾驶飞行器(尺寸小于75毫米，总质量在10克以下)，具有持续盘旋、向前飞行和能够执行室内和室外任务的能力。

除了小型化之外，智能化也是另一种无人机技术发展的主要趋势。特别是，为了在许多实际应用(如监视、增强现实、环境监测、行为建模、救援和搜索)中执行各种任务，自主目标跟踪能力是必不可少的。例如，在无人机平台(即AR无人驾驶飞机2.0)上应用开放式TLD(跟踪-学习-检测)跟踪器的作者完成了跟踪非人工目标的任务，包括人或行驶中的汽车。然而，基于tdd的方法无法达到与最先进的跟踪算法相当的性能。李教授等人利用著名的基于相关滤波器的跟踪器，在无人机平台DJI Matrice 100上实现了基于视觉的行人跟踪系统。具体而言，频域相关滤波器作为基本跟踪器，其在线训练模型被进一步转化为空域，从而得到再检测模型。由于检测分类器依赖于基本跟踪模型的准确性和一般的目标方案，因此该方法仍然不能有效地处理目标外观发生变化的情况。以上研究工作集中在较大的无人机平台上。相比之下，很少有涉及视觉目标跟踪的研究工作使用纳米级无人机平台，因为它们的体积、有效载荷能力和功耗非常有限。首先，现有的大部分机载定位和导航传感器不能安装在纳米尺度的无人机上，包括GPS模块、激光测距仪和普通相机.此外，大多数现有的最先进的视觉目标跟踪解决方案需要大量的计算资源，因此，它们无法直接用于纳米级无人机。最后但并非最不重要的是，纳米无人机的飞行更容易受到外部干扰，因为它们重量轻，体积小。Srisamosorn等人利用多个环境摄像机，利用纳米四转子实现人的跟踪。Briod提出了一种基于光流传感器的用于46g纳米无人机的自我运动估计算法。然而，位置误差在两分钟内漂移到50厘米。Palossi等人。使用纳米四转子跟踪红色目标，但平均跟踪误差大于30厘米。另外，由于所采用的目标跟踪方法依赖于颜色特征，很容易受到外界环境的干扰。总之，由于体积和重量的限制，以及设计有效的视觉跟踪算法和鲁棒的视觉伺服控制器的困难，用小于40g的纳米级无人机获得稳定准确的视觉目标跟踪仍然是一项具有挑战性的任务。本文详细介绍了视觉目标跟踪算法和视觉伺服控制算法的研究现状。

本文主研制了一种包括硬件和软件在内的38g纳米级无人机，实现了一种基于单目视觉的自适应目标跟踪系统。这个系统在我们以前的工作中已经得到了初步的验证。目前的工作大大改进了原来的版本。首先，我们开发了一个新的定位甲板，以提供更稳定和准确的。纳米级无人机的姿态估计。其次，提出了一种基于鲁棒多色跟踪器(RMCTer)的目标跟踪算法，实现了目标跟踪的鲁棒性和精确性。这与中提出的手跟踪方法形成了对比，在这种方法中，物体的颜色和形状特征至关重要，因此性能对环境变化很敏感。第三，我们提出了一个新的获得目标与无人机相对位置的估计方法。在该系统中，不需要知道跟踪对象的先验模型信息。第四，提出了一种自适应跟踪控制器，该控制器既考虑了四转子模型参数的不确定性，又考虑了外部扰动的存在。

据我们所知，很少有能够使跟踪的无人机重量小于40克，在存在干扰的情况下并保证其稳定性和鲁棒性。首先，我们提出了一个完整的视觉目标跟踪和伺服控制系统，使用定制的38g纳米级四转子平台。该跟踪系统由多功能、鲁棒的视觉目标跟踪模块和高效的PBVS控制模块组成。另外，控制模块由两级相对位置估计器和非线性自适应跟踪控制器组成。由于有效载荷有限，集成了一个轻型单目视觉模块，使四转子具有目标跟踪能力。此外，我们还提出了一个微定位甲板，为四转子提供稳定和准确的姿态估计。完整的原型如图1所示，其硬件配置的概述如图2所示。其次，我们提出了一种新的目标跟踪算法，即RMCTer，其中两个阶段的短期跟踪模块和一个高效的长期处理模块紧密结合在一起，协同处理输入帧。与之前提出的跟踪算法相比，所提出的跟踪器更适用于目标外观的变化，并能有效地补偿长期处理模块提供的足够的模型修正，从而有效地补偿视觉跟踪误差。第三，提出了一种利用反推和自适应技术的自适应PBVS控制算法。与其他控制器相比，该控制器对不确定的模型参数和外部扰动的存在具有较强的鲁棒性，在控制器设计中不需要精确的模型信息。

图1.研制的纳米级无人机平台.为了便于表示，假定机身帧{B}与摄像机帧{C}重合。如果不是这样的话，这两个帧可以根据它们的相对位姿与一个常数变换矩阵相关联。

图2.硬件配置。本文的其余部分如下所示。在第二节中，我们对整个系统进行了概述，并给出了硬件结构和系统流程图。第三节和第四节分别介绍了所提出的跟踪系统的关键组成部分：视觉目标跟踪模块和基于位置的视觉伺服控制模块。第五节给出了实现细节和实验结果。

二。系统概述

在这一部分中，我们首先介绍了其硬件结构开发的纳米无人机平台。然后，流程图提出了所提出的跟踪系统。

A.硬件结构

1)纳米无人机平台：我们的无人机平台是Crazyflie2.0(图1)，是一个纳米四转子，它的重量只有27克，大小为92毫米(长度，宽度和高度)。其最大飞行时间为7分钟，最大有效载荷为15g，运行主飞行控制算法的车载微控制器采用STM32F405实现，无线通信模块采用NRF51822实现。此外，星载核心传感器包括压力传感器(LPS25H)和由三轴陀螺、三轴加速度计和三轴磁强计组成的惯性测量单元(IMU，MPU9250)。由于测量精度差，压力传感器和IMU传感器在我们的实现中被禁用。另外，还有一个流动甲板，由一个TOF传感器(VL53L0X)和一个光流传感器(PMW3901)组成，分别负责测量相对于地面的垂直距离和水平速度。然而，VL53L0X的测量上限仅为2m，因此在我们开发的平台中不使用这种流动甲板。

2)定位甲板：为了给无人机平台提供准确的姿态估计，我们整合了一个新的定位甲板(图2)。(重量4.9g，尺寸28毫米*28毫米*2毫米)，参照上述流动甲板的原理图。该定位平台由单片机(单片机，STM32F130)，一个更好的IMU(LSM6DSOX)，一个新版本的ToF传感器(VL53L1X)和一个新的光流传感器(PMW3901)组成。与MPU9250相比，LSM6DSOX具有更好的零偏置稳定性，提供了更精确的加速度和角速度测量。此外，VL53L1X的测量上限为4m，是VL53L0X的两倍。此外，在单片机STM32F130上实现了扩展卡尔曼滤波算法，融合了来自IMU、光流传感器和TOF传感器的测量数据，实时估计了无人机的姿态。

3)视觉模块：为了使所考虑的具有目标跟踪能力的纳米级无人机，集成了一个轻量级的视觉模块，并相应地在地面站配备了图像采集卡，实时接收图像帧(30Hz)。该视觉模块仅重4.7g，包括一个摄像机和一个模拟视频发射机，如图2所示。该摄像机特别由一个互补金属氧化物半导体(CMOS)图像传感器组成，图像分辨率为1500传输线脉冲(TVL)，以及一个视野为60°*95°*125°(垂直、水平和对角线)的广角透镜。为了保证较低的传输时延和足够的通信距离，我们选择了金刚Q255.8GHz视频发射机，其图像转换延迟为35-45ms，最大传输距离为150~200m(无遮挡)。

B.系统流程图

所提出的跟踪系统的流程图如图3所示。首先，纳米级四转子从地面起飞。视觉目标跟踪模块处理接收到的图像，以估计目标在图像平面中的位置。在此基础上，根据视觉跟踪结果，计算了目标与四转子在惯性系中的相对位置。最后，自适应跟踪控制器计算相应的控制输入来跟踪目标。此外，如果视觉目标跟踪模块无法跟踪目标，则将及时调整四转子的偏航角，以再次搜索丢失的目标。如果在预置一段时间后无法找到物体，四转子就会出于安全原因自动着陆。

图3.建议的目标跟踪系统的流程图

如图3所示，拟议的跟踪系统主要由两个关键组成部分组成：视觉目标跟踪模块和基于位置的视觉伺服控制模块，其中，所考虑的PBVS控制被分解为两个子任务：相对位置估计和自适应跟踪控制器设计。

三.视觉目标跟踪模块

在本节中，我们将详细介绍所提出的视觉目标跟踪模块，其中包括两种操作模式，即跟踪人工对象(同心圆)和跟踪非人工对象(行人)。

在目标跟踪问题中，考虑的对象通常分为人工目标和非人工目标.一般情况下，人工物体的情况相对简单，具有明显的特征(如特殊的几何形状或颜色)，因此人们可以直接利用帧间的检测方法来实现对这些简单特征的跟踪。相比之下，非人工物体的情况，如行人、车辆和无人机，是相对复杂的，因为特征的选择和提取是困难的。因此，对于非人工目标，不可能直接应用简单的基于特征的检测方法来实现稳定、准确的跟踪。

本文首先以同心圆为例，介绍了一种基于帧间帧检测的人工目标跟踪算法。然后，我们提出了一种双分量目标跟踪算法RMCTer，该算法将行人作为一个非人工目标的跟踪实例。需要指出的是，所提出的RMCTer算法是通用的，可以很容易地应用于其他人工或非人工对象的跟踪。

四、基于位置的视觉伺服控制

在视觉目标跟踪结果的基础上，提出了一种基于PBVS的纳米四转子跟踪控制方法。在这一部分中，我们首先介绍了一种估计物体与四转子之间相对位置的方法。在此基础上，考虑到纳米四转子的动态特性和内外扰动的存在，提出了一种非线性自适应跟踪控制器。

五.主要实验结果

在这一部分中，我们演示了所提出的跟踪系统与定制的纳米级四转子平台的能力。具体而言，实验由四个部分组成。首先，我们介绍了视觉目标跟踪模块，它包括两种操作模式：跟踪人工对象(同心圆)和跟踪非人工对象(行人)。其次，验证了目标与四转子相对位置的估计方法。第三，在存在周期性扰动的情况下进行悬停控制试验，以证明所提出的自适应跟踪控制器。最后但并非最不重要的是，现实世界的目标跟踪飞行测试，以验证该系统。实验录像可在https://www.youtube.com/watch?v=o7yIqGukQvE查阅。

然后介绍实现细节。特别是，RMCTer的参数设置如下：用于初始化的帧数为L=10，用于切换模块的周期帧数为N=11。在短期跟踪模块中使用的滑动窗口的帧数和权重调整因子为M=4和eta;=0.8。用于确定跟踪状态的阈值分别为tau;₁=0.6,tau;₂=0.88,tau;₃=0.95。用于计算长期处理分数的缩放因子为zeta;=20，用于更新跟踪补丁的权重系数为0.85(rho;=0.85)。请注意，该系统的星上处理器是STM32，它的计算能力非常有限。因此，我们在地面站上部署了视觉目标跟踪模块，星上处理器负责视觉伺服控制和姿态估计。根据实际测试，纳米级无人机与地面站之间的最大稳定通信距离在90~100m左右，因此本系统能够在大多数室内环境中稳定工作。地

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[605886]，资料为PDF文档或Word文档，PDF文档可免费转换为Word