首页> 中国专利> 基于VR的四旋翼无人机遥控器训练方法及系统

基于VR的四旋翼无人机遥控器训练方法及系统

摘要

本发明提供基于VR的四旋翼无人机遥控器训练系统,涉及四旋翼无人机训练领域。该基于VR的四旋翼无人机遥控器训练系统,包括VR眼镜、手机、APP、Arduino单片机、遥控器、与遥控器配合使用的接收机组成,Arduino单片机设置在VR眼镜的内部,VR眼镜中还内嵌有5V锂电池、USB转TTL模块、USB母‑母模块,所述APP由unity3D软件编程打包生成,所述APP的VR背景由PTgui软件合成),单片机程序中申明有6个信号引脚、5V引脚以及GND引脚。通过VR将虚拟的无人机模型与实际遥控操作连接起来,实现真实训练场景再现,具有身临其境的感觉,不仅所需要的内存小,并且相对于电脑飞行模拟器而言价格更加的贫民化,适合广大的使用群体,具有较高的推广价值。

著录项

  • 公开/公告号CN113851024A

    专利类型发明专利

  • 公开/公告日2021-12-28

    原文格式PDF

  • 申请/专利权人 东北大学秦皇岛分校;

    申请/专利号CN202111244839.6

  • 申请日2021-10-26

  • 分类号G09B9/00(20060101);

  • 代理机构11636 北京中创博腾知识产权代理事务所(普通合伙);

  • 代理人戴鹏

  • 地址 066004 河北省秦皇岛市经济技术开发区泰山路143号

  • 入库时间 2023-06-19 13:26:15

说明书

技术领域

本发明涉及四旋翼无人机训练技术领域,具体为基于VR的四旋翼无人机遥控器训练系统。

背景技术

目前,四旋翼无人机应用越来越广泛,越来越多的摄影爱好者、学生等开始购买、制作四旋翼无人机。对于初次接触无人机的人群,使用遥控器控制无人机调整其飞行姿态成为一大难题。因为无论遥控器油门摇杆还是方向摇杆,只需要很小的拨动,无人机就会有很大的摆动幅度。对于初次入手的使用者,常常因为不能熟练地使用遥控器而导致无人机坠机。

目前,市场上已有RealFlight、Aerofly、CRRCSim、凤凰模拟器等模拟软件,可以将遥控器和电脑通过对应型号的连接线连接在一起,模拟软件识别四旋翼遥控器并进入训练页面,但是,这些仍存在着以下缺陷:

1、电脑飞行模拟器软件占用内存大,安装繁琐。因为电脑模拟器不仅可以模拟四旋翼无人机,而且还可以模拟导弹、卫星、宇宙飞船,还要对模拟页面背景、风向、模型大小、重力等进行配置,导致软件占用内存庞大;

2、电脑飞行模拟器价格昂贵。昂贵的价格劝退了许多用户,导致许多用户冒着坠机危险操作四旋翼无人机进行实战演练;

3、不同类型的遥控器,可能需要不同的连接,并且需要单独购买。使用者购买后可能出现连接线不匹配的问题;

4、电脑模拟器如同一款普通的3D电脑游戏,还远远做不到让用户有身临其境的感觉;

5、电脑模拟器只能选择软件自带的背景图,场景比较单一。

发明内容

(一)解决的技术问题

针对现有技术的不足,本发明提供了基于VR的四旋翼无人机遥控器训练系统,由VR眼镜、手机APP、Arduino单片机、用户的手机和数据线、用户的遥控器和接收机组成。系统连接成功后,用户在拨动四旋翼无人机遥控器摇杆的同时,可以通过佩戴VR眼镜观察手机APP显示的无人机飞行姿态。让用户身临其境的感受不同摇杆幅度下无人机的飞行姿态。该系统舍弃了传统的电脑软件模拟,使得用户可以随时随地进行模拟训练。该系统只针对四旋翼无人机,具有很强的针对性,使用前也不必进行环境配置,真正做到即插即用。同时,用户可以拍摄周围环境,通过软件合成3D全景图,在unity3D软件设置无人机模型背景时,导入该3D全景图,用户佩戴VR眼镜进行模拟训练时,仿佛置身于身边的真实环境。该系统使得用户训练时更具沉浸感,通过该系统进行四旋翼无人机遥控器训练后,再去实地操作,用户更容易把握遥控器摇杆力度,更容易熟练四旋翼遥控器的使用,解决了初次入手四旋翼无人机的使用者在操控训练中多方面需求的问题。

(二)技术方案

为实现以上目的,本发明通过以下技术方案予以实现:一种基于VR的四旋翼无人机遥控器训练方法,包括:

接收移动终端的实训数据以在VR眼镜上展示实训内容;

接收遥控器的遥控信息以将其转发至所述移动终端进行数据分析处理;

接收所述移动终端反馈的经所述数据分析处理后得到的控制信息,根据控制信息在所述VR眼镜上呈现相应控制信息对应四旋翼无人机控制。

优选的,所述实训数据包括四旋翼无人机数据、飞行背景数据以及四旋翼无人机仓内控制场景数据。

优选的,所述飞行背景数据由所述移动终端通过网络下载图片和/或视频获得,和/或通过拍摄设备获取。

优选的,所述移动终端为手机和/或平板电脑,所述实训内容由APP处理制造,所述APP由unity3D软件编程打包生成,所述APP的飞行背景由PTgui软件合成。

优选的,遥控信息包括上升、下降、前进、后退、自旋、悬停、回到初始状态7种信号中的一种或多种。

本发明还公开了一种基于VR的四旋翼无人机遥控器训练系统,包括:

移动终端、遥控器及VR眼镜,用于实现如上所述的四旋翼无人机遥控器训练方法。

优选的,根据权利要求6所述的基于VR的四旋翼无人机遥控器训练系统,所述VR眼镜内部设置单片机,所述VR眼镜中还内嵌有5V锂电池、USB转TTL模块、USB母-母模块;

所述单片机程具有6个信号引脚、5V引脚以及GND引脚。

优选的,所述5V锂电池与单片机电性连接,所述单片机与USB转TTL模块电信号连接,所述USB转TTL模块与USB母-母模块相连,将USB转TTL模块的USB公口输出信号转换为USB母口的信号输出。

优选的,所述移动终端为手机,所述USB母口通过手机数据线与手机相连接。

优选的,所述VR眼镜的表面设置有接收机插口,且接收机插口与6个信号引脚、5V引脚以及GND引脚电性连接,所述接收机插口与接收机相适配。

(三)有益效果

本发明提供了基于VR的四旋翼无人机遥控器训练系统。具备以下有益效果:

1、通过VR将虚拟的无人机模型与实际遥控操作连接起来,实现真实训练场景的再现,具有身临其境的感觉。

2、通过unity3D软件编程,创新性的通过自建协议完成数据传输。该自建协议为:将接收机的CH1~CH6的通道信号标记为“a、b、b、d、e、f”,手机APP通过识别字符,分辨出对应通道的信号,更加的便捷方便。

3、利用PTgui软件合成3D全景图充当训练环境的背景图,该背景可以是用户所在的操场、实验室、小区等,在训练模拟中场景更加的丰富多彩,同时可以让用户快速从模拟训练到实地演练过渡。

4、该基于VR的训练模拟器,不仅所需要的内存小,并且相对于电脑飞行模拟器而言价格更加的贫民化,适合广大的使用群体,具有较高的推广价值。

5、利用手机数据线进行连接,实现了连接方式的统一,解决了连接线不匹配的问题。

附图说明

图1为本发明所提出的基于VR的四旋翼无人机遥控器训练系统的数据流程框图;

图2为本发明所提出的基于VR的四旋翼无人机遥控器训练系统的硬件连接结构框图;

图3为本发明所提出的基于VR的四旋翼无人机遥控器训练系统的硬件电路连接示意图;

图4为本发明所提出的基于VR的四旋翼无人机遥控器训练系统的单片机程序执行流程图;

图5为本发明所提出的基于VR的四旋翼无人机遥控器训练系统的手机端程序控制流程图;

图6为本发明所提出的基于VR的四旋翼无人机遥控器训练系统的整体结构框图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

实施例一:

如图1-6所示,本发明实施例提供基于VR的四旋翼无人机遥控器训练系统,包括VR眼镜、手机、APP、单片机、遥控器以及与遥控器配合使用的接收机组成,其中单片机的型号为Arduin,其中单片机设置在其中VR眼镜的内部,其中VR眼镜中还内嵌有5V锂电池、USB转TTL模块、USB母-母模块,5V锂电池给单片机供电,USB转TTL模块将单片机发送的信号传送到USB口,为了方便用户使用自己的手机和充电线连接本系统,本系统通过USB母-母模块将USB转TTL模块的USB公口输出信号转换为USB母口信号输出。用户只需将VR眼镜引出的USB母口与手机USB口通过手机数据线连接,即可完成手机、单片机之间的连接。

启动VR眼镜内嵌的电源开关后,单片机与接收机同时上电,拨动四旋翼无人机遥控器摇杆后,遥控器发送PWM波到接收机。接收机有6个通道,分别接收遥控器的油门摇杆、方向摇杆、两个特殊功能摇杆发出的信号:

接收机通道(CH1、CH2):接收遥控器方向摇杆上下左右拨动时的信号。遥控器方向摇杆向上拨动时,接收机CH1和CH2接收到的PWM波占空比都减小;遥控器方向摇杆向下拨动时,接收机CH1和CH2接收到的PWM波占空比都增大;遥控器方向摇杆向左拨动时,接收机CH1接收到的PWM波占空比增大,CH2接收到的PWM波占空比减小;遥控器方向摇杆向右拨动时,接收机CH1接收到的PWM波占空比减小,CH2接收到的PWM波占空比增大;

接收机通道(CH3、CH4):接收遥控器油门摇杆上下左右拨动时的信号。遥控器油门摇杆向上拨动时,接收机CH3接收到的PWM波占空比减小。遥控器油门摇杆向下拨动时,接收机CH3接收到的PWM波占空比增加;遥控器油门摇杆向左拨动时,接收机CH4接收到的PWM波占空比减小;遥控器油门摇杆向右拨动时,接收机CH4接收到的PWM波占空比增大;

接收机通道(CH5):接收遥控器特殊功能通道CH5,遥控器CH5摇杆拨到上面、拨到中间、拨到下面时,接收机CH5接收到的PWM波的占空比依次增大。本系统通过CH5控制VR场景中四旋翼无人机的悬停、返回出发点、自旋;

接收机通道(CH6):接收遥控器特殊功能通道CH6,遥控器CH6摇杆拨到上面、拨到中间、拨到下面时,接收机CH6接收到的PWM波的占空比依次增大。本系统通过CH6获取CH1~CH5通道输出的PWM波占空比的最大、最小值,以便VR视图的四旋翼无人机适应遥控器的PWM的波占空比范围。

通道CH6捕获实现CH1-CH5输出PWM占空比最大值、最小值方法如下:

用户在使用本系统对遥控器熟练时,首先将遥控器油门摇杆、方向摇杆、特殊功能摇杆(CH5)拨到中间,特殊功能摇杆(CH6)拨到上面,再打开电源开关对单片机和接收机上电。遥控器与接收机配对后,接收机会接收到遥控器发送的6个通道的PWM波。此时单片机检测到CH6摇杆拨到了上面,单片机进入捕获程序。此时用户用手拨到遥控器油门摇杆、方向摇杆、CH5摇杆,单片机把各通道的PWM波占空比最小值和最大值记录,得到拨动摇杆时,各通道的PWM信号占空比范围。用户将CH6摇杆拨到下面后,单片机结束PWM波占空比捕获,进入无人机模型运动控制程序。

单片机通过程序获取接收机6个通道的PWM,计算各通道PWM波的占空比,得到此时遥控器方向摇杆、油门摇杆、两个特殊功能通道的状态。通过程序处理,将控制信号通过TXD引脚传输给USB接口,再通过USB母-母模块、数据线,传入手机。

其中APP由unity3D软件编程后打包生成,其中APP的VR背景由PTgui软件合成,其中USB母口通过手机数据线与手机相连接,其中APP与手机配合用于后期背景图的制作,在unity3D软件中导入使用3D Max绘制的四旋翼无人机模型并在unity3D中编写C#程序,控制无人机模型运动。如果用户想使用自己所处环境为背景,可以通过手机拍摄大量周围环境的照片,在PTgui软件中制作VR全景图,在unity3D软件内导入该全景图作为四旋翼无人机模型的背景图。

同时编写读取手机USB数据的程序,通过单片机与手机APP的通信协议,先读取“a、b、c、d、e、f、g”协议字符来确定接下来传输的是遥控器哪类控制信号,再读取之后传送过来的整数,根据整数的量化等级,控制无人机模型进行不同等级的动作。Unity3D模型界面和程序完成后,对生成的场景在unity3D的APP打包页面打包成手机APP即可。

在手机端打开生成的APP,佩戴VR眼镜后,用户可身临其境的感受四旋翼无人机的飞行姿态。当手机通过数据线与VR眼镜内嵌的USB母-母模块连接后,启动遥控器和单片机即可实现整个系统的通信

其中单片机程序中申明有6个信号引脚、5V引脚以及GND引脚,用户只需将遥控器接收机插在接收机插口即可实现接收机与单片机的连接。再通过遥控器与接收器的配对,完成遥控器、接收机、单片机、手机的连接。

首先程序捕获遥控器CH1-CH5输出PWM占空比的范围,单片机供电前,将CH6摇杆拨到上面,再对单片机供电,此时程序进入各通道PWM波占空比捕获程序。拨动CH1-CH5对应的摇杆,使单片机捕获到各通道摇杆在不同位置时的PWM波占空比,得到每个通道对应的PWM波占空比范围。CH6摇杆拨到下面后,单片机停止PWM波占空比捕获,进入控制程序。

其中5V锂电池与单片机电性连接,其中单片机与USB转TTL模块电信号连接,其中USB转TTL模块与USB母-母模块相连,将USB转TTL模块的USB公口输出信号转换为USB母口的信号输出。

其中VR眼镜的表面设置有接收机插口,且接收机插口与6个信号引脚、5V引脚以及GND引脚电性连接,其中接收机插口与接收机相适配。

其中6个信号引脚按照接收机的信号引脚顺序依次起名为CH1-CH6,其中单片机向手机传输的控制信号有上升、下降、前进、后退、自旋、悬停、回到初始状态7种信号,且7种信号按照a-g依次进行标记,由于USB转TTL模块、手机数据线的信号线只有一条,所以传输数据时不能并行传输,同一时间只能传输一路控制信号,发送控制信号时,先传送协议标志,如现控制四旋翼上升,则单片机首先给手机传送字符“a”,表示接下来传送的是“上升”控制信号。单片机通过对接收机各通道的PWM波占空比计算,将不同占空比波段量化为多个个等级,每个等级设置一个整数,传送控制信号时,只需传送这类整数即可。

单片机通过计算PWM占空比,在TXD引脚首先传送a、b、c、d、e、f、g传输协议字符,再传输对应的量化整数。手机端APP通过接收到传送协议和整数大小,控制四旋翼无人机完成对应的动作。

虽然同一时间只能进行一路信号传送,但是一路信号从传送到完成,大约只需要20us,若七种信号轮流传送,则七种信号分别传送一次的总时间大约为150us。而大部分时间只需要传送上升、下降、前进、后退、悬停五种控制信号,此时五种信号分别完成一次传送只需要100us左右的时间。此传送时间几乎不会对VR中四旋翼无人机模型的运动状态造成影响。

实施例二:

与实施例一的不同之处在于单片机与手机的通信可以采用蓝牙模块或者WiFi模块实现,这种方法可以代替手机数据线实现通信。但采用这种方法通信时,需要开启蓝牙或WiFi。如果该系统功能继续完善,例如加入无人机飞行的声音,这时候需要用蓝牙耳机和用户听觉建立联系,若采用蓝牙模块进行通信,蓝牙被占用,此时声音只能外放,影响用户体验。再如,该训练系统继续完善,使用WiFi模块将四旋翼无人机的遥控器训练场景实时传回电脑进行保存和调试,此时WiFi模块被占用,将无法实现该调试功能。所以在进行VR训练时,一直未被占用的手机充电口进行数据传送是最佳选择。

尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号