首页> 中国专利> 飞行辅助方法及装置、无人飞行器、遥控器、显示器、无人飞行器系统和存储介质

飞行辅助方法及装置、无人飞行器、遥控器、显示器、无人飞行器系统和存储介质

摘要

一种飞行辅助方法、飞行辅助装置(200)、无人飞行器(100)、遥控器(300)、显示器(400)和无人飞行器系统(1000)。飞行辅助方法包括(011)获取功能部件(20)的飞行参数;(012)根据飞行参数生成虚拟图像;(013)将虚拟图像添加到显示图像上,以指示功能部件(20)对应的飞行状态。

著录项

  • 公开/公告号CN112840286A

    专利类型发明专利

  • 公开/公告日2021-05-25

    原文格式PDF

  • 申请/专利权人 深圳市大疆创新科技有限公司;

    申请/专利号CN202080005564.8

  • 发明设计人 翁松伟;梁季光;

    申请日2020-05-22

  • 分类号G05D1/08(20060101);G05D1/10(20060101);

  • 代理机构11647 北京励诚知识产权代理有限公司;

  • 代理人赵爽

  • 地址 518057 广东省深圳市南山区高新南区粤兴一道9号香港科大深圳产学研大楼6楼

  • 入库时间 2023-06-19 11:03:41

说明书

技术领域

本申请涉及无人飞行器技术领域,特别涉及一种用于无人飞行器的飞行辅助方法、用于无人飞行器的飞行辅助装置、无人飞行器、用于无人飞行器的遥控器、用于无人飞行器的显示器、无人飞行器系统以及计算机可读存储介质。

背景技术

随着无人飞行器的技术发展,人们对无人飞行器的飞行控制有了更多的应用场景要求。在一些情况下,无人飞行器(例如穿越机)一般会连同无人飞行器的结构部件(例如桨叶)一起拍摄以显示在第一人称视角(First Person View,FPV)画面上,以辅助操作者判断无人飞行器的飞行状态(例如飞行姿态),然而这会导致拍摄的视频中存在该结构部件(例如桨叶),从而影响拍摄视频的质量。在另一些情况下,为了良好的画面感而特意不录制到无人飞行器的结构部件(例如桨叶),但这又增加了操作者判断无人飞行器的飞行状态(例如飞行姿态)的难度。

发明内容

本申请的实施方式提供一种用于无人飞行器的飞行辅助方法、用于无人飞行器的飞行辅助装置、无人飞行器、用于无人飞行器的遥控器、用于无人飞行器的显示器、无人飞行器系统和和计算机可读存储介质。

本申请实施方式提供一种用于无人飞行器的飞行辅助方法,所述飞行辅助方法包括:获取所述功能部件的飞行参数;根据所述飞行参数生成虚拟图像;及将所述虚拟图像添加到显示图像上,以指示所述功能部件对应的飞行状态。

本申请实施方式还提供一种用于无人飞行器的飞行辅助装置,所述无人飞行器包括功能部件,所述飞行辅助装置包括处理器,所述处理器用于:获取所述功能部件的飞行参数;根据所述飞行参数生成虚拟图像;及将所述虚拟图像添加到显示图像上,以指示所述功能部件对应的飞行状态。

本申请实施方式还提供一种无人飞行器,所述无人飞行器包括:机身、功能部件和飞行辅助装置,所述功能部件设置在所述机身上,所述飞行辅助装置设置在所述机身上,所述飞行辅助装置包括处理器,所述处理器用于:获取所述功能部件的飞行参数;根据所述飞行参数生成虚拟图像;及将所述虚拟图像添加到显示图像上,以指示所述功能部件对应的飞行状态。

本申请实施方式还提供一种用于无人飞行器的遥控器,所述无人飞行器包括功能部件,所述遥控器包括飞行辅助装置,所述飞行辅助装置包括处理器,所述处理器用于:获取所述功能部件的飞行参数;根据所述飞行参数生成虚拟图像;及将所述虚拟图像添加到显示图像上,以指示所述功能部件对应的飞行状态。

本申请实施方式还提供一种用于无人飞行器的显示器,所述显示器用于接收已添加虚拟图像的显示图像,以显示对应的显示画面,所述无人飞行器包括功能部件,已添加所述虚拟图像的所述显示图像通过获取所述功能部件的飞行参数、根据所述飞行参数生成虚拟图像、及将所述虚拟图像添加到显示图像上得到,已添加所述虚拟图像的所述显示图像能够指示所述功能部件对应的飞行状态。

本申请实施方式还提供一种无人飞行器系统,所述无人飞行器系统包括无人飞行器、遥控器、飞行辅助装置和显示器,所述无人飞行器包括功能部件,所述飞行辅助装置设置在所述无人飞行器和/或所述遥控器上;所述飞行辅助装置包括处理器,所述处理器用于:获取所述功能部件的飞行参数;根据所述飞行参数生成虚拟图像;及将所述虚拟图像添加到显示图像上,以指示所述功能部件对应的飞行状态;所述显示器用于接收已添加所述虚拟图像的所述显示图像,以显示对应的显示画面。

本申请实施方式还提供一种包含计算机可执行指令的计算机可读存储介质。当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行上述实施方式的飞行辅助方法。

本申请实施方式的用于无人飞行器的飞行辅助方法、用于无人飞行器的飞行辅助装置、无人飞行器、用于无人飞行器的遥控器、用于无人飞行器的显示器、无人飞行器系统和和计算机可读存储介质中,通过添加到显示图像上的虚拟图像来指示飞行状态,由于虚拟图像是根据无人飞行器的功能部件的飞行参数生成的,虚拟图像能够很好地指示功能部件对应的飞行状态,例如指示功能部件(如陀螺仪)对应的姿态角,从而无需连同桨叶一起拍摄,也能够辅助操作者判断无人飞行器的飞行状态。且由于虚拟图像是后续添加到显示图像上的,实际拍摄的视频中不存在虚拟图像和桨叶,拍摄视频的质量较好。

本申请的实施方式的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实施方式的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:

图1是本申请某些实施方式的飞行辅助方法的流程示意图。

图2是本申请某些实施方式的无人飞行器系统的结构示意图。

图3是本申请某些实施方式的飞行辅助方法的流程示意图。

图4至图7是本申请某些实施方式的飞行辅助方法的场景示意图。

图8和图9是本申请某些实施方式的飞行辅助方法的流程示意图。

图10是本申请某些实施方式的飞行辅助方法的场景示意图。

图11至图13是本申请某些实施方式的飞行辅助方法的流程示意图。

图14至图17是本申请某些实施方式的无人飞行器系统的结构示意图。

图18是本申请某些实施方式的处理器和计算机可读存储介质的连接示意图。

具体实施方式

下面详细描述本申请的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本申请,而不能理解为对本申请的限制。

在本申请的描述中,需要理解的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。

在本申请的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接或可以相互通信;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。

下面详细描述本申请的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本申请,而不能理解为对本申请的限制。

目前,无人飞行器100广泛应用于航拍、农业、植保、微型自拍、快递运输、灾难救援、观察野生动物、监控传染病、测绘、新闻报道、电力巡检、救灾、影视拍摄、制造浪漫等等场景的应用,主要是通过遥控器300控制无人飞行器100执行各种飞行任务。

无人飞行器100包括机身10和安装在机身10上的拍摄设备30,拍摄设备30用于获取环境图像,拍摄设备30作为人眼的延伸,使得操控无人飞行器100的用户根据拍摄画面即可了解无人飞行器100当前的所处环境,从而控制遥控器300操控无人飞行器100执行各种飞行任务。

无人飞行器100中,有一类主要用于竞速娱乐的无人飞行器100(即,穿越机),穿越机在飞行时拍摄视频并以FPV画面显示,从而使得飞手(即,操控穿越机的无人飞行器选手)通过FPV画面实现第一人称的操作体验,操控穿越机进行飞行。下面以无人飞行器100为穿越机为例进行说明,无人飞行器100为其他类型时原理基本相同,在此不再赘述。

穿越机中,拍摄设备30一般会将桨叶一起拍进去,以辅助飞手判断穿越机当前的飞行姿态,然而,这会使得FPV画面两边存在桨叶旋转的画面,桨叶不仅会遮挡拍摄视频中的部分场景,使得飞手的操控体验受到一定影响,而且还会使得拍摄视频中存在桨叶,影响了观看者的观看体验。

为此,请参阅图1和图2,本申请实施方式提供一种用于无人飞行器100的飞行辅助方法,无人飞行器100包括功能部件20,该飞行辅助方法包括:

011:获取功能部件20的飞行参数;

012:根据飞行参数生成虚拟图像;及

013:将虚拟图像添加到显示图像上,以指示功能部件20对应的飞行状态。

本申请实施方式还提供一种用于无人飞行器100的飞行辅助装置200,该飞行辅助装置200包括处理器210,处理器210用于:获取功能部件20的飞行参数;根据飞行参数生成虚拟图像;及将虚拟图像添加到显示图像上,以指示功能部件20对应的飞行状态。也即是说,步骤011至步骤013可以由处理器210实现。

本申请实施方式还提供一种无人飞行器系统1000,无人飞行器系统1000包括无人飞行器100、飞行辅助装置200、遥控器300、和显示器400,飞行辅助装置200可设置在无人飞行器100上和/或遥控器300上。

具体地,飞行辅助装置200可设置在无人飞行器100的机身10上(即,无人飞行器100包括机身10、功能部件20、拍摄设备30和飞行辅助装置200,功能部件20可设置在机身10上),处理器210可直接获取到功能部件20的飞行参数和设置在无人飞行器100的机身10上的拍摄设备30拍摄的视频数据(视频数据包括一帧或多帧显示图像),并根据飞行参数生成虚拟图像以添加到显示图像上,用来指示无人飞行器100的飞行状态;或者,飞行辅助装置200可设置在遥控器300上(即,无人飞行器100包括机身10、功能部件20和拍摄设备30,遥控器300包括飞行辅助装置200),通过遥控器300和无人飞行器100的无线通信,处理器210可获取到功能部件20的飞行参数和拍摄设备30拍摄的视频数据,并根据飞行参数生成虚拟图像以添加到显示图像上,用来指示无人飞行器100的飞行状态;或者,飞行辅助装置200同时设置在无人飞行器100的机身10和遥控器300上,即飞行辅助装置200包括至少两个处理器210,分别设置在无人飞行器100的机身10和遥控器300上,设置在无人飞行器100的机身10上的处理器210可直接获取到功能部件20的飞行参数和拍摄设备30拍摄的视频数据,并根据飞行参数生成虚拟图像,然后设置在遥控器300上的处理器210能够通过无线通信接收无人飞行器100发送的虚拟图像和视频数据,并将虚拟图像添加到显示图像上,已添加虚拟图像的显示图像能够指示功能部件20对应的飞行状态,也即是说,步骤011和步骤012可以由无人飞行器100的机身10上的处理器210实现,步骤013可以由遥控器300上的处理器210实现,应当理解,还可以是步骤011可以由无人飞行器100的机身10上的处理器210实现,步骤012和步骤013可以由遥控器300上的处理器210实现。在图2所示的实施方式中,以飞行辅助装置200设置在无人飞行器100的机身10上为例,此处不作限定作用。

功能部件20可以是设置在无人飞行器100上任一装置,例如,功能部件20可以包括无人飞行器100的传感器(如陀螺仪、加速度计、气压计、磁罗盘等)、电机、电源等,处理器210获取功能部件20的飞行参数可以包括:获取陀螺仪的姿态角、加速度计的加速度,气压计的气压、磁罗盘的磁场数据、电机的转速、电源的放电电流及电源剩余电量等。

处理器210根据飞行参数生成对应的虚拟图像,例如处理器210可根据陀螺仪的姿态角和加速度计的加速度生成桨影图像,以指示无人飞行器100的姿态角(如在FPV画面的两侧分别添加一个桨影或机臂灯,通过两个桨影或机臂灯的倾斜角度来指示横滚角);再例如,处理器210可根据气压计的气压生成带刻度指示管图像,以指示无人飞行器100当前所处环境的气压;再例如,处理器210可根据磁罗盘的磁场数据生成以圆盘形式显示方位的航向仪罗盘图像,以指示无人飞行器100的飞行航向;再例如,处理器210可根据电机的转速生成可旋转的桨影图像,桨影的旋转速度根据电机的转速确定,以指示每个电机对应的桨叶的转速;再例如,处理器210可根据电源的剩余电量生成电池图像,以指示剩余电量,处理器210还可根据电源的剩余电量和电源的放电电流生成指示数字图像以指示无人飞行器100剩余的使用时间等。本申请以功能部件20包括陀螺仪和电机为例进行说明,功能部件20为电源、磁罗盘等情况原理基本相同,在此不再赘述。

其中,飞行参数可以是当前时刻的飞行参数,也可以是当前时刻之前预定时段内的飞行参数,虚拟图像根据当前时刻的飞行参数生成时,可指示功能部件20当前时刻的飞行状态;虚拟图像根据当前时刻之前预定时段内的飞行参数生成时,能够指示功能部件20在该预定时段内的飞行状态,例如根据预定时段内的电机的平均转速生成的可旋转的桨影,能够指示该预定时段内的电机的转速,根据预定时段内的剩余电量和预定时段生成电源放电电流,然后根据该放电电流和剩余电量,可生成指示数字图像以指示无人飞行器100剩余的使用时间等。其中,预定时段可以是1秒、2秒、30秒、1分钟、5分钟等。

在根据飞行参数生成对应的虚拟图像后,处理器210将虚拟图像添加到拍摄设备30获取到的显示图像上,从而以添加有虚拟图像的显示图像作为FPV画面进行显示,添加有虚拟图像的显示图像能够实时地指示功能部件20对应的飞行状态,例如通过模拟实际桨叶的桨影指示无人飞行器100的姿态角,以使得飞手确定穿越机当前的飞行姿态,辅助飞手操控穿越机。

本申请的飞行辅助方法和飞行辅助装置200中,通过添加到显示图像上的虚拟图像来指示飞行状态,由于虚拟图像是根据无人飞行器的功能部件20的飞行参数生成的,虚拟图像能够很好地指示功能部件20对应的飞行状态,例如通过桨影指示无人飞行器100的姿态角,从而无需连同桨叶一起拍摄,也能够辅助飞手判断无人飞行器100的飞行状态。且由于虚拟图像是后续添加到显示图像以作为FPV画面进行显示的,实际拍摄的显示图像中不存在虚拟图像和桨叶,拍摄视频的质量较好。

请参阅图2和3,在某些实施方式中,功能部件20包括陀螺仪21,虚拟图像包括二维的第一桨影和第二桨影,第一桨影和第二桨影位于显示图像的相对的两侧,陀螺仪21的姿态角包括横滚轴的姿态角,步骤012包括:

0121:根据横滚轴的姿态角生成第一桨影和第二桨影,并确定第一桨影和第二桨影的连线的倾斜角度,倾斜角度为第一桨影和第二桨影的连线相对于水平线的角度。

在某些实施方式中,处理器210还用于根据横滚轴的姿态角生成第一桨影和第二桨影,并确定第一桨影和第二桨影的连线的倾斜角度,倾斜角度为第一桨影和第二桨影的连线相对于水平线的角度。也即是说,步骤0121可以由处理器210实现。

具体地,在穿越机对应的FPV画面中,桨叶分别位于FPV画面的两侧,如图4所示的显示器400显示的FPV画面中,以FPV画面的水平方向为X方向,FPV画面的垂直方向为Y方向,随着无人飞行器100的姿态角的变化,桨叶在FPV画面两侧的Y方向的位置随之变化。

陀螺仪21可以设置在无人飞行器100的机身10上,以检测机身10的姿态角;或者,陀螺仪21可以设置在云台500上,云台500设置在无人飞行器100的机身10上,以检测云台500的姿态角;或者,陀螺仪21同时设置在无人飞行器100的机身10上及云台500上,即陀螺仪21至少为两个,分别设置在无人飞行器100的机身10上及云台500上,以分别检测机身10的姿态角和云台500的姿态角。在图2所示的实施方式中,以陀螺仪21设置在无人飞行器100的机身10上为例,此处不作限定作用。

云台500的工作模式包括增稳模式和跟随模式。云台500可以保持增稳模式、保持跟随模式、及在增稳模式和跟随模式之间进行切换。其中,增稳模式指的是云台500始终保持预设参照方向(例如水平方向)的稳定性,云台500会对无人飞行器100的横滚、偏航和俯仰操作进行负反馈调节以抵消可能带来的晃动从而保持云台500上搭载的负载(如拍摄设备30)的稳定。以俯仰为例进行说明,在增稳模式下,无人飞行器100进行俯仰时,相机并不会随之俯仰,而是依旧保持原来的拍摄角度(一般为水平),原因在于无人飞行器100俯仰时云台500进行负反馈调节以保持云台500搭载的拍摄设备30始终在水平方向。这里的负反馈调节指的是当无人飞行器100仰15度的时候,云台500则控制拍摄设备30俯15度从而保持拍摄设备水平,实现拍摄设备的增稳;偏航和横滚的负反馈调节原理和俯仰的负反馈调节原理基本相同。跟随模式指的是云台500跟随无人飞行器100移动,从而保持拍摄设备30与无人飞行器100的相对角度不变。以俯仰为例进行说明,在跟随模式下,用户控制无人飞行器100仰20度,则云台500控制拍摄设备30仰20度以使得拍摄设备30和无人飞行器100的相对角度基本保持不变。

请参阅图4,本实施方式中,通过横滚轴的姿态角确定了生成的第一桨影S1和第二桨影S2的连线的倾斜角度,第一桨影S1位于FPV画面的左侧,第二桨影S2位于FPV画面的右侧,请参阅图5,在无人飞行器100逆时针横滚时,第一桨影S1贴着FPV画面的左侧边沿,沿Y方向的反方向移动,而第二桨影S2贴着FPV画面的右侧边沿,沿Y方向移动;相反的,请参阅图6,在无人飞行器100顺时针横滚时,第一桨影S1贴着FPV画面的左侧边沿,沿Y方向移动,而第二桨影S2贴着FPV画面的右侧边沿,沿Y方向的反方向移动。在一个实施例中,第一桨影S1和第二桨影S2的连线可经过FPV画面的中心,第一桨影S1和第二桨影S2的连线的倾斜角度即为第一桨影S1和第二桨影S2的连线相对经过FPV画面的中心的水平线的角度。根据第一桨影S1和第二桨影S2的连线的倾斜角度即可指示无人飞行器100的横滚姿态角。

请参阅图7,在第三桨影S3和第四桨影S4表示云台500的横滚姿态角时,若云台500当前处于增稳模式,云台500对应的第三桨影S3和第四桨影S4的连线倾斜角度始终保持不变(如为0度),而在跟随模式下,云台500对应的第三桨影S3和第四桨影S4的连线倾斜角度跟随无人飞行器100对应的第一桨影S1和第二桨影S2的移动而移动,两者的倾斜角度基本相同。

请继续参阅图7,在一个例子中,无人飞行器100对应的第一桨影S1和第二桨影S2的连线可经过FPV画面的上半部分的中心,第一桨影S1和第二桨影S2的连线的倾斜角度即为第一桨影S1和第二桨影S2的连线相对经过FPV画面的上半部分的中心的水平线的角度;云台500对应的第三桨影S3和第四桨影S4的连线可经过FPV画面的下半部分的中心,第三桨影S3和第四桨影S4的连线的倾斜角度即为第三桨影S3和第四桨影S4的连线相对经过FPV画面的下半部分的中心的水平线的角度;从而同时显示无人飞行器100的横滚姿态角和云台500的横滚姿态角。

请参阅图2、图5和图8,在某些实施方式中,功能部件20包括电机22,虚拟图像包括二维的第一桨影S1和第二桨影S2,第一桨影S1和第二桨影S2位于显示图像的相对的两侧,步骤012还包括:

0122:根据电机22的转速生成可旋转的第一桨影S1和第二桨影S2,并确定第一桨影S1和第二桨影S2的转速。

在某些实施方式中,处理器210还用于根据电机22的转速生成可旋转的第一桨影S1和第二桨影S2,并确定第一桨影S1和第二桨影S2的转速。也即是说,步骤0122可以由处理器210实现。

具体地,本申请实施方式中,由于拍摄设备30并未拍摄实际的桨叶,因此飞手本身是无法得知桨叶是否正常旋转以及旋转的速度的,在电机22出现损坏时,桨叶的旋转会变慢甚至不再旋转,因此,处理器210根据电机22的转速生成可旋转的第一桨影S1和第二桨影S2,以指示电机22的转速,在第一桨影S1和第二桨影S2不旋转或者旋转速度忽然变得极慢时,说明电机22可能出现了问题,此时穿越机不再适合飞行需要尽快降落以进行检修。在一个实施例中,第一桨影S1和第二桨影S2的旋转速度可根据对应的一个或多个电机22的最低转速确定,例如,穿越机为四翼穿越机,分两组,每组包括两个桨叶,每个桨叶均对应一个电机22,第一桨影S1根据第一组的电机22中的最低转速确定,第二桨影S2根据第二组的电机22中的最低转速确定,从而使得飞手及时发现可能损坏(如旋转速度小于或等于预定旋转速度)的电机22。当然,桨影的数目可以更多,比如第一桨影S1和第二桨影S2分别为两个,每个桨影对应一个电机22,从而根据桨影的旋转速度准确地确定可能损坏的电机22。

在图8所示的方法中,步骤012包括步骤0121和步骤0122,也就是说,通过已添加虚拟图像的显示图像,飞手既可以了解穿越机的横滚姿态角,又可以了解穿越机的电机的转速或损坏情况。应当理解,该飞行辅助方法的步骤012还可以包括单独的步骤0121或单独的步骤0122,或单独的其他可行步骤,或这些步骤的组合,在此不作限定。

请参阅图2、图9和图10,在某些实施方式中,虚拟图像包括三维的飞行器图像S5,陀螺仪21的姿态角包括横滚轴的姿态角、俯仰轴的姿态角和偏航轴的姿态角,步骤012还包括:

0123:根据陀螺仪21的姿态角生成飞行器图像S5,并根据横滚轴的姿态角、俯仰轴的姿态角和偏航轴的姿态角分别确定飞行器图像S5的横滚姿态角、俯仰姿态角和偏航姿态角。

在某些实施方式中,处理器210还用于根据陀螺仪21的姿态角生成飞行器图像S5,并根据横滚轴的姿态角、俯仰轴的姿态角和偏航轴的姿态角分别确定飞行器图像S5的横滚姿态角、俯仰姿态角和偏航姿态角。也即是说,步骤0123可以由处理器210实现。

具体地,为了准确地指示无人飞行器100的横滚轴的姿态角、俯仰轴的姿态角和偏航轴的姿态角,可根据陀螺仪21的姿态角生成三维的飞行器图像S5,该三维的飞行器图像S5的横滚姿态角和陀螺仪21的横滚轴姿态角保持一致;该三维的飞行器图像S5的俯仰姿态角和陀螺仪21的俯仰轴姿态角保持一致;该三维的飞行器图像S5的偏航姿态角和陀螺仪21的偏航轴姿态角保持一致。如此,飞行器图像S5与无人飞行器100的姿态同步变化,飞手根据虚拟的三维飞行器图像S5的三轴(即,横滚轴、俯仰轴和偏航轴)的姿态变化即可准确地确定无人飞行器100的三轴的姿态变化,从而辅助飞手更好的操控无人飞行器100。

请参阅图2和图11,在某些实施方式中,飞行辅助方法包括:

014:调节虚拟图像的参数,以使得显示图像的内容不被虚拟图像遮挡。

在某些实施方式中,处理器210还用于调节虚拟图像的参数,以使得显示图像的内容不被虚拟图像遮挡。也即是说,步骤014可以由处理器210实现。

具体地,由于显示画面上添加了虚拟图像,为了使得虚拟图像在指示无人飞行器100的飞行状态的同时,对显示画面的影响最小(如,对显示画面的遮挡影响最小),处理器210可调节虚拟图像的参数,例如参数可以是虚拟图像的颜色、大小和/或透明度,处理器210可调节虚拟图像的颜色、大小或透明度;或者,处理器210可调节虚拟图像的颜色和大小;或者,处理器210可调节虚拟图像的颜色和透明度;或者,处理器210可调节虚拟图像的大小和透明度;或者,处理器210可调节虚拟图像的颜色、大小和透明度。本实施方式中,以处理器210可调节虚拟图像的颜色、大小和透明度为例进行说明。

处理器210可根据拍摄设备30获取的显示图像本身的颜色调节虚拟图像的颜色、根据显示图像的大小调节虚拟图像的大小、及根据显示图像的颜色调节虚拟图像的透明度。例如,在显示图像的大部分(70%以上像素)均为蓝色,则虚拟图像以与蓝色的差别较大的颜色(如红色、绿色等)显示,以使得用户能够快速地观察到虚拟图像,同时处理器210根据显示图像的大小调节虚拟图像的大小(如调节虚拟图像的大小为显示图像的大小的1/20),以使得虚拟图像不会遮挡显示图像过多的区域;并根据显示图像的颜色调节虚拟图像的透明度,使得显示图像被虚拟图像遮挡的区域也能够被飞手观察到,可以理解,当虚拟图像和显示图像颜色相近(如颜色相同的像素大于或等于70%)时,透明度需要调节的较高才能很好的区分虚拟图像和显示图像,而在虚拟图像和显示图像颜色相远(如颜色相同的像素小于或等于30%)时,透明度需要调节的较低也能很好的区分虚拟图像和显示图像,因此,将虚拟图像和显示图像使用不同的颜色显示时,可将虚拟图像的透明度调节的较低(如20%),从而使得虚拟图像不仅能够快速的被飞手观察到,而且基本不会遮挡显示图像。如此,处理器210通过调节虚拟图像的参数,使得调节后的虚拟图像能够被飞手快速地观察到的同时,不遮挡显示图像的显示内容。

在其他实施方式中,处理器210还用于接收调节指令,以根据调节指令调节虚拟图像的参数。调节指令可以是通过遥控器300接收飞手的输入得到的,或者调节指令还可以通过与遥控器300连接的终端(如手机、平板电脑等)接收飞手的输入得到,其中,遥控器300可设置有安装架,终端可直接设置在安装架上以实现与遥控器300的有线连接,或者,终端通过数据线实现与遥控器300的有线连接,或者终端与遥控器300无线连接(如终端和遥控器300通过蓝牙连接,或者终端和遥控器300连接蜂窝移动网或无线局域网后实现无线连接等)。如此,可根据飞手的个人喜好设置最适合飞手的虚拟图像。

请参阅图2和图12,在某些实施方式中,步骤013包括:

0131:获取视频数据,视频数据包括一帧或多帧显示图像、及与每帧显示图像对应的时间戳;及

0132:将根据与时间戳相同时刻获取的功能部件20的飞行参数生成的虚拟图像添加到时间戳对应的显示图像上,以指示功能部件20在时间戳时的飞行状态。

在某些实施方式中,处理器210还用于获取视频数据,视频数据包括一帧或多帧显示图像、及与每帧显示图像对应的时间戳;及将根据与时间戳相同时刻获取的功能部件20的飞行参数生成的虚拟图像添加到时间戳对应的显示图像上,以指示功能部件20在时间戳时的飞行状态。也即是说,步骤0131和步骤0132可以由处理器210实现。

具体地,处理器210在将虚拟图像添加到显示图像上时,为了使得虚拟图像指示的飞行状态和当前显示图像匹配,需要先获取拍摄设备30拍摄的视频数据,视频数据包括一帧或多帧显示图像,每帧显示图像均对应一个时间戳(下称第一时间戳),时间戳表示获取该显示图像的时刻,目前,从获取拍摄设备30拍摄的视频数据到显示显示图像,中间的延迟已经被控制得极小,基本可以认为视频数据的拍摄时间即为显示时间,同样地,飞行参数也存在一个时间戳(下称第二时间戳),第一时间戳对应的显示图像、和与第一时间戳相同时刻的第二时间戳对应的飞行参数是一一对应的,根据在与第一时间戳对应的第二时间戳获取的飞行参数生成的虚拟图像,可指示该第一时间戳时无人飞行器100的飞行状态。因此,将该虚拟图像添加到第一时间戳对应的显示图像后,飞手通过观察添加有虚拟图像的显示画面即可确定无人飞行器100在第一时间戳时的飞行状态。

应当理解,图11-12所示的飞行辅助方法的流程示意图仅作为例子展示,并没有限定作用。本申请的飞行辅助方法还可以包括步骤011、0121、0122、0123、0131、0132、014或其他可行步骤的任意组合,在此不作限定。

请参阅图2和图13,在某些实施方式中,飞行辅助方法还包括:

015:发送已添加虚拟图像的显示图像,以在显示器400上显示对应的显示画面。

在某些实施方式中,处理器210还用于发送已添加虚拟图像的显示图像,以在显示器400上显示对应的显示画面。也即是说,步骤015可以由处理器210实现。

具体地,显示图像一般通过显示器400显示,显示器400可以是遥控器300本身内置的显示器400,或者,显示器400还可以是与遥控器300或无人飞行器100连接的终端上的显示器400,如终端可以是手机、平板电脑、智能穿戴设备(如FPV眼镜等),终端可以安装在遥控器300上或通过数据线实现与遥控器300的有线连接,或者终端可以通过蜂窝移动网或无线局域网实现与遥控器300或无人飞行器100的无线连接。

处理器210在将虚拟图像添加到显示图像上后,会将已添加虚拟图像的显示图像发送,以在显示器400上显示对应的显示画面(如FPV画面)。无人飞行器100可包括图像传输模块40,图像传输模块40为无人飞行器100中用于实现图像的无线传输的装置。例如,请参阅图14,当显示器400为遥控器300内置的显示器400,且飞行辅助装置200设置在遥控器300上时,无人飞行器100的图像传输模块40直接在获取到视频数据(显示图像)后发送给遥控器300,处理器210再通过无线通信获取无人飞行器100的飞行参数,从而根据飞行参数生成虚拟图像并将虚拟图像添加到显示图像上,遥控器300的显示器400根据已添加虚拟图像的显示图像显示对应的显示画面(即,处理器210从图像传输模块40获取显示图像,并将已添加虚拟图像的显示图像发送到显示器400,以在显示器400上显示对应的显示画面);请参阅图15,当显示器400为遥控器300内置的显示器400,且飞行辅助装置200设置在无人飞行器100上时,处理器210获取到视频数据(显示图像)和飞行参数后,根据飞行参数生成虚拟图像并将虚拟图像添加到显示图像上,然后将已添加虚拟图像的显示图像发送到图像传输模块40,通过图像传输模块40将已添加虚拟图像的显示图像传输给遥控器300,遥控器300的显示器400根据该显示图像显示对应的显示画面。

再例如,请参阅图16,当显示器400为与遥控器300连接的终端的显示器400,且飞行辅助装置200设置在遥控器300上时,无人飞行器100的图像传输模块40直接在获取到视频数据(显示图像)后发送给遥控器300(即,处理器210从图像传输模块40获取显示图像),处理器210再通过无线通信获取无人飞行器100的功能部件20的飞行参数,从而根据飞行参数生成虚拟图像并将虚拟图像添加到显示图像上,遥控器300再将已添加虚拟图像的显示图像发送给终端(如图16中的FPV眼镜),也即是说,已添加虚拟图像的显示图像是通过获取功能部件20的飞行参数、根据该飞行参数生成虚拟图像、及将该虚拟图像添加到显示图像上得到的,已添加虚拟图像的显示图像能够指示功能部件对应的飞行状态。FPV眼镜的显示器400根据该显示图像显示对应的显示画面(即,显示器400用于接收已添加虚拟图像的显示图像,以显示对应的显示画面);请再次参阅图2,当显示器400为与遥控器300连接的终端的显示器400,且飞行辅助装置200设置在无人飞行器100上时,处理器210获取到视频数据(显示图像)和飞行参数后,根据飞行参数生成虚拟图像并将虚拟图像添加到显示图像上,接着将已添加虚拟图像的显示图像发送给图像传输模块40,然后图像传输模块40将已添加虚拟图像的显示图像传输给遥控器300,遥控器300接收到已添加虚拟图像的显示图像后,再将该已添加虚拟图像的显示图像发送给终端,终端的显示器400根据该显示图像显示对应的显示画面(即,显示器400用于接收已添加虚拟图像的显示图像,以显示对应的显示画面)。可以理解,在另一个实施例中,图像传输模块40也可以将已添加虚拟图像的显示图像直接传输给终端,以在终端的显示器400上显示对应的显示画面。

再例如,请参阅图17,当显示器400为与无人飞行器100连接的终端的显示器400,且飞行辅助装置200设置在遥控器300上时,处理器210获取到视频数据(显示图像)和飞行参数后,根据飞行参数生成虚拟图像并将虚拟图像添加到显示图像上,然后通过遥控器300将已添加虚拟图像的显示图像发送给图像传输模块40,然后由图像传输模块40将该显示图像传输到终端,终端的显示器400根据该显示图像显示对应的显示画面。

本申请实施方式的用于无人飞行器100的显示器400用于接收已添加虚拟图像的显示图像,以显示对应的显示画面,无人飞行器100包括功能部件20,已添加虚拟图像的显示图像通过获取功能部件20的飞行参数、根据飞行参数生成虚拟图像、及将虚拟图像添加到显示图像上得到,已添加虚拟图像的显示图像能够指示功能部件20对应的飞行状态。

请参阅图18,本申请实施方式的一种包含计算机可执行指令502的计算机可读存储介质500,当计算机可执行指令502被一个或多个处理器210执行时,使得处理器210执行上述任一实施方式的飞行辅助方法。

例如,请结合图1和图2,计算机可读指令502被处理器210执行时,使得处理器210执行以下步骤:

011:获取功能部件20的飞行参数;

012:根据飞行参数生成虚拟图像;及

013:将虚拟图像添加到显示图像上,以指示功能部件20对应的飞行状态。

再例如,请结合图2和图3,计算机可读指令502被处理器210执行时,使得处理器210执行以下步骤:

0121:根据横滚轴的姿态角生成第一桨影和第二桨影,并确定第一桨影和第二桨影的连线的倾斜角度。

在本说明书的描述中,参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于执行特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的执行,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于执行逻辑功能的可执行指令的定序列表,可以具体执行在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序,然后将其存储在计算机存储器中。

上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号