首页> 中国专利> 无人机系统以及由无人机实施的车辆拍摄方法

无人机系统以及由无人机实施的车辆拍摄方法

摘要

本发明提供一种无人机系统以及由无人机实施的车辆拍摄方法。无人机(30)的控制装置(31)具备:存储部(35),其收存有场景信息数据库(36),场景信息数据库(36)将使拍摄动画的场景时的相对于车辆(10)的相对位置与场景的持续时间建立关联的场景信息集,沿着动画的时间序列而依次排列多个并储存;车辆信息取得部(32),其从车辆(10)接收车辆信息;行驶位置预测部(33),其基于车辆信息而对车辆(10)的未来的行驶位置进行预测;飞行路径计算部(34),其基于预测行驶位置和场景信息数据库(36),针对每个场景而对从相对于车辆(10)的各个相对位置通过的这种飞行路径进行计算。

著录项

  • 公开/公告号CN113126641A

    专利类型发明专利

  • 公开/公告日2021-07-16

    原文格式PDF

  • 申请/专利权人 丰田自动车株式会社;

    申请/专利号CN202110030204.X

  • 发明设计人 佐藤贤治;山本启;西本崇;

    申请日2021-01-11

  • 分类号G05D1/08(20060101);G05D1/10(20060101);

  • 代理机构11225 北京金信知识产权代理有限公司;

  • 代理人苏萌萌

  • 地址 日本爱知县

  • 入库时间 2023-06-19 11:52:33

说明书

相关申请的交叉引用

本申请要求2020年1月15日提交的申请号为2020-004196的日本专利申请的优先权。该日本专利申请的包括说明书、权利要求书、说明书附图和说明书摘要在内的全部公开内容通过引用而被合并于此。

技术领域

本发明涉及由车辆和对车辆进行拍摄的无人机所构成的无人机系统、以及通过无人机而对车辆的行驶场景进行拍摄的车辆拍摄方法。

背景技术

近年来,提出了使用了无人机的各种各样的服务。另一方面,车辆的自动驾驶的技术正在提高中。因此,提出了一种取得自动驾驶车辆的行动计划并基于该行动计划而使无人机进行飞行的无人机协作装置(例如,参照国际公开第2018/230680号)。

发明内容

发明所要解决的课题

另外,近年来,存在欲拍摄正在驾驶车辆的场景等的要求。因此,需要从车辆的各种角度、例如车辆的侧方、前方等对行驶中的车辆进行拍摄。但是,虽然在国际公开第2018/230680号中记载的装置中,能够尾随或追随车辆并从后方对行驶中的车辆进行拍摄,但难以绕到行驶中的车辆的侧方或前方而对车辆进行拍摄。

因此,本公开的目的在于,从各种角度对行驶中的车辆进行拍摄。

本公开的无人机系统为包括车辆、和对所述车辆进行拍摄的无人机的无人机系统,其特征在于,所述车辆通过通信线路而与所述无人机连接,并向所述无人机发送包含所述车辆的行驶信息和所述车辆的导航信息在内的车辆信息,所述无人机能够进行自主飞行,并包括拍摄用的摄像机、和实施飞行控制以及所述摄像机的控制的控制装置,所述控制装置具备:存储部,其收存有场景信息数据库,所述场景信息数据库将使拍摄动画的场景时的相对于所述车辆的相对位置和所述场景的持续时间建立关联的场景信息集,沿着拍摄的动画的时间序列而依次排列多个并储存;车辆信息取得部,其从所述车辆接收所述车辆信息;行驶位置预测部,其基于接收到的所述车辆信息,而对所述车辆的未来的行驶位置进行预测;飞行路径计算部,其基于由所述行驶位置预测部预测出的所述车辆的未来的行驶位置、和所述场景信息数据库,针对每个所述场景而对从相对于所述车辆的各个所述相对位置通过的这种飞行路径进行计算。

这样,无人机由于以针对每个动画的场景而从对动画的各个场景进行拍摄时的相对于车辆的各个相对位置通过的方式而飞行并对车辆进行拍摄,因此,能够在于车辆的侧方或前方等处飞行的同时,配合于动画的各个场景而从各个方向对行驶中的车辆进行拍摄。

在本公开的无人机系统中,也可以采用如下的方式,即,所述控制装置具备摄像机控制部,所述摄像机控制部基于被存储于所述场景信息数据库中的相对于所述车辆的所述相对位置,而在对所述摄像机的方向进行调节的同时拍摄动画。

由此,能够更加细致地配合于动画的各个场景而从各个方向对行驶中的车辆进行拍摄。

在本公开的无人机系统中,也可以采用如下的方式,即,所述场景信息数据库为,将使拍摄的动画的场景、对所述场景进行拍摄时的相对于所述车辆的相对位置、和所述场景的持续时间建立关联的场景信息集,沿着拍摄的动画的时间序列而依次排列多个并储存的数据库,

所述摄像机控制部基于由所述摄像机拍摄到的图像和所述场景,而在对所述摄像机的方向和视场角进行调节的同时拍摄动画。

由此,能够以被存储于场景信息数据库中的多个场景彼此顺畅地连续的方式而拍摄动画。

在本公开的无人机系统中,也可以采用如下的方式,即,所述控制装置的所述飞行路径计算部基于由所述行驶位置预测部预测到的所述车辆的未来的行驶位置、和被存储于所述场景信息数据库中的相对于所述车辆的各个所述相对位置,而分别对被储存于所述场景信息数据库中的用于拍摄各个所述场景的各个所述相对位置的相对于地表的各个绝对位置进行计算,针对被储存于所述场景信息数据库中的每个所述场景,而对从各个所述绝对位置通过的这种飞行路径进行计算。

这样,无人机由于对相对于地表的绝对位置进行计算,并针对每个场景而对从各个绝对位置通过的这种飞行路径进行计算,并按照该飞行路径而进行飞行,因此,能够更加可靠地从各种角度对行驶中的车辆进行拍摄。

在本公开的无人机系统中,也可以采用如下的方式,即,所述车辆所发送的行驶信息包含速度信息、加速器信息、制动器信息、以及转向信息。

由此,能够快速地对车辆的将来的行驶位置进行计算,从而即使在车辆的行驶速度较快的情况下,无人机也能够可靠地以从对动画的各个场景进行拍摄时的相对于车辆的各个相对位置或绝对位置通过的方式而进行飞行。

在本公开的无人机系统中,也可以采用如下的方式,即,所述无人机实时地发送所拍摄到的动画的图像数据,所述车辆接收所述图像数据,并在车内的显示器上显示动画。

由此,车辆的中的搭乘者能够感到好像自己变成了小鸟并正在观看着行驶中的自己的车辆。

本公开的车辆拍摄方法为通过无人机而对车辆进行拍摄的方法,其特征在于,所述车辆通过通信线路而与所述无人机连接,并向所述无人机发送包含所述车辆的行驶信息和所述车辆的导航信息在内的车辆信息,所述无人机能够进行自主飞行,并包括拍摄用的摄像机、和实施飞行控制以及所述摄像机的控制的控制装置,所述控制装置包括:处理器,其执行信息处理;存储部,其收存有场景信息数据库,所述场景信息数据库将使拍摄动画的场景时的相对于所述车辆的相对位置、和所述场景的持续时间建立关联的场景信息集,沿着拍摄的动画的时间序列而依次排列多个并储存,所述处理器实施如下操作,即:从所述车辆接收所述车辆信息,基于所接收到的所述车辆信息而对所述车辆的未来的行驶位置进行预测,基于所预测到的所述车辆的未来的行驶位置、和所述场景信息数据库,针对每个所述场景而对从相对于所述车辆的各个所述相对位置通过的这种飞行路径进行计算,基于所述计算出的所述飞行路径而使所述无人机进行飞行,并通过所述摄像机而对所述车辆进行拍摄。

由此,由于使无人机以针对每个动画的场景而从对动画的各个场景进行拍摄时的相对于车辆的各个相对位置通过的方式而进行飞行,并对车辆进行拍摄,因此,能够在于车辆的侧方或前方等处飞行的同时,配合于动画的各个场景而从各个方向对行驶中的车辆进行拍摄。

本公开的无人机系统为,包括车辆、对所述车辆进行拍摄的无人机、以及执行所述无人机的运用的无人机运用中心的无人机系统,其特征在于,所述车辆通过通信线路而与所述无人机运用中心连接,并向所述无人机运用中心发送包含所述车辆的行驶信息和所述车辆的导航信息在内的车辆信息,所述无人机能够进行自主飞行,并包括拍摄用的摄像机、和实施飞行控制以及所述摄像机的控制的控制装置,所述无人机通过通信线路而与所述无人机运用中心连接,并向所述无人机运用中心发送当前的飞行位置,所述无人机运用中心包括服务器,所述服务器具备:存储部,其收存有场景信息数据库,所述场景信息数据库将使拍摄动画的场景时的相对于所述车辆的相对位置、和所述场景的持续时间建立关联的场景信息集,沿着拍摄的动画的时间序列而依次排列多个并储存;车辆信息取得部,其从所述车辆接收所述车辆信息;行驶位置预测部,其基于所接收到的所述车辆信息而对所述车辆的未来的行驶位置进行预测;飞行路径计算部,其基于从所述无人机接收到的所述无人机的当前的飞行位置、由所述行驶位置预测部预测到的所述车辆的未来的行驶位置、以及所述场景信息数据库,针对每个所述场景,而对从相对于所述车辆的各个所述相对位置通过的这种飞行路径进行计算并向所述无人机发送,

所述无人机在按照从所述服务器接收到的飞行路径而进行自主飞行的同时通过所述摄像机而对所述车辆进行拍摄。

这样,由于通过无人机运用中心的服务器而对飞行路径进行计算,因此,能够高速地进行飞行路径的计算,并配合于动画的各个场景而从各个方向对行驶中的车辆进行拍摄。此外,由于能够缩小搭载在无人机上的电子设备,因此,能够减少无人机的重量从而设为小型化的系统

本发明能够从各种角度对行驶中的车辆进行拍摄。

附图说明

图1为表示实施方式的无人机系统的结构的系统图。

图2为构成实施方式的无人机系统的车辆的功能模块图。

图3为构成实施方式的无人机系统的无人机的功能模块图。

图4为构成图2所示的车辆的车辆控制装置、导航装置、图3所示的无人机的控制装置的计算机的硬件结构图。

图5为表示被收存于图3所示的存储部中的场景信息数据库的数据结构的图。

图6为图5所示的场景图像数据库的编号001的场景71的图像。

图7为图5所示的场景图像数据库的编号002的场景72的图像。

图8为图5所示的场景图像数据库的编号003的场景73的图像。

图9为图5所示的场景图像数据库的编号004的场景74的图像。

图10为图5所示的场景图像数据库的编号005的场景75的图像。

图11为在图5所示的场景图像数据库中表示各个编号中的与车辆之间的各个相对位置的俯视图。

图12为表示实施方式的无人机系统的动作的流程图。

图13为表示实施方式的无人机系统的动作的流程图。

图14为表示执行图12、13所示的流程图时的车辆的预测位置和无人机的相对于地表的绝对位置的时间变化的俯视图。

图15为表示其他的实施方式的无人机系统的结构的系统图。

图16为构成其他的实施方式的无人机系统的无人机的功能模块图。

图17为构成其他的实施方式的无人机系统的无人机运用中心的功能模块图。

图18为在实施方式的无人机系统或者其他的实施方式的无人机系统中使用的无人机的立体图。

具体实施方式

以下,参照附图,对实施方式的无人机系统100进行说明。如图1所示,无人机系统100由车辆10和无人机30构成。车辆10和无人机30通过互联网等的通信线路60而被连接。车辆10向无人机30发送包含车辆10的行驶信息和车辆10的导航信息在内的车辆信息。无人机30能够进行自主飞行,并搭载了拍摄用的摄像机52。另外,在各个图中,FR、RR分别表示车辆10的前方、后方,LH、RH表示车辆10的左侧、右侧。此外,虽然在以下的说明中,无人机30作为通过电机而对螺旋桨进行驱动从而进行飞行的设备来进行说明,但只要是能够进行自主飞行的无人飞行体,则例如既可以通过发动机而对电机进行驱动,也可以为将喷气发动机或火箭发动机等作为推进机构的飞机。

<车辆的结构>

如图2所示,车辆10包括实施车辆10的行驶控制的车辆控制装置11、对车辆10的当前位置进行确定并实施对于车辆10的目的地的路径引导的导航装置21、以及与车辆控制装置11和导航装置21连接并在与通信线路60之间进行通信的通信装置16。

车辆控制装置11为,被输入有速度传感器12、加速器开度传感器13、制动器踩踏量传感器14、转向角度传感器15的各个计测数据并对车辆10的发动机或者电机、转向装置进行控制从而实施车辆10的加速、减速、转向等的行驶控制的装置。车辆控制装置11向通信装置16输出从速度传感器12、加速器开度传感器13、制动器踩踏量传感器14、转向角度传感器15被输入的包含速度信息、加速器信息、制动器信息、转向信息在内的车辆10的行驶信息。

导航装置21包括GPS单元22、位置确定单元23、位置推断单元24、地图数据存储部25、路径引导单元26这五个功能模块、以及显示器27。

GPS单元22为,从多个卫星接收多个电波,并基于接收到的电波而输出当前位置的纬度、经度的信息的单元。

位置推断单元24为,根据被安装于车辆10上的加速度传感器28、角速度传感器29的各个计测值、和被储存于地图数据存储部25中的地图信息,而对车辆10的当前位置的纬度、经度进行推断并向位置确定单元23输出的单元。

在GPS单元22能够接收来自多个卫星的电波且输出了准确的纬度、经度的信息的情况下,位置确定单元23将从GPS单元22输入的纬度、经度作为车辆10的当前位置的纬度、经度信息而输出。另一方面,在GPS单元22未能接收来自多个卫星的电波的情况下,则将从位置推断单元24输入的纬度、经度作为车辆10的当前位置的纬度、经度信息而向通信装置16和路径引导单元26输出。此外,位置确定单元23根据当前位置的纬度、经度的时间变化而对车辆10的行驶方向进行计算,并向通信装置16和路径引导单元26输出。位置确定单元23所输出的当前位置的纬度、经度的信息和行驶方向的信息构成导航信息。

路径引导单元26根据被存储于地图数据存储部25中的地图信息、从位置确定单元23输出的车辆10的当前位置的纬度、经度信息、行驶方向的信息、用户所输入的目的地的信息,对到目的地为止的路径进行计算,并将其结果与当前位置附近的地图数据重叠而显示在显示器27上。此外,显示器27显示从通信装置16输入的图像数据。

通信装置16经由通信线路60而向无人机30发送从车辆控制装置11输入的包含速度信息、加速器信息、制动器信息、转向信息在内的行驶信息、以及从导航装置21输入的包括车辆10的当前位置的纬度、经度数据、行驶方向数据在内的导航信息。

<无人机的结构>

无人机30为通过电机而对多个螺旋桨进行驱动从而进行自主飞行的飞行体,其能够使多个螺旋桨的转速、角度发生变化从而向上下以及前后左右进行飞行。如图3所示,无人机30包括实施飞行控制并实施摄像机52的控制的控制装置31、和与控制装置31连接并在与通信线路60之间进行通信的通信装置45。控制装置31包括车辆信息取得部32、行驶位置预测部33、飞行路径计算部34、存储部35、飞行控制部37、摄像机控制部38、导航技术部40、图像存储部39这八个功能模块。

控制装置31的车辆信息取得部32从通信装置45取得如下的车辆信息,并向行驶位置预测部33输出,所述车辆信息包括:通信装置45经由通信线路60而从车辆10接收到的车辆10的包含速度信息、加速器信息、制动器信息、转向信息在内的行驶信息、和包含当前位置的纬度、经度数据、行驶方向数据在内的导航信息。

行驶位置预测部33基于从车辆信息取得部32输入的车辆信息,而对车辆10的未来的行驶位置进行预测,并向行路径计算部34输出预测行驶位置的纬度、经度信息。

存储部35收存有用于飞行控制、以及用于摄像机控制的数据。此外,存储部35收存有场景信息数据库36。如图5所示,场景信息数据库36为,将使动画的场景、对该场景进行拍摄时的相对于车辆10的相对位置、和该场景的持续时间建立关联的场景信息集36a,沿着拍摄的动画的时间序列而依次排列多个并储存的数据库。关于场景信息数据库36,在后文中参照图5至图11来进行说明。另外,场景信息数据库36也可以设为,不包括动画的场景的数据,而是将使拍摄动画的场景时的相对于车辆10的相对位置、和场景的持续时间建立关联的场景信息集36a沿着拍摄的动画的时间序列而依次排列多个并储存的数据库。

飞行路径计算部34基于由行驶位置预测部33预测到的车辆10的未来的预想行驶位置、和场景信息数据库36,而对从被储存于场景信息数据库36中的无人机30相对于车辆10的相对位置通过的这种飞行路径进行计算。此后,关于飞行路径计算部34的动作,在后文中参照图12~图14来进行说明。

导航技术部40与先前说明的车辆10的导航装置21同样地包括GPS单元41、位置推断单元43和位置确定单元42。GPS单元41为,从多个卫星接收多个电波并基于接收到的电波而输出当前位置的纬度、经度的信息的单元。位置推断单元43为,基于被安装于无人机30上的加速度传感器46、角速度传感器47的各个计测值而对无人机30的当前位置的纬度、经度进行推断,并向位置确定单元42输出的单元。位置确定单元42为,与车辆10的导航装置21的位置确定单元23同样地基于从GPS单元41和位置推断单元43输入的当前位置而对无人机30的当前飞行位置的纬度、经度进行确定,并将当前飞行位置的纬度、经度的数据向飞行路径计算部34和飞行控制部37输出的单元。

飞行控制部37为,基于从导航技术部40的位置确定单元42输入的当前飞行位置的纬度、经度的数据、从飞行路径计算部34输入的飞行路径、通过加速度传感器46、角速度传感器47、速度传感器48、高度传感器49、方位传感器50而测量出的加速度数据、角速度数据、速度数据、高度数据、方位数据,而对螺旋桨驱动部51进行调节并实施无人机30的飞行的控制的模块。

摄像机控制部38基于从飞行控制部37输入的包含速度数据、高度数据和方位数据在内的飞行信息、和被存储于存储部35中的场景信息数据库36的场景信息集36a,而对摄像机52的方向、视场角进行控制。关于摄像机控制部38的动作,在后文中参照图12~图14来进行说明。

以上说明的图2所示的车辆控制装置11、导航装置21的GPS单元22、位置确定单元23、位置推断单元24、地图数据存储部25、路径引导单元26、以及图3所示的控制装置31的车辆信息取得部32、行驶位置预测部33、飞行路径计算部34、存储部35、飞行控制部37、摄像机控制部38、导航技术部40、图像存储部39的各个功能模块能够分别通过图4所示的通用计算机80来实现。

如图4所示,通用计算机80包括作为执行信息处理的处理器的CPU81、在进行信息处理时临时性地存储数据的ROM82、RAM83、对程序或用户的数据等进行储存的硬盘驱动器(HDD)84、将这些构件连接在一起的数据总线85、与数据总线85连接的网络控制器86、以及输入输出控制器87。在输入输出控制器87上连接有传感器或显示器等的外部装置89。

车辆10的车辆控制装置11、导航装置21的GPS单元22、位置确定单元23、位置推断单元24、路径引导单元26、以及无人机30的车辆信息取得部32、行驶位置预测部33、飞行路径计算部34、飞行控制部37、摄像机控制部38、导航技术部40分别通过图4所示的通用计算机80的硬件和在CPU81中进行动作的程序之间的协同动作而被实现。此外,导航装置21的地图数据存储部25、无人机30的控制装置31的存储部35、图像存储部39分别通过图4所示的通用计算机80的HDD84而被实现。另外,既可以代替HDD84而使用SSD等的存储装置,也可以经由网络而利用外部的存储单元。

<场景信息数据库>

接下来,参照图5来对场景信息数据库36进行说明。场景信息数据库36为,将使拍摄的动画的场景、对该场景进行拍摄时的相对于车辆10的相对位置和该场景的持续时间建立关联的场景信息集36a,沿着拍摄的动画的时间序列而依次排列多个并储存的数据库。在此,相对于车辆10的相对位置为,无人机30的相对于车辆10的车辆前后方向上的相对位置、车辆左右方向上的相对位置、车辆高度方向上的相对位置的组,如图5所示,各个场景信息集36a为,将编号、场景、对该场景进行拍摄时的无人机30的相对于车辆10的车辆前后方向上的相对位置、车辆左右方向上的相对位置、车辆高度方向上的相对位置、该场景的持续时间设为一个集合的信息集。编号按照拍摄的动画的场景的时间序列而被依次标记。

以下,对场景信息数据库36的具体的示例进行说明。在此,对拍摄包括如图6~图10所示的五个场景71~75在内的动画的情况进行说明。动画以如下方式而构成,即:从如图6所示而自于道路70上行驶而来的车辆10的前方的上空俯瞰道路70和车辆的场景71起,转移至如图7所示车辆10接近过来的场景72,此后,如图8~图10所示,从自行驶中的车辆10的侧方拍摄到的车辆10的场景73起,转移至逐渐绕到车辆10的前方而拍摄到的场景74、75。

在图11中示出了用于对这样的各个场景71~75进行拍摄的无人机30的相对于车辆10的相对位置的时间变化。图11所示的空心圆表示无人机30的相对于车辆10的相对位置。最初,图6所示的场景71为,自于道路70上行驶而来的车辆10的前方的上空俯瞰道路70和车辆10的场景,无人机30在车辆10的中央的前方100m的位置处,飞行在距道路70的高度为10m的相对位置d1上,并对车辆10进行拍摄。在此,如图11所示,距车辆10的前后、左右方向的距离为距车辆10的平面的中心的的距离。接下来,在对图7所示的场景72进行拍摄的情况下,无人机30飞行在与相对位置d1相比而更接近于车辆10的前方的相对位置d2上,并对车辆10进行拍摄。相对位置d2为车辆10的中央的前方30m的位置且为距道路70的高度为10m的位置。此时,从场景71的拍摄开始起到如场景72那样图像发生变化为止的时间为场景71的持续时间。

此外,由于图8所示的场景73为从行驶中的车辆10的侧方对车辆10进行拍摄,因此,无人机30如图11的相对位置d3所示,飞行在车辆10的前方3m、左侧5m且高度为1.5m的位置上,并从左侧面对车辆10进行拍摄。此后,为了对图9所示的场景74、图10所示的场景75进行拍摄,从而无人机30在高度1.5m且车辆10的前方,以从车辆10的左侧绕向前方的方式而从相对位置d3起如d4、d5那样进行飞行,从而对场景74、75进行拍摄。拍摄以场景73~75的开始分别隔开预定的持续时间而延续的方式被连续地拍摄。在此,相对位置d4为车辆10的前方12m、距左侧1m、高度1.5m的位置,相对位置d5为车辆10的中央的前方13m、高度1.5m的位置。

这样,当使无人机30以隔开各自的场景71~75的持续时间而从无人机30的相对于车辆10的相对位置d1~d5通过的方式飞行时,能够拍摄如图6~图10所示的场景71至场景75连续的这种动画。

在对这种动画进行拍摄的情况下的图5所示的场景信息数据库36的编号001的场景信息集36a中,储存有图6所示的场景71、构成图11所示的相对位置d1的车辆前后方向上的相对位置、车辆左右方向上的相对位置、车辆高度方向上的相对位置、场景71的持续时间AA秒。在构成相对位置d1的、各个方向上的相对位置上,存储有车辆前后方向上的相对位置位于车辆10的前方100m、车辆左右方向上的相对位置位于车辆10的中央、车辆高度方向上的相对位置位于距路面10m的数据。同样地,在编号002的场景信息集36a中,储存有图7所示的场景72、构成图11所示的相对位置d2的车辆前后方向上的相对位置、车辆左右方向上的相对位置、车辆高度方向上的相对位置、场景72的持续时间BB秒。在构成相对位置d2的各个方向的上相对位置上,储存有车辆前后方向上的相对位置位于车辆10的前方30m、车辆左右方向上的相对位置位于车辆10的中央、车辆高度方向上的相对位置位于距路面10m的数据。以下,同样地,在编号003~005的场景信息集36a中,储存有图8~10所示的场景73~75、构成图11所示的相对位置d3~d5的车辆前后方向上的相对位置、车辆左右方向上的相对位置、车辆高度方向上的相对位置、场景73~75的持续时间CC秒~EE秒。

<行驶中的车辆的动画的拍摄动作>

接下来,参照图12、图14来对由实施方式的无人机系统100实施的行驶中的车辆10的动画的拍摄动作进行说明。

如图12的步骤S101所示,无人机30的控制装置31将计数器N置于初始值的1上。控制装置31的飞行路径计算部34在图12的步骤S102中读取被收存于存储部35中的场景信息数据库36的编号001和编号002的各个场景信息集36a。而且,在图12的步骤S103中,飞行路径计算部34对开始动画拍摄的时刻t1进行设定,并对在时刻t1上加上编号001的持续时间AA秒而得到的时刻t2进行计算,且向行驶位置预测部33输出。在此,时刻t2为场景71的结束时刻或者场景72的开始时刻,时刻t1、t2为对行驶位置进行预测的时刻。

在图12的步骤S104中,车辆信息取得部32从车辆10取得包含行驶信息和导航信息在内的车辆信息,并向行驶位置预测部33输出,行驶信息包括速度信息、加速器信息、制动器信息、转向信息,导航信息包括当前位置的纬度、经度数据、行驶方向数据。

在图12的步骤S105中,控制装置31的行驶位置预测部33基于从车辆信息取得部32输入的包含行驶信息和导航信息在内的车辆信息,而对图14所示的时刻t1、t2处的车辆10的行驶位置c1、c2的纬度、经度进行计算,并向飞行路径计算部34输出。

在图12的步骤S106中,飞行路径计算部34基于时刻t1处的车辆10的行驶位置c1的纬度、经度和编号001的场景信息集36a的无人机30的相对于车辆10的车辆前后方向上的相对位置、车辆左右方向上的相对位置、车辆高度方向上的相对位置、即图11所示的相对位置d1的信息,而如图14所示对与图11所示的相对位置d1相对应的相对于地表的绝对位置ad1进行计算。在此,绝对位置ad1通过纬度、经度而被规定。同样地,飞行路径计算部34基于时刻t2处的车辆10的行驶位置c2的纬度、经度和编号002的场景信息集36a的无人机30相对于车辆10的车辆前后方向上的相对位置、车辆左右方向上的相对位置、车辆高度方向上的相对位置、即图11所示的相对位置d2的信息,如图14所示而对与相对位置d2相对应的相对于地表的绝对位置ad2进行计算。而且,飞行路径计算部34以利用编号001的持续时间AA秒而从绝对位置ad1与ad2之间移动过的方式来对无人机30的飞行路径进行计算,并向飞行控制部37输出。该飞行路径为,用于拍摄编号001的场景71至编号002的场景72之间的动画的飞行路径。在此,飞行路径也可以为利用直线而对绝对位置ad1和ad2进行连结的路径。

无人机30的控制装置31的飞行路径计算部34如图12的步骤S107所示而待机至成为与编号001的持续时间AA秒相比而靠预定时间之前为止,并在预定时间已经经过时,则在步骤S108中使计数器N递增1,并前进至步骤S109。然后,在图12的步骤S109中,飞行路径计算部34对计数器N是否成为作为最终编号的Nend以上进行判断,在步骤S109中判断为否(No)的情况下,返回至步骤S102并执行步骤S102~108,在时刻t2上加上场景72的持续时间BB秒从而对开始场景73的时刻t3进行计算,并对时刻t3处的与相对位置d3相对应的相对于地表的绝对位置ad3进行计算,且对用于拍摄编号002的场景72至编号003的场景73之间的动画的飞行路径进行计算,并向飞行控制部37输出。在此,预定时间只要为无人机30可沿着飞行路径而飞行的时间即可,例如,也可以设定为5~10秒。

以下,同样地,飞行路径计算部34在编号003~编号005的各个持续时间结束的预定时间前,对用于拍摄编号003的场景73至编号004的场景74之间的动画的飞行路径、用于拍摄编号004的场景74至编号005的场景75之间的动画的飞行路径进行计算,并向飞行控制部37输出。而且,飞行路径计算部34在步骤S109中判断为是(Yes)的情况下结束飞行路径的计算。

另一方面,飞行控制部37在如图13的步骤S201所示将计数器N设定为1之后,在步骤S202中从飞行路径计算部34接收用于拍摄场景信息数据库36的编号001的场景71至编号002的场景72的动画的飞行路径的数据。然后,飞行控制部37在步骤S203中对螺旋桨驱动部51进行调节,从而按照从飞行路径计算部34输入的飞行路径而使无人机30飞行。

在图13的步骤S203中,摄像机控制部38基于从飞行控制部37输入的无人机30的飞行方向、飞行速度等的飞行信息、和被存储于场景信息数据库36中的相对于车辆10的相对位置d1、d2的信息,而在将摄像机52的方向朝向车辆10的方向进行调节的同时,拍摄行驶中的车辆10的场景71至场景72之间的动画。

此外,在图13的步骤S204中,摄像机控制部38将摄像机52所拍摄到的场景71至场景72之间的动画的数据储存在图像存储部39中,并且实时地将图像数据经由通信装置16、45、通信线路60而发送至车辆10。

如图13的步骤S205所示,车辆10的导航装置21将从无人机30发送的动画的图像数据作为动画而显示在显示器27上。在显示器27上,实时地显示场景71至场景72之间的动画。

而且,飞行控制部37在图13的步骤S206中对是否经过了编号001的场景71的持续时间AA秒进行判断,在步骤S206中判断为否的情况下,返回至图13的步骤S203。然后,飞行控制部37、摄像机控制部38和导航装置21继续执行步骤S203~S205。

另一方面,飞行控制部37在步骤S206中判断为是的情况下,前进至步骤S207并使计数器N递增1,且前进至图13的步骤S208。而且,飞行控制部37在步骤S208中对计数器N是否成为作为最终编号的Nend以上进行判断。

飞行控制部37在步骤S208中判断为否的情况下,返回至步骤S202并接收用于拍摄场景信息数据库36的编号002的场景72至编号003的场景73之间的动画的飞行路径的数据。而且,飞行控制部37在步骤S203中对螺旋桨驱动部51进行调节,从而按照从飞行路径计算部34输入的飞行路径而使无人机30飞行。

而且,摄像机控制部38在图13的步骤S203中,在将摄像机52的方向朝向车辆10的方向进行调节的同时,拍摄行驶中的车辆10的场景72至场景73之间的动画,且在步骤S204中将摄像机52所拍摄到的场景72至场景73之间的动画的数据储存在图像存储部39中,并且,实时地将图像数据发送至车辆10。车辆10的导航装置21在步骤S205中,使场景72至场景73之间的动画实时地显示在显示器27上。

以下,同样地,在飞行控制部37在步骤S208中判断为否的情况下,飞行控制部37、摄像机控制部38和车辆10的导航装置21反复执行图13的步骤S202~S207,并从飞行路径计算部34接收用于拍摄场景信息数据库36的编号003的场景73至编号004的场景74之间的动画的飞行路径、用于拍摄编号004的场景74至编号005的场景75之间的动画的飞行路径的数据,并拍摄各自的场景之间的动画,且实时地显示在车辆10的显示器27上。

而且,飞行控制部37在图13的步骤S208中判断为是的情况下结束动画的拍摄。

如以上所说明的那样,实施方式的无人机系统100能够在于车辆10的侧方或前方等进行飞行的同时,配合于动画的各个场景而从各个方向对行驶中的车辆10进行拍摄。

此外,实施方式的无人机系统100由于从车辆10取得速度信息、加速器信息、制动器信息、转向信息,并由此对未来的车辆10的行驶位置进行预测,因此,能够快速地计算出车辆10的未来的行驶位置,从而即使在车辆10的行驶速度较快的情况下,无人机30也能够以可靠地从拍摄动画的各个场景时的相对于车辆10的各个相对位置d1~d5或者绝对位置ad1~ad5通过的方式而进行飞行。

此外,在实施方式的无人机系统100中,由于无人机30实时地发出所拍摄到的动画的图像数据,且车辆10接收图像数据并在车内的显示器27上显示动画,因此,车辆10中的搭乘者能够感觉好像自己变成了小鸟并正在观看着行驶中的自己的车辆10。

此外,虽然在以上的说明中,作为无人机30的各个功能模块的动作而进行了说明,但如先前所说明的那样,各个功能模块通过作为执行通用计算机80的信息处理的处理器的CPU81执行程序而被实现。因此,先前说明的无人机30的动作也为构成无人机30的控制装置31的处理器的动作。

使无人机30进行动作的控制装置31的处理器的动作如下。即,处理器从车辆10接收车辆信息,并基于接收到的车辆信息而对车辆10的未来的行驶位置进行预测,且基于预测到的车辆10的未来的行驶位置、和场景信息数据库36,而针对每个场景对从相对于车辆10的各个相对位置通过的这种飞行路径进行计算,且基于所计算出的飞行路径而使无人机30进行飞行,以利用摄像机52而对车辆10进行拍摄。此外,飞行路径计算部34对飞行路径进行计算的动作为如下的处理器的动作。即,处理器基于所预测到的车辆10的未来的行驶位置、和被存储于场景信息数据库36中的相对于车辆10的各个相对位置,而分别对被储存于场景信息数据库36中的拍摄各个场景的各个相对位置d1~d5的相对于地表的各个绝对位置ad1~ad5进行计算,并针对每个被储存于场景信息数据库36中的场景而对从各个绝对位置ad1~ad5通过的这种飞行路径进行计算。

在以上所说明的实施方式的无人机系统100中设为如下情况而进行了说明,即,摄像机控制部38基于被储存于场景信息数据库36中的相对于车辆10的相对位置d1~d5的信息,而在将摄像机52的方向朝向车辆10的方向进行调节的同时拍摄行驶中的车辆10的动画。在该情况下,场景信息数据库36也可以不储存场景的数据。在储存了场景信息数据库36的场景的数据的情况下,也可以如以下方式那样对车辆10进行拍摄。

场景信息数据库36为,使参照图6~图10进行说明的拍摄的动画的场景71~75的数据、相对于车辆10的相对位置d1~d5的信息、和场景的持续时间建立关联的数据库,摄像机控制部38也可以基于由摄像机52拍摄到的图像、和储存于场景信息数据库36中的各个场景71~75的图像,而在对摄像机52的方向和视场角进行调节的同时拍摄动画。在该情况下,例如也可以设为,将各个场景71~75的图像和摄像机52所拍摄到的图像的大小进行比较,并对摄像机52的视场角进行调节。此外,也可以设为,对图像中的车辆10的位置进行比较,并对摄像机52的方向进行调节。

<其他的实施方式的无人机系统>

接下来,参照图15~图17来对其他的实施方式的无人机系统200进行说明。对与先前参照图1~图14而进行了说明的无人机系统100相同的部位标记相同的符号,并省略说明。

如图15所示,无人机系统200由车辆10、无人机130和无人机运用中心190而构成。由于车辆10的结构与无人机系统100的车辆10的结构相同,因此省略说明。

如图16、17所示,在无人机系统200中,无人机运用中心190的服务器191具备对场景信息数据库36进行收存的存储部195,服务器191的飞行路径计算部194基于从车辆10取得的车辆信息和场景信息数据库36而对飞行路径进行计算,并发送至无人机130,无人机130为,在按照从服务器191发送的飞行路径而进行飞行的同时拍摄行驶的车辆10的动画的无人机。

如图16所示,无人机130的控制装置131为,从图3所示的无人机30的控制装置31中删除了车辆信息取得部32、行驶位置预测部33、飞行路径计算部34和存储部35的装置。无人机130的控制装置131具备飞行控制部137、摄像机控制部138、图像存储部139、导航技术部140这四个功能模块。飞行控制部137虽然基于来自加速度传感器146、角速度传感器147、速度传感器148、高度传感器149、方位传感器150的各个测量数据和飞行路径以及无人机130的当前飞行位置,而执行与无人机30的飞行控制部37的动作相同的动作,但在从通信装置145输入飞行路径数据的这一点上有所不同。此外,虽然摄像机控制部138的动作也与无人机30的摄像机控制部38的动作相同,但在从通信装置145输入场景信息集36a的这一点上有所不同。此外,虽然导航技术部140具备GPS单元141、位置确定单元142、位置推断单元143,并执行与无人机30的导航技术部40相同的动作,但在将当前的飞行位置向通信装置45输出的这一点上有所不同。

如图17所示,无人机运用中心190的服务器191具备通信装置196的车辆信息取得部192、行驶位置预测部193、飞行路径计算部194、存储部195这四个功能模块。车辆信息取得部192、行驶位置预测部193和飞行路径计算部194执行与图3所示的无人机30的车辆信息取得部32、行驶位置预测部33、飞行路径计算部34相同的动作。但是,飞行路径计算部194在从通信装置196输入无人机130的当前的飞行位置的数据且将计算出的飞行路径的数据向通信装置196输出的这一点上有所不同。此外,虽然存储部195与无人机30的存储部35同样地储存场景信息数据库36,但在将场景信息集36a向通信装置196输出的这一点上有所不同。

无人机130的控制装置131和服务器191与图3所示的无人机30的控制装置31同样地,能够通过参照图4而进行了说明的包括作为处理器的CPU81的通用计算机80来实现。

<其他的实施方式的无人机系统的拍摄动作>

在无人机系统200中,图12所示的步骤S102~S106的动作通过无人机运用中心190的服务器191的飞行路径计算部194、车辆信息取得部192、行驶位置预测部193的各个功能模块来执行,服务器191将在图12的步骤S106中飞行路径计算部194计算出的飞行路径发送至无人机130。无人机130基于从服务器191接收到的飞行路径并通过飞行控制部137而使无人机130进行飞行,在图12的步骤S107中,通过摄像机控制部138和摄像机152而对车辆10的动画进行拍摄,并在步骤S109中存储于图像存储部139中,并且将图像数据发送至车辆10。车辆10的导航装置21将在图12的步骤S109中从无人机130接收到的图像数据作为动画而显示在显示器27上。

虽然在以上的说明中,服务器191、无人机130的动作作为服务器191的各个功能模块和无人机130的各个功能模块的动作而进行了说明,但如先前所说明的那样,各个功能模块通过执行通用计算机80的信息处理的处理器、即CPU81执行程序而被实现。因此,先前所说明的无人机系统200的服务器191的动作为,构成服务器191的处理器的动作。

构成服务器191的处理器的动作如下。服务器191的处理器从车辆10接收车辆信息,并基于接收到的车辆信息而对车辆10的未来的行驶位置进行预测,且基于从无人机130接收到的无人机130的当前的飞行位置、预测出的车辆10的未来的行驶位置、以及场景信息数据库36,针对每个场景而对从相对于车辆10的各个相对位置通过的这种飞行路径进行计算,并向无人机130发送。

在以上说明的无人机系统200中,由于由无人机运用中心190的服务器191来进行飞行路径的计算,因此,能够高速地进行飞行路径的计算,并根据动画的各个场景而从各个方向对行驶中的车辆10进行拍摄。此外,由于能够减小搭载于无人机130上的电子设备,因此能够降低无人机130的重量而设为小型化的系统。

虽然在以上说明的无人机系统100、200中,说明了无人机30为通过电机而对多个螺旋桨进行驱动从而进行自主飞行的飞行体,但例如如图18所示,也可以使用由在中央处沿着上下方向延伸的杆状的主体301、包括螺旋桨和驱动电机的螺旋桨组装体302、以及四个螺旋桨组装体302经由臂304而被安装成的圆环状的作动器303所构成的无人机300。作动器303以可相对于主体301而倾斜的方式被安装在主体301的外侧,并对螺旋桨组装体302相对于主体301的倾斜角度进行调节。此外,在主体301的下端安装有摄像机52。

无人机300将主体301保持在垂直方向上,并通过利用作动器303而对螺旋桨组装体302相对于主体301的倾斜角度进行调节,从而向前后左右进行飞行。因此,能够在飞行中于不使主体301倾斜的条件下进行飞行,从而能够使摄像机52的位置、方向稳定。由此,能够更加顺畅地拍摄稳定的动画。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号