首页> 中国专利> 图像显示装置和图像显示系统

图像显示装置和图像显示系统

摘要

本发明提出了图像显示装置和图像显示系统。本发明获取由多个摄像头拍摄的被摄体的多个图像。合成该多个图像,生成从虚拟视点观察了该被摄体的合成图像。该合成图像被显示在画面(83)中。若检测出变更该虚拟视点的位置的用户操作,则变更合成图像中的虚拟视点的位置。

著录项

  • 公开/公告号CN112165609A

    专利类型发明专利

  • 公开/公告日2021-01-01

    原文格式PDF

  • 申请/专利权人 富士通天株式会社;

    申请/专利号CN202011045271.0

  • 发明设计人 泽田康嘉;

    申请日2014-09-11

  • 分类号H04N7/18(20060101);G06T3/40(20060101);G06K9/00(20060101);B60R25/31(20130101);B60R25/30(20130101);B60R25/102(20130101);

  • 代理机构11021 中科专利商标代理有限责任公司;

  • 代理人吴秋明

  • 地址 日本国兵库县

  • 入库时间 2023-06-19 09:23:00

说明书

本申请是2014年9月11日向中国国家知识产权局提出的题为“图像显示装置、图像显示系统、图像显示方法、以及程序”的申请No.201480055343.6的分案申请。

技术领域

本发明涉及显示表示车辆周边的图像的技术。

背景技术

公知有将拍摄汽车等的车辆周边的图像进行合成,显示从虚拟的视点观察到车辆周边的情况的技术。根据这种技术,用户(代表而言是驾驶员),在车辆内就能够确认车辆周边的状况。

此外,还提出了向用户携带的便携终端发送这种图像的技术(例如,参照专利文献1)。用户通过认知这种图像,即使远离车辆,也能够掌握车辆的状态或被盗的危险。

现行技术文献

专利文献1:日本国专利申请公开2012-121384号公报

发明内容

所要解决的技术问题

然而,在所提出的技术中,由于观察车辆周边的视点受限,因而有时未必能够从用户所希望的角度认知周边图像。因此,例如,即使在便携终端上确认到车辆附近有可疑的人接近的图像,有时也无法明确判明可疑的人是什么样的人物或进行什么样的行动,反而增加用户的不安。

因此,本发明的目的在于,在显示从虚拟的视点表示车辆周边的图像时,用户所希望的视点能够变更虚拟视点。

为了实现上述目的,本发明的第1方式的图像显示装置具有:

获取部,其获取由多个摄像头分别拍摄了被摄体的多个图像;

生成部,其合成所述多个图像,并生成从虚拟视点观察了所述被摄体的合成图像;

显示控制部,其在画面中显示所述合成图像;和

检测部,其检测使所述画面中所显示的合成图像的所述虚拟视点的位置变更的用户操作,

所述生成部根据所述用户操作,变更所述合成图像的虚拟视点的位置。

根据这种结构,基于用户的操作来变更合成图像的虚拟视点的位置,因此,能够从用户所希望的视点容易地显示被摄体。

在所述图像显示装置中,所述合成图像与所述虚拟视点的位置无关,是从该虚拟视点的位置观察了在所述被摄体中的特定的位置所设定的基准点的图像。

根据这种结构,能够提供用户自己一边观察被摄体、一边进行移动的合成图像。

在所述图像显示装置中,所述多个摄像头设置在车辆中。此时,所述生成部根据针对所述车辆将所述基准点设为原点的世界坐标系、以及针对所述虚拟视点将所述基准点设为原点的视点坐标系,变更所述虚拟视点的位置。

根据这种结构,能够从各种方向以及位置显示被摄体。

所述图像显示装置是能够由用户设定所述基准点的位置的结构。

根据这种结构,能够根据用户所希望的角度显示被摄体。

在所述图像显示装置中,在所述用户操作是表示所述画面中的水平方向的操作时,所述生成部将所述世界坐标系中的铅垂方向的轴作为中心来变更所述虚拟视点的位置。

根据这种结构,将世界坐标系中的铅垂方向的轴作为中心,能够通过简易的操作来变更虚拟视点的位置。

在所述图像显示装置中,在所述用户操作是表示所述画面中的铅垂方向的操作时,所述生成部将所述视点坐标系中的水平方向的轴作为中心来变更所述虚拟视点的位置。

根据这种结构,以视点坐标系中的水平方向的轴作为中心,能够通过简易的操作来变更虚拟视点的位置。

在所述图像显示装置中,所述生成部,在将所述视点坐标系中的水平方向的轴作为中心来变更所述虚拟视点的位置时,在比所述被摄体的接地面更上侧的范围,变更所述虚拟视点的位置。

根据这种结构,能够设定合适的视点位置。

在所述图像显示装置中,所述多个摄像头设置在车辆中,若在从位于所述车辆的正上方的所述虚拟视点观察所述基准点时,进行了表示所述画面中的水平方向的用户操作,则所述生成部将沿着所述车辆的前后方向的轴作为中心来变更所述虚拟视点的位置。

根据这种结构,由于从车辆的正上方向侧面变更虚拟视点的位置,因此,能够毫无不适地变化视场角度来显示被摄体。

为了实现上述的目的,本发明的第2方式的图像显示系统具有:

图像获取装置;

图像显示装置,其能够与所述图像获取装置进行通信,

所述图像获取装置具有:

获取部,其获取由多个摄像头分别拍摄了被摄体的多个图像;

请求接收部,其从所述图像显示装置接收请求发送所述多个图像的请求信号;和

图像发送部,其根据所述请求信号,向所述图像显示装置发送所述多个图像,

所述图像显示装置具有:

请求发送部,其向所述图像获取装置发送请求发送所述多个图像的所述请求信号;

图像接收部,其从所述图像获取装置接收所述多个图像;

生成部,其合成所述多个图像,并生成从虚拟视点观察了所述被摄体的合成图像;

显示控制部,其在画面中显示所述合成图像;和

检测部,其检测使所述画面中所显示的合成图像的所述虚拟视点的位置变更的用户操作,

所述生成部根据所述用户操作,变更所述合成图像的虚拟视点。

根据这种结构,由于根据用户的操作来变更合成图像的虚拟视点的位置,因此,能够从用户所希望的视点容易地显示被摄体。

在所述图像显示系统中,所述图像获取装置设置在车辆中,所述被摄体是所述车辆的周边的情况,所述图像显示系统具有:安全装置,其检测与所述车辆的被盗相关的事前现象,所述安全装置具有:监视部,其检测所述事前现象;和通知部,其向所述图像显示装置通知检测到所述事前现象之意。

根据这种结构,图像显示装置的用户,即使远离车辆,也能够认识到认知与车辆的被盗相关的事前现象发生,能够快速地在画面中确认车辆周边的情况。

为了实现上述的目的,本发明的第3方式的图像显示方法具有以下步骤:

(a)获取由多个摄像头分别拍摄了被摄体的多个图像的步骤;

(b)合成所述多个图像,并生成从虚拟视点观察了所述被摄体的合成图像的步骤;

(c)在画面显示所述合成图像的步骤;和

(d)检测使所述画面中所显示的合成图像的所述虚拟视点的位置变更的用户操作的步骤;

在所述步骤(b)中,根据所述用户操作,变更所述合成图像的虚拟视点的位置。

根据这种结构,由于根据用户的操作来变更合成图像的虚拟视点的位置,因此,能够从用户所希望的视点容易地显示被摄体。

为了实现上述目的,本发明的第4方式的能够通过显示图像的图像显示装置中所包含的计算机执行的程序,

使所述计算机执行以下步骤:

(a)获取由多个摄像头分别拍摄了被摄体的多个图像的步骤;

(b)合成所述多个图像,并生成从虚拟视点观察了所述被摄体的合成图像的步骤;

(c)在画面中显示所述合成图像的步骤;和

(d)检测使所述画面中所显示的合成图像的所述虚拟视点的位置变更的用户操作的步骤,

在所述步骤(b)中,根据所述用户操作,变更所述合成图像的虚拟视点的位置。

根据这种结构,基于用户的操作来变更合成图像的虚拟视点的位置,因此,能够从用户所希望的视点容易地显示被摄体。

附图说明

图1是表示第1实施方式的图像显示系统的概要的图。

图2是表示图1的图像显示系统具有的便携终端的图。

图3是表示图1的图像显示系统的结构的方框图。

图4是说明图1的图像显示系统具有的摄像头的配置的图。

图5是表示图2的便携终端的结构的方框图。

图6是说明在图1的图像显示系统中生成周边图像以及合成图像的方法的图。

图7是表示图1的图像显示系统中的虚拟视点的位置的图。

图8是表示图1的图像显示系统中的虚拟视点的位置的图。

图9是说明图1的图像显示系统中的虚拟视点的移动的图。

图10是说明图1的图像显示系统中的虚拟视点的移动的图。

图11是说明图1的图像显示系统中的虚拟视点的移动的图。

图12是说明图1的图像显示系统中的虚拟视点的移动的图。

图13是例示图1的图像显示系统中的显示图像的图。

图14是例示图1的图像显示系统中的显示图像的图。

图15是例示图1的图像显示系统中的显示图像的图。

图16是例示图1的图像显示系统中的显示图像的图。

图17是例示图1的图像显示系统中的显示图像的图。

图18是例示图1的图像显示系统中的显示图像的图。

图19是例示图1的图像显示系统中的显示图像的图。

图20是例示图1的图像显示系统中的显示图像的图。

图21是例示图1的图像显示系统中的显示图像的图。

图22是例示图1的图像显示系统中的显示图像的图。

图23是例示图1的图像显示系统中的显示图像的图。

图24是例示图1的图像显示系统中的显示图像的图。

图25是表示图1的图像显示系统的处理步骤的流程图。

图26是表示图1的图像显示系统的处理步骤的流程图。

图27是表示第2实施方式的图像显示系统中的便携终端的结构的方框图。

图28是说明图27的图像显示系统中的虚拟视点的移动的图。

图29是说明图27的图像显示系统中的虚拟视点的移动的图。

图30是例示图27的图像显示系统中的显示图像的图。

图31是表示图27的图像显示系统的处理步骤的流程图。

图32是表示图27的图像显示系统的处理步骤的流程图。

图33是表示图像显示系统的变形例的图。

具体实施方式

以下,参照附图对本发明的实施方式进行说明。

<1.第1实施方式>

<1-1.概要>

图1表示本发明的一实施方式的图像显示系统1的概要。图像显示系统1具有车辆2所搭载的图像获取装置3和摄像头4(4F、4B、4L、4R)。图像显示系统1是使便携终端8显示图像获取装置3从摄像头4(4F、4B、4L、4R)获取到的车辆2周边的图像的系统。便携终端8由远离车辆2的用户所有。

在这种系统中,在车辆2中,设置有具有监视传感器的安全装置5。监视传感器在可疑的人SI异常接近车辆2时,或对车辆2施加物理性危害时进行动作,安全装置5向用户通知监视传感器进行了动作之意。从安全装置5接收到通知的用户,向图像获取装置3请求图像的发送,使便携终端8显示车辆2周边的图像。此时,用户自由地变更图像所显示的范围,并从所希望的角度参照车辆2周边的状况。

图2表示具有使车辆2周边的图像进行显示的显示器83的便携终端8的示例。用户通过操作显示器83的触摸面板83a,能够改变图像的显示范围且详细地点检担心之处。用户参照车辆2周边的图像,并根据需要从相隔的远处使车辆2的报警器动作,或向警备公司通报。通过使用这种图像显示系统1,即使用户在远离车辆2时,也能够始终安全地保全自己所拥有的车辆2。

<1-2.结构>

接着,参照图3来说明搭载于车辆2而构成图像显示系统1的各装置。车辆2具有:图像获取装置3、摄像头4、安全装置5以及报警器6。

图像获取装置3是从车辆所設置的摄像头4接收图像数据,并将接收到的图像数据向便携终端8发送的电子控制装置。图像获取装置3具有:控制部31、通信部32以及存储部33。

控制部31是具有CPU、RAM以及ROM的微型计算机。控制部31与图像获取装置3具有的其它结构可通信地连接,以对装置整体的动作进行控制。控制部31具有:请求接收部31a、摄像头控制部31b、图像获取部31c、图像发送部31d以及被盗防止部31e。

请求接收部31a从持有便携终端8的用户接收请求摄像头4的动作和开始拍摄的请求信号。

若请求接收部31a从用户接收到开始拍摄的请求信号,则摄像头控制部31b向摄像头4发送动作信号,并使摄像头4开始拍摄。

图像获取部31c获取从摄像头4发送来的图像数据,并将获取到的图像数据变换为可由控制部31处理的形式。

图像发送部31d将图像获取部31c从摄像头4获取到的图像数据经由通信部32向便携终端8发送。

被盗防止部31e向报警器6发送动作信号,使报警器6进行报警。由此,防止车辆2被盗。此外,被盗防止部31e也可以在使报警器6进行报警的同时,对引擎控制装置(未图示)进行控制,使引擎不动作。此外,被盗防止部31e也可以经由通信部32向警备公司通报。总之,被盗防止部31e只要利用车辆2所具有的设备来发挥功能以防止车辆2的被盗即可。

通信部32具有利用无线通信的通信功能,经由网络7与便携终端8进行信息通信。作为使用的信息通信技术的示例,可以列举WiMAX(Worldwide Interoperability forMicrowave Access:全球微波互联接入)或LTE(Long Term Evolution:长期演进)等。

存储部33是存储数据的存储器。例如,是EEPROM(Electrical ErasableProgrammable Read-Only memory:电可擦可编程只读存储器)、闪存、具有磁盘的硬盘驱动器等的非易失性存储介质。此外,存储部33存储有程序33a。

程序33a是由控制部31读取的用于由控制部31控制图像获取装置3所执行的固件。

接着,对摄像头4进行说明。摄像头4包括:前摄像头4F、后摄像头4B、左侧摄像头4L以及右侧摄像头4R。各摄像头(4F、4B、4L、4R)具有镜头和撮像元件,配置在车辆2的不同位置。

图4表示在车辆2配置摄像头4(4F、4B、4L、4R)的位置和各摄像头的光轴朝向的方向。前摄像头4F设置在车辆2的前端部,其光轴4Fa朝向车辆2的前进方向。后摄像头4B设置在车辆2的后端部,其光轴4Ba朝向与车辆2的前进方向相反的方向即后进方向。左侧摄像头4L设置在左侧的后视镜ML,其光轴4La朝向车辆2的左方向(相对于前进方向的正交方向)。此外,右侧摄像头4R设置在右侧的后视镜MR,其光轴4Ra朝向车辆2的右方向(相对于前进方向的正交方向)。

各摄像头4F、4B、4L、4R拍摄车辆2周边的不同方向,以获取电子拍摄图像。摄像头4具有的镜头与标准镜头相比焦距较短,具有180度以上的视角θ。因此,能够通过使用4个摄像头4来拍摄车辆2的整个周围。

如图3所示,安全装置5是检测与针对车辆2或车辆2内的物品的被盗关联的事先现象,并将有被盗的危险发生之意通过电子邮件向车辆2的用户所持有的便携终端8通知的装置。安全装置5具有监视传感器5a以及邮件通知部5b。

监视传感器5a是检测与针对车辆2或车辆2内的物品的被盗关联的事先现象的传感器。例如,是检测车辆2产生的振动的传感器、检测车辆2的玻璃的破坏的玻璃破碎传感器、检测由千斤顶或起重机引起的车辆2的倾斜的倾斜传感器、检测进入车辆2内的侵入者的侵入传感器等。

若监视传感器5a检测出与被盗关联的事先现象,则邮件通知部5b向用户通知被盗的危险发生之意。具体而言,邮件通知部5b生成将被盗的危险发生之意作为内容的电子邮件,向用户所携带的便携终端8发送电子邮件。不仅是利用电子邮件的文字信息,还可以通过声音信息来通知。此时,只要由便携终端8读取声音信息即可。当安全装置5具有多个监视传感器时,邮件通知部5b优选在电子邮件中包括监视传感器是否检测出与被盗关联的事先现象。这是为了使用户易于掌握车辆2的状况。

报警器6是在周围发出声音进行警告的装置。报警器6例如是车辆2所搭载的扬声器或电话。报警器6除了发出声音,还可以使车辆2所搭载的警告灯等发光。总之,报警器6只要使周围唤起注意以进行警告即可

便携终端8是用户所携带的具有显示图像的功能、与信息网络连接的功能等的信息终端。例如,便携终端8是便携电话或智能电话。图5表示便携终端8的结构。便携终端8具有:控制部81、通信部82、显示器83以及存储部84。

控制部81是具有CPU、RAM以及ROM的微型计算机。控制部81与便携终端8具有的其它结构可通信地连接,以控制便携终端8整体的动作。控制部81具有的各功能在后面叙述。

通信部82具有利用无线通信的通信功能,经由网络7与图像获取装置3以及安全装置5进行信息通信。作为使用的无线通信技术的示例,可以列举WiMAX(WorldwideInteroperability for Microwave Access)、LTE(Long Term Evolution)等。

显示器83显示文字或图形等各种信息,并向用户在视觉上提示信息。显示器83是例如液晶显示器、等离子显示器、有机EL显示器等显示装置。显示器83具有触摸面板83a。

触摸面板83a感知用户对显示器83所显示的按钮区域的接触,并将感知的位置信息发送给控制部81。

存储部84是存储数据的存储器。存储部84例如是EEPROM(Electrical ErasableProgrammable Read-Only memory)、闪存、具有磁盘的硬盘驱动器等非易失性的存储介质。存储部84存储车体图像数据84a以及程序84b。

车体图像数据84a是表示车辆2的外观的图像数据。车体图像数据84a包含从外部的所有角度观察车辆2时的图像数据。此外,车体图像数据84a也可以预先不存储于便携终端8,而在车辆2安装了图像获取装置3之后,经由网络7从外部服务器获取。此时,能够获取与安装了图像获取装置3的车辆2的外观一致的车体图像数据84a。用户只要从便携终端8向外部服务器发送车辆2的车型名等,并请求车体图像数据84a即可。

程序84b是通过控制部81读取的,用于由控制部81控制便携终端8所执行的固件。

对前述的控制部81具有的各功能进行说明。控制部81具有:图像获取部81a、图像生成部81b、显示控制部81c以及操作检测部81d。

图像获取部81a获取从图像获取装置3发送来的图像数据,并将获取到的图像数据变换为能够由控制部81处理的形式。即,图像获取部81a通过多个摄像头4获取分别拍摄了被摄体的多个图像。

图像生成部81b对由摄像头4获取到的多个拍摄图像进行合成,生成表示从虚拟视点观察到的车辆2周边的情况的周边图像。虚拟视点是从车辆2外部的位置俯瞰车辆2的视点。此外,图像生成部81b将表示从虚拟视点观察到的车辆2的车体图像与周边图像重叠。图像生成部81b的周边图像的生成方法以及虚拟视点的设定方法在后面叙述。

显示控制部81c在显示器83中显示图像或文字等的数据。此外,显示控制部81c根据输入触摸面板83a的接触位置而使显示器83中所显示的图像等变化。

操作检测部81d检测用户对触摸面板83a的操作。具体而言,操作检测部81d根据从触摸面板83a发送来的触摸位置信息,来检测在用户的指尖与触摸面板83a接触后,向触摸面板83a上的哪个方向进行了移动。

作为对用户的触摸面板83a的操作的示例,可例举出使指尖保持与触摸面板83a接触而滑动的所谓滑动(slick)操作,保持两个指尖与触摸面板83a接触并缩短指尖与指尖的间隔的所谓向里捏(pinch in)操作,保持2个指尖与触摸面板83a接触并扩大指尖与指尖的间隔的所谓向外扩张(pinch out)操作。

通知部81e经由通信部82向便携终端8的外部的装置发送规定的信号。作为通知部81e发送的信号的示例,可例举出对图像获取装置请求发送图像数据的信号等。

<1-3.周边图像以及合成图像的生成>

接着,对图像生成部81b生成表示车辆2的周边区域的周边图像AP、以及使周边图像AP重叠于车体图像10的合成图像CP的方法进行说明。图6表示图像生成部81b生成周边图像AP的方法。

首先,若前摄像头4F、后摄像头4B、左侧摄像头4L、以及右侧摄像头4R分别拍摄车辆2周边,则获取分别表示车辆2的前方、后方、左侧方、以及右侧方的4个图像AP(F)、AP(B)、AP(L)、AP(R)。这4个图像包括表示车辆2的整个周围的图像数据。

图像生成部81b将这4个图像AP(F)、AP(B)、AP(L)、AP(R)中所包含的数据(各像素的值)投影于虚拟的三维空间中的立体曲面即投影面TS。投影面TS,例如,是大致半球状(碗形状)。该投影面TS的中心部(碗的底部分)是车辆2的存在位置。此外,投影面TS的中心部以外的部分,与图像AP(F)、AP(B)、AP(L)、AP(R)的任一个相对应。

图像生成部81b将周边图像AP(F)、AP(B)、AP(L)、AP(R)投影于投影面TS的中心部以外的部分。图像生成部81b将前摄像头4F的图像AP(F)投影于相当于投影面TS中的车辆2前方的区域,将后摄像头4B的图像AP(B)投影于相当于车辆2后方的区域。而且,图像生成部81b,将左侧摄像头4L的图像AP(L)投影于相当于投影面TS中的车辆2左侧方的区域,将右侧摄像头4R的图像AP(R)投影于相当于车辆2右侧方的区域。由此,生成表示车辆2整个周围的区域的周边图像AP。

接着,图像生成部81b设定从该三维空间中的任意的视点位置向任意的视线方向的虚拟视点VP。然后,在投影面TS之中,截取被投影到从设定的虚拟视点VP观察到的视场角所包含的区域的图像数据。根据截取的图像数据,生成从虚拟视点VP观察到的表示车辆2周边区域的周边图像AP。

图像生成部81b从存储部84读取车体图像数据,并生成从虚拟视点VP观察到的车辆2的车体图像10。然后,将车体图像10合成到表示从虚拟视点VP观察到的车辆2周边区域的周边图像AP中,并生成合成图像CP。

图像生成部81b在设定了将视点位置设为车辆2的正上方、将视线方向设为正下方的虚拟视点VPt时,使用周边图像AP(F)、AP(B)、AP(L)、AP(R)以及车体图像10,生成俯瞰车辆2以及车辆2的周边区域的合成图像CPt。合成图像CPt是从正上方俯视车辆2的图像,且表示出车辆2周围的区域。

此外,图像生成部81b在设定了将视点位置设为车辆2的前上方、将视线方向设为朝向车辆2的后下方的虚拟视点VPb时,使用周边图像AP(B)、AP(L)、AP(R)以及车体图像10,生成俯瞰车辆2以及车辆2的周边区域的合成图像CPb。合成图像CPb是从前上方向后方俯视车辆2的图像,且表示出车辆2后方的区域。

此外,图像生成部81b在设定了将视点位置设为车辆2的左斜后方且上方、将视线方向设为朝向车辆2的前下方的虚拟视点VPl时,使用周边图像AP(F)、AP(L)、AP(R)以及车体图像10,生成俯瞰车辆2以及车辆2的周边区域的合成图像CPI。合成图像CPl是从左斜后方且上方向前方俯视车辆2的图像,且表示出车辆2左侧的区域。

<1-4.虚拟视点的设定>

接着,对图像生成部81b设定虚拟视点VP的方法进行详细说明。图7至图12表示图像生成部81b设定虚拟视点VP的方法。此外,在各图中,使用三维XYZ直角坐标系cc,适当表示出方向以及朝向。直角坐标系cc的各坐标轴,对于车辆2相对固定。即,将车辆2的左右方向设为X轴方向,将车辆2的前后方向设为Y轴方向,将铅垂方向设为Z轴方向。此外,将车辆2的右方侧设为+X侧,将车辆2的前方侧设为+Y侧,将铅垂上侧设为+Z侧。因此,设车辆2的左方侧为-X侧,车辆2的后方侧为-Y侧,铅垂下侧为-Z侧。

图7是从铅垂上方向(+Z侧)观察车辆2的图,表示虚拟视点VP之中成为基准的5个基准虚拟视点VPa(VPat、VPaf、VPab、VPal、VPar)。

5个基准虚拟视点VPa分别包括:5个基准位置(VLt、VLf、VLb、VLl、VLr);5个移动中心点RC(RCt、RCf、RCb、RCl、RCr);以及5个基准方向(VDt、VDf、VDb、VDtl、VDr)。

基准位置VLt位于车辆2的正上方。基准位置VLf位于车辆2的正上方的稍前方(+Y侧)。基准位置VLb位于车辆2的正上方的稍后方(-Y侧)。基准位置VLl位于车辆2的左斜后方(-Y侧且-X侧)。基准位置VLr位于车辆2的右斜后方(+X侧且-Y侧)。各基准位置VL的高度(+Z侧),距与车辆2相接的接地面GR为相同高度。例如,是车高的2倍的高度。

图8是从水平方向右侧(+X侧)观察车辆2的图,是说明移动中心点RC以及基准方向VD的图。移动中心点RC是虚拟视点VP移动时成为中心的基准点。因此,即使虚拟视点VP的视点位置移动,视线方向也始终朝向移动中心点RC。根据这种结构,能够提供如同用户自己一边观察被摄体、一边进行移动般的合成图像。使利用移动中心点RC的虚拟视点VP视点位置移动的方法在后面叙述。

移动中心点RCt是在车辆2的特定位置处所设定的特定点。移动中心点RCt位于车辆2的中心。移动中心点RCf位于车辆2的左右中心、且车辆2的前端稍前方(+Y侧)。移动中心点RCb位于车辆2的左右中心、且车辆2的后端稍稍后方(-Y侧)。移动中心点RCl位于车辆2的前后中心、且车辆2的稍左外侧(-X侧)。移动中心点RCr位于车辆2的前后中心、且车辆2的稍右外侧(+X侧)。各移动中心点RC的高度(+Z侧)是坐于车辆2中的用户的视线的高度h。

基准方向VDt是从基准位置VLt朝向移动中心点RCt的方向(-Z侧)。基准方向VDf是从基准位置VLf朝向移动中心点RCf的方向(-Z侧且+Y侧)。基准方向VDb是从基准位置VLb朝向移动中心点RCb的方向(-Z侧且-Y侧)。基准方向VDl是从基准位置VLl朝向移动中心点RCl的方向(-Z侧且+Y侧)。基准方向VDr是从基准位置VLr朝向移动中心点RCr的方向(-Z侧且+Y侧)。

如此,虚拟视点VP是从视点位置VL观察移动中心点RC的视点。此外,基准虚拟视点VPat是从正上俯瞰车辆2的视点(俯视图)。基准虚拟视点VPaf是将车辆2从前上方观察车辆2前方的视点(俯视)。基准虚拟视点VPab是将车辆2从后上方观察车辆2后方的视点(后视)。基准虚拟视点VPal,是将车辆2从左斜后上方观察车辆2的左侧区域的视点(左侧视图)。基准虚拟视点VPar是将车辆2从右斜后上方观察车辆2的右侧区域的视点(右侧视图)。

这种基准虚拟视点VPa由用户选择。用户的选择是通过对与各基准虚拟视点VPa相对应的触摸面板按钮的触碰操作来选择的。即,在显示器显示合成图像CP时,若由用户选择任一基准虚拟视点VPa,则图像生成部81b生成从相应的基准虚拟视点VPa观察到的合成图像。由此,即便在使虚拟视点的位置进行各种各样的变化之后不再会使基准虚拟视点VPa返回虚拟视点的情况下,用户也能够通过对触摸面板按钮的触碰操作来容易地将虚拟视点设定为基准虚拟视点VPa。

此外,在用户的视点选择前的图像显示初期,在基准虚拟视点VPa之中预先设定任一个视点。此时,优选以从正上方俯瞰车辆2的基准虚拟视点VPat来生成合成图像CP。这是因为能够向用户提示车辆2周边的较广区域,适合作为初期显示。

接着,针对使利用移动中心点RC的视点位置VL移动的方法进行说明。首先,针对从用户观察显示器而在左右方向(水平方向)上使视点位置VL移动的方法,参照图9以及图10来进行说明。以下说明的视点位置VL的移动是与基于用户对触摸面板的左右方向(水平方向)的滑动操作而进行的。

图9是从铅垂方向(+Z侧)观察车辆2的图,表示出基准虚拟视点VPal的基准位置VLl移动的路径。基准位置VLl以移动中心点RCl为中心来移动移动路径OBlh。视点位置VL的移动是将以移动中心点RCl的位置为原点的对于车辆2相对固定的直角坐标系cc(世界坐标系)作为基准。成为基准位置VLl的移动的基准的坐标轴是移动中心点RCl的位置处的直角坐标系cc的Z轴。

图10是从水平方向右侧(+X侧)观察车辆2的图,与图9相同,表示出基准虚拟视点VPal的基准位置VLl移动的路径。基准位置VLl以移动中心点RCl为中心来移动移动路径OBlh。成为基准位置VLl的移动的基准的坐标轴是移动中心点RC的位置中的直角坐标系cc的Z轴(AXl)。

在图9以及图10中,无论基准位置VLl位于移动路径OBlh的何处,基准方向VDl都从基准位置VLl朝向移动中心点RCl的方向。因此,若基准位置VLl在移动路径OBlh上移动,则观察显示器83的用户能够看到图像在横向上移动。

此外,在用户对触摸面板83a进行从左方向右方(水平方向)的滑动操作时,基准位置VLl在移动路径OBlh上绕逆时针移动。另一方面,在用户对触摸面板83a进行从右方向左方(水平方向)的滑动操作时,基准位置VLl在移动路径OBlh上绕顺时针移动。由此,用户的滑动操作的方向与图像的移动的方向一致,用户能够直观地进行触摸面板操作。

接着,针对从用户观察显示器而在上下方向(垂直方向)上使视点位置VL移动的方法,参照图11以及图12来进行说明。在以下说明的视点位置VL的移动是对应于基于用户对触摸面板的上下方向(垂直方向)的滑动操作而进行的。

此外,在图11以及图12中,除了三维的XYZ直角坐标系cc,还使用了三维的XYZ直角坐标系VPcc(视点坐标系),适当表示出方向以及朝向。直角坐标系VPcc的各坐标轴,对于虚拟视点VP相对固定。即,将虚拟视点VP的左右方向设为X轴(VPx)方向,将虚拟视点VP的前后方向设为Y轴(VPy)方向,将虚拟视点VP的垂直方向设为Z轴(VPz)方向。此外,将虚拟视点VP的右方侧设为+X侧,将虚拟视点VP的前方侧设为+Y侧,将虚拟视点VP的垂直上侧设为+Z侧。因此,虚拟视点VP的左方侧设为-X侧,虚拟视点VP的后方侧为-Y侧,铅垂下侧为-Z侧。

图11是从铅垂上方(+Z侧)观察车辆2的图,表示出基准虚拟视点VPal的基准位置VLl移动的路径。基准位置VLl以移动中心点RCl为中心来移动移动路径OBlv。视点位置VL的移动以将移动中心点RCl的位置作为原点的对于虚拟视点VP相对固定的直角坐标系VPcc为基准。成为基准位置VLl的移动的基准的坐标轴是移动中心点RCl的位置处的直角坐标系VPcc的X轴(AXlv)。

图12是从水平方向左侧(-X侧)观察车辆2的图,与图11相同,表示出基准虚拟视点VPal的基准位置VLl移动的路径。基准位置VLl,以移动中心点RCl为中心来移动移动路径OBlv。基准位置VLl的移动的基准的坐标轴是移动中心点RC的位置处的直角坐标系cc的X轴。

在图11以及图12中,无论基准位置VLl位于移动路径OBlv的何处,基准方向VDl都从基准位置VLl朝向移动中心点RCl的方向。因此,若基准位置VLl在移动路径OBlv上移动,则观察显示器的用户能够看到图像在上下方向上移动。

此外,移动路径OBlv设定在比车辆2的接地面GR更上侧。因此,基准位置VLl会在以虚线表示的移动路径OBlv上移动,而不会在以实线所示的移动路径OBlx上移动。由此,能够防止来自从接地面下观察车辆2这样的通常不可能的视点位置的图像显示。用户能够毫无不适地移动视点位置。

此外,在用户对触摸面板83a进行了从上方向下方(垂直方向)的滑动操作时,基准位置VLl在移动路径OBlv上绕顺时针移动。另一方面,在用户对触摸面板83a进行了从下方向上方(垂直方向)的滑动操作时,基准位置VLl在移动路径OBlv上绕逆时针移动。由此,用户的滑动操作的方向与图像的移动的方向一致,用户能够直观地进行触摸面板操作。

<1-5.合成图像的显示例>

接着,针对显示器83所显示的合成图像CP的示例,参照图13至图24来进行说明。

图13是在显示器83显示合成图像CPt1的示例。合成图像CPt1是:对虚拟视点VP设定基准虚拟视点VPat,从基准虚拟视点VPat观察车辆2的图像。合成图像CPt1除了表示车辆2的周围的周边图像,还显示车体图像10。在用户触摸操作了表示车辆2的周围的触摸面板按钮TB13时以及在合成图像CP的初始显示时,显示合成图像CPt1。用户能够通过参照合成图像CPt1来一览地确认车辆2周围的状况。

图14是在显示器显示合成图像CPt2的示例。合成图像CPt2是:在显示合成图像CPt1(图13)之后,在图9的OBlh上绕顺时针移动来设定基准虚拟视点VPat,从所设定的基准虚拟视点VPat观察车辆2的图像。合成图像CPt2除了表示从用户观察显示器83而向左方旋转显示车辆2的周围的周边图像,还显示车体图像10。合成图像CPt2在显示合成图像CPt1(图13)的状态下,对触摸面板83a,进行从左方向右方(水平方向)滑动操作FH时显示。用户能通过参照合成图像CPt2,能够从与合成图像CPt1不同的角度确认车辆2周围的状况。

图15是在显示器83显示合成图像CPt3的示例。合成图像CPt3是:在显示合成图像CPt1(图13)之后,在图12的OBlh上绕逆时针移动来设定基准虚拟视点VPat,并从所设定的基准虚拟视点VPat观察车辆2的图像。合成图像CPt3显示为包含车辆2的前端正下方。在显示了合成图像CPt1(图13)的状态下对触摸面板83a从上方向下方(垂直方向)进行了滑动操作FV时,显示合成图像CPt3。用户通过参照合成图像CPt3,能够确认包括车辆2的前端正下方在内的车辆2周围的状况。

图16是在显示器83显示合成图像CPf1的示例。合成图像CPf1是:对虚拟视点VP设定基准虚拟视点VPaf,从基准虚拟视点VPaf观察车辆2的图像。合成图像CPf1除了表示车辆2的前方的周边图像,还显示车体图像10。在用户触碰操作了表示车辆2的前方的触摸面板按钮TB16时,显示合成图像CPf1。用户通过参照合成图像CPf1,能够确认车辆2的前方的状况。

图17是在显示器83显示合成图像CPf2的示例。合成图像CPf2是:在显示合成图像CPf1(图16)之后,在图9的OBlh上绕顺时针移动来设定基准虚拟视点VPaf,并从所设定的基准虚拟视点VPaf观察车辆2的图像。合成图像CPf2除了表示从用户观察显示器83而向左方旋转地显示的车辆2的周围的周边图像,还显示车体图像10。在显示了合成图像CPf1(图16)的状态下对触摸面板83a从左方向右方(水平方向)进行了滑动操作FH时,显示合成图像CPf2。用户通过参照合成图像CPf2,能够从与合成图像CPf1不同的角度来确认车辆2前方的状况。

图18是在显示器83显示合成图像CPf3的示例。合成图像CPf3是:在显示合成图像CPf1(图16)之后,在图12的OBlh上绕逆时针移动来设定基准虚拟视点VPaf,从所设定的基准虚拟视点VPaf观察车辆2的图像。合成图像CPf3比合成图像CPf1更详细地显示车辆2的前方区域。在显示了合成图像CPf1(图16)的状态下对触摸面板83a从上方向下方(垂直方向)进行了滑动操作FV时,显示合成图像CPt3。用户通过参照合成图像CPt3,能够详细确认车辆2前方的状况。

图19是在显示器83显示合成图像CPb1的示例。合成图像CPb1是:对虚拟视点VP设定基准虚拟视点VPab,从基准虚拟视点VPab观察车辆2的图像。合成图像CPb1除了表示车辆2的后方的周边图像,还显示车体图像10。在用户触摸操作了表示车辆2的后方的触摸面板按钮TB19时,显示合成图像CPb1。用户通过参照合成图像CPb1,能够确认车辆2后方的状况。

图20是在显示器83显示合成图像CPb2的示例。合成图像CPb2是:在显示合成图像CPb1(图19)之后,在图9的OBlh上绕顺时针移动来设定基准虚拟视点VPab,从所设定的基准虚拟视点VPab观察车辆2的图像。合成图像CPb2除了表示从用户观察显示器83而向左方移动地显示的车辆2的后方的周边图像,还显示车体图像10。在显示了合成图像CPb1(图19)的状态下对触摸面板83a从左方向右方(水平方向)进行了滑动操作FH时,显示合成图像CPb2。用户通过参照合成图像CPb2,能够从与合成图像CPb1不同的角度来确认车辆2后方的状况。

图21是在显示器83显示合成图像CPb3的示例。合成图像CPb3是:在显示合成图像CPb1(图19)之后,在图12的OBlh上绕逆时针移动来设定基准虚拟视点VPab,从所设定的基准虚拟视点VPab观察车辆2的图像。合成图像CPb3比合成图像CPb1更详细地显示车辆2的后方区域。在显示了合成图像CPb1(图16)的状态下对触摸面板83a从上方向下方(垂直方向)进行了滑动操作FV时,显示合成图像CPb3。用户通过参照合成图像CPb3,能够详细地确认车辆2的后方的状况。

图22是在显示器83显示合成图像CP11的示例。合成图像CP11是:对虚拟视点VP设定基准虚拟视点VPal,从基准虚拟视点VPal观察车辆2的图像。合成图像CP11除了表示车辆2的左方的周边图像,还显示车体图像10。在用户触摸操作了表示车辆2的左方的触摸面板按钮TB22时,显示合成图像CP11。用户通过参照合成图像CP11,能够确认车辆2左方的状况。

图23是在显示器83显示合成图像CP12的示例。合成图像CP12是:在显示合成图像CP11(图22)之后,在图9的OBlh上绕顺时针移动来设定基准虚拟视点VPal,从所设定的基准虚拟视点VPal观察车辆2的图像。合成图像CP12除了表示从用户观察显示器83而向左方移动地显示的车辆2的左方的周边图像,还显示车体图像10。在显示了合成图像CP11(图22)的状态下对触摸面板83a从左方向右方(水平方向)进行了滑动操作FH时,显示合成图像CP12。用户通过参照合成图像CP12,能够从与合成图像CP11不同的角度来确认车辆2左方的状况。

图24是在显示器83显示合成图像CP13的示例。合成图像CP13是:在显示合成图像CP11(图22)之后,在图12的OBlh上绕逆时针移动来设定基准虚拟视点VPal,并从所设定的基准虚拟视点VPal观察车辆2的图像。合成图像CP13比合成图像CP11更详细地显示表示车辆2的左方区域。合成图像CP13在显示合成图像CP11(图22)的状态下,对触摸面板83a,从上方向下方(垂直方向)进行滑动操作FV时所显示。用户能够通过参照合成图像CPl3,详细地确认车辆2的左方的状况。

针对表示车辆2的右方的合成图像CP,只要相对于图22至图24所说明的表示车辆2的左方的情况,左右对称地进行操作以及控制即可。用户通过参照表示车辆2的右方的合成图像CP,能够确认车辆2的右方的状况。

<1-6.处理>

接着,参照图25以及图26来说明在图像显示系统1中所执行的处理的步骤。图25表示由图像获取装置3、安全装置5、以及便携终端8执行的处理的步骤。图26表示由报警器6以及便携终端8执行的处理的步骤。本处理以规定周期反复执行。

首先,安全装置5判断监视传感器5a是否进行了动作(图25的步骤S101)。

安全装置5,若判断为监视传感器5a进行了动作(步骤S101,“是”),则对邮件通知部5b进行控制,并向用户的便携终端8发送将监视传感器5a进行了动作之意即在车辆2中发生与被盗相关的事前现象之意作为内容的电子邮件(步骤S102)。此外,作为监视传感器5a动作时的示例,可列举出:监视传感器5a检测出车辆2产生振动或倾斜的情况、检测出玻璃破裂的情况、检测出进入车辆2内的侵入者的情况等。

安全装置5,在判断为监视传感器5a未进行动作时(步骤S101,“否”)、以及邮件通知部5b发送了电子邮件时,由安全装置5进行的处理结束。安全装置5在经过规定时间后再次开始处理。

若便携终端8的通信部82接收到从邮件通知部5b发送来的电子邮件,则显示控制部81c在显示器83中显示电子邮件的内容(步骤S201)。用户确认在显示器中所显示的电子邮件的内容,判断是否显示车辆2的周边图像。在用户希望显示车辆2的周边图像时,只要对触摸面板83a的规定位置进行触摸操作即可。

操作检测部81d判断用户是否对触摸面板83a中的应显示周边图像的规定位置进行了触摸操作(步骤S202)。

若操作检测部81d判断为用户对触摸面板83a中的应显示周边图像的规定位置进行了触摸操作,而希望显示图像(步骤S202,“是”),则通知部81e向图像获取装置3发送请求发送图像的信号(步骤S203)。

在操作检测部81d判断为用户对触摸面板83a中的表示不显示周边图像的规定位置进行了触摸操作时,即若操作检测部81d判断为不希望显示图像(步骤S202,“否”),则处理结束。这是因为用户不希望显示图像,不需要继续处理。

若图像获取装置3的请求接收部31a从便携终端8接收到请求发送图像的信号,则摄像头控制部31b对摄像头4(4F、4B、4L、4R)进行控制,开始拍摄(步骤S301)。

若图像获取部31c接收到与由摄像头4(4F、4B、4L、4R)拍摄的图像对应的图像数据,则图像发送部31d经由通信部32,向便携终端8发送图像数据(步骤S302)。

若便携终端8的图像获取部81a接收到从图像获取装置3发送来的图像数据,则图像生成部81b设定用于生成周边图像的虚拟视点的位置以及方向(步骤S204)。图像生成部81b,在最初生成周边图像时,将虚拟视点的位置设定为车辆2的正上方,并且将虚拟视场的方向设定为向下(顶视图)。该虚拟视点是用户从车辆2的正上方的位置观察下方的视点。这种视点,优选应最初向用户显示的虚拟视点的位置以及方向。这是因为显示车辆的整个周围,能够向用户传递遍及较广范围的状况。

图像生成部81b若设定虚拟视点,则通过上述方法生成周边图像。然后,图像生成部81b从存储部84读取车体图像数据84a,并生成在所生成的周边图像中合成了车体图像的合成图像(步骤S205)。

若图像生成部81b生成合成图像,则显示控制部81c在显示器83中显示合成图像(步骤S206)。由此,用户能够确认车辆2周边的情况。

若显示控制部81c在显示器83中显示了合成图像,则操作检测部81d判断用户是否对显示器83进行了滑动操作(步骤S207)。

若操作检测部81d判断为由用户进行了滑动操作(步骤S207,“是”),则图像生成部81b再次设定虚拟视点(步骤S204)。

在用户对显示器83进行了左右方向(水平方向)的滑动操作时,图像生成部81b,如前所述那样以世界坐标系的铅垂方向轴为基准使虚拟视点旋转来设定虚拟视点的位置。

当滑动操作是对显示器83从右侧到左侧的操作时,图像生成部81b旋转虚拟视点的位置,以使从上观察世界坐标系的铅垂方向轴呈虚拟视点绕逆时针转。此外,当滑动操作是对显示器83是从左侧到右侧的操作时,旋转虚拟视点的位置,以使从上观察世界坐标系的铅直方向轴呈绕逆时针转。

在用户对显示器83进行上下方向(垂直方向)的滑动操作时,图像生成部81b如前所述那样以视点坐标系的水平方向轴为基准,使虚拟视点旋转来设定虚拟视点的位置。

当滑动操作是对显示器83从上侧到下侧的操作时,图像生成部81b使虚拟视点的位置旋转,以使从视点右侧观察视点坐标系的水平方向轴呈虚拟视点绕逆时针转。此外,当滑动操作是对显示器83从下侧到上侧的操作时,使虚拟视点的位置旋转,以使从视点的右侧观察视点坐标系的水平方向轴呈绕顺时针转。

通过使这种虚拟视点的位置旋转的方法,用户通过滑动操作,使想移动视点的方向与所显示的图像进行移动的方向一致,用户通过对触摸面板83a的操作,能够直观地移动图像。

若操作检测部81d判断为用户未进行滑动操作(步骤S207,“否”),则判断是否进行了将虚拟视点变更为基准视点的操作(步骤S208)。操作检测部81d是通过用户是否对表示基准视点的任一个触摸面板按钮进行了触摸操作来判断的。

若操作检测部81d判断为进行了将虚拟视点变更为基准视点的操作(步骤S208,“是”),则图像生成部81b由用户通过触摸操作对所希望的基准视点设定虚拟视点的位置以及方向(步骤S204)。例如,在用户希望表示车辆2左侧区域的基准视点时,图像生成部81b设定如图9以及图10所示那样的虚拟视点的位置以及方向。此外,基准视点是车辆正上方、车辆2左侧、车辆2右侧、车辆2前侧、以及车辆2后侧的5个视点。在车辆的特定位置所设定的特定点即移动中心点RC的位置,设定在与用户所希望的基准视点对应的位置。

另一方面,操作检测部81d若判断为未进行将虚拟视点变更为基准视点的操作(步骤S208,“否”),则判断用户是否想要使车辆2具有的报警器6动作(步骤S209)。操作检测部81d是通过用户是否对表示使触摸面板83a中的报警器动作的规定位置进行了触摸操作来判断的。

若操作检测部81d判断为用户想要使报警器6动作(步骤S209,“是”),则通知部81e向图像获取装置3发送请求使报警器6动作的信号(步骤S210)。

若通知部81e发送请求使报警器6动作的信号,则图像获取装置3的被盗防止部31e使报警器6进行报警(步骤S401)。此外,由报警器6进行的报警,经过规定时间后结束。相应的规定时间只要是对可疑的人给予警告所需的足够的时间即可。例如,是5秒。也可以由用户进行结束报警的操作。

当操作检测部81d判断为用户未使报警器6动作时(步骤S209,“否”),以及被盗防止部31e使报警器6进行报警时(步骤S210),操作检测部81d判断用户是否想要结束图像显示(步骤S211)。

若操作检测部81d判断为用户想要结束图像显示(步骤S211,“是”),则通知部81e向图像获取装置3发送请求结束拍摄的信号(步骤S212)。若通知部81e向图像获取装置3发送请求结束拍摄的信号,则基于便携终端8的处理结束。

若操作检测部81d判断为用户未想要结束图像显示(步骤S211,“否”),则显示控制部81c继续图像的生成以及显示,便携终端8再次执行步骤S205以下的处理。

在步骤S302中,若图像发送部31d发送图像数据,则请求接收部31a判断是否从便携终端8发送请求结束拍摄的结束请求信号(步骤S303)。图像获取装置3,直至接收到该结束请求信号为止,向便携终端8反复发送在摄像头4(4F、4B、4L、4R)中最近得到的图像数据。由此,便携终端8的图像生成部81b能够根据最近得到的图像数据,生成大致实时表示车辆2周边的情况的周边图像。

若请求接收部31a判断为从便携终端8发送了请求结束拍摄的结束请求信号(步骤S303,“是”),则摄像头控制部31b对摄像头4(4F、4B、4L、4R)进行控制,并停止拍摄(步骤S304)。若摄像头控制部31b控制摄像头4(4F、4B、4L、4R),并停止拍摄,则基于图像获取装置3的处理结束。

如以上那样,在第1实施方式的图像显示系统1中,根据用户的操作来变更虚拟视点的位置,并显示合成图像。由此,能够从用户所希望的视点容易地显示被摄体。

<2.第2实施方式>

<2-1.概要>

接着,对第2实施方式进行说明。前述的第1实施方式,在视点位置VL为车辆2的正上方且视线方向VD向下(-Z侧)时(即,是顶视图时),用户的左右方向(水平方向)的滑动操作所对应的视点位置VL的移动是以直角坐标系cc的铅垂轴(Z轴)为基准的。由此,合成图像CP显示为向左右之一旋转。

然而,即便使合成图像CP旋转显示,也不会向用户提示新的周边区域。

因此,第2实施方式,在顶视图中,视点位置VL的移动是以直角坐标系cc的车辆2的前后的轴(Y轴)为基准的。由此,在顶视图中,若用户对触摸面板83a进行左右方向(水平方向)的滑动操作,则显示包括车辆2侧面在内的车辆2的左右的区域。因此,用户能够详细地确认车辆2的左右区域。

以下,主要针对与第1实施方式的不同点进行说明,而对于与第1实施方式相同或同样的结构以及动作,省略重复的说明。

<2-2.结构>

图27表示第2实施方式的图像显示系统1中的便携终端8的结构。与第1实施方式的主要的不同点在于,便携终端8的控制部81具有坐标轴变换部81f。

当虚拟视点为顶视图时,坐标轴变换部81f将移动视点位置VL的成为基准的坐标轴从直角坐标系cc的铅垂轴(Z轴)变换为车辆前后轴(Y轴)。

<2-3.虚拟视点的设定>

接着,在顶视图显示中,针对从用户观察显示器在左右方向(水平方向)移动视点位置VL的方法,参照图28以及图29来进行说明。在以下说明的视点位置VL的移动,在顶视图显示中是与由用户进行的对触摸面板的左右方向(水平方向)的滑动操作对应地进行的。

图28是从铅垂上方向(+Z侧)观察车辆2的图,表示出基准虚拟视点VPat的基准位置VLt移动的路径。基准位置VLt以移动中心点RCt为中心在移动路径OBth上进行移动。基准位置VLt的移动,将以移动中心点RCt的位置为原点的对于虚拟视点VP相对固定的直角坐标系cc为基准。成为基准位置VLt的移动的基准的坐标轴是移动中心点RCt的位置中的直角坐标系cc的Y轴(AXth),即沿着车辆2的前后方向的轴。

图29是从水平方向后侧(-Y侧)观察车辆2的图,与图28相同,表示出基准虚拟视点VPat的基准位置VLt移动的路径。基准位置VLt以移动中心点RCt为中心在移动路径OBth上移动。移动路径OBth若从水平方向后侧(-Y侧)观察,则呈圆形。成为基准位置VLt的移动的基准的坐标轴是移动中心点RCt的位置中的直角坐标系cc的Y轴。

在图28以及图29中,无论基准位置VLt位于移动路径OBth的何处,基准方向VDt都从基准位置VLt朝向移动中心点RCt的方向。因此,若基准位置VLt在移动路径OBth上移动,则观察显示器83的用户会看到图像在左右方向(水平方向)上移动。特别地,由于将成为基准位置VLt的移动的基准的坐标轴设为移动中心点RCt的位置中的直角坐标系cc的Y轴,因此,用户能够如同绕到车辆2的侧面般地参照车辆2周边的图像。

此外,移动路径OBth不会设定在比车辆2的接地面GR更下侧。因此,基准位置VLt会在以虚线表示的移动路径OBth上移动,而不会在以实线表示的移动路径OBtx上移动。

此外,当用户对触摸面板83a进行了从左方向右方(水平方向)的滑动操作时,基准位置VLt在移动路径OBth上绕逆时针移动。另一方面,当用户对触摸面板83a进行了从左方向右方(水平方向)的滑动操作时,基准位置VLt在移动路径OBth上绕顺时针移动。由此,由于用户的滑动操作的方向与图像的移动的方向一致,因此,用户能够直观地进行触摸面板操作。

<2-4.合成图像的显示例>

图30中的上方的图是在显示器83显示合成图像CPt1的示例。合成图像CPt1是:对虚拟视点VP设定基准虚拟视点VPat,从基准虚拟视点VPat观察车辆2的图像。即,合成图像CPt1是虚拟视点为顶视图时的合成图像。

图30中的下方的图是在显示器83显示合成图像CPt4的示例。合成图像CPt4是:在显示合成图像CPt1之后将使视点位置VL移动的坐标轴从直角坐标系cc的铅直轴(Z轴)变换为车辆前后轴(Y轴)时的图像。即是:在图29的OBth上绕逆时针移动来设定基准虚拟视点VPat,从所设定的基准虚拟视点VPat观察车辆2的图像。合成图像CPt4除了包含车辆2侧面在内的车辆2的周边图像,还显示车体图像10。因此,用户能够从顶视图详细地确认车辆2的左右区域。在显示合成图像CPt1的状态下对触摸面板83a从左方向右方(水平方向)进行了滑动操作FH时,显示合成图像CPt4。用户通过参照合成图像CPt4,能够详细地确认包含车辆2侧面在内的车辆2的左右的区域。

<2-5.处理>

接着,参照图31以及图32来说明在第2实施方式的图像显示系统1中所执行的处理的步骤。图31表示由图像获取装置3、安全装置5、以及便携终端8执行的处理的步骤。与图25所示的第1实施方式的处理步骤的不同点在于,具有步骤S209的处理。

首先,图像生成部81b设定用于生成周边图像的虚拟视点的位置以及虚拟视场的方向(步骤S204)。图像生成部81b在最初生成周边图像时,将虚拟视点的位置设定为车辆2的正上方,并且将虚拟视场的方向设定为向下(顶视图)。此外,坐标轴变换部81f将成为使视点位置VL移动的基准的轴设定为车辆前后轴(Y轴)。

若执行步骤S205、步骤S206、以及步骤S207,则操作检测部81d判断是否进行了将虚拟视点变更为基准视点的操作(步骤S208)。操作检测部81d是通过是否由用户触摸操作了表示基准视点的任一触摸面板按钮来进行判断的。

若操作检测部81d判断为进行了将虚拟视点变更为基准视点的操作(步骤S208,“是”),则图像生成部81b执行坐标轴的设定处理(步骤S209)。

图32表示坐标轴的设定处理(步骤S209)的细节。若处理转移到坐标轴的设定处理(步骤S209),则操作检测部81d判断是否将虚拟视点变更为顶视图的视点(步骤S401)。

若操作检测部81d判断为将虚拟视点变更为顶视图的视点(步骤S401,“是”),则坐标轴变换部81f将成为使视点位置VL移动的基准的坐标轴设定为车辆前后轴(Y轴)(步骤S402)。

若操作检测部81d判断为使虚拟视点变更为顶视图以外的视点(步骤S401,“否”),则坐标轴变换部81f将成为使视点位置VL移动的基准的坐标轴设定为铅垂轴(Z轴)(步骤S403)。

若执行步骤S402或步骤S403,则处理返回图31,再次执行步骤S204以下的处理。

如以上所说明,在第2实施方式的图像显示系统1中,在顶视图中,视点位置VL的移动将成为直角坐标系cc的车辆2的前后的轴(Y轴)作为基准。由此,在顶视图中,若用户对触摸面板83a进行了左右方向(水平方向)的滑动操作,则显示包含车辆2侧面在内的车辆2的左右的区域。因此,用户能够详细地确认车辆2的左右区域。

<3.变形例>

本发明不限定于上述的实施方式例,能够有各种变形。以下,说明这样的变形例。此外,上述实施方式例以及以下的变形例能够适当组合。

在上述的各实施方式中,图像获取装置3在从用户接收到图像发送的请求时,开始拍摄。然而,图像获取装置3在从用户接收到图像发送的请求之前,即,在监视传感器5a动作时,也可以开始拍摄。此时,用户能够从监视传感器5a进行动作那样的车辆2发生异常时,就参照车辆2周边的情况。

图33表示图像获取装置3在监视传感器5a动作时开始拍摄的图像显示系统1a的概要。若监视传感器5a检测出车辆2的异常,则安全装置5向图像获取装置3发送请求开始拍摄的信号。图像获取装置3若接收到相应的信号,则使摄像头4动作并开始拍摄。即,图像获取装置3不等待来自用户的图像发送的请求,在车辆2的异常发生时就开始拍摄。图像获取装置3若开始拍摄,则向在外部所设置的服务器SV发送图像数据。由此,图像数据从车辆2的异常发生时就保存在服务器SV中。因此,用户若从安全装置5接收到通知车辆2的异常发生的邮件,则对服务器SV进行图像发送的请求。若服务器SV接收到图像发送的请求,则向用户所持有的便携终端8发送来自车辆2的异常发生时的图像数据。由此,用户能够从监视传感器5a的动作时,即从车辆2的异常发生时,就参照车辆2周边的情况。此外,若将服务器SV作为发送/接收图像数据的专用服务器,则不会有图像数据被他人监听的危险,能够提高图像数据的隐秘性。此外,用户在想要确认当前的车辆2周边的情况时,能够对服务器SV请求当前的图像数据的发送。此时,服务器SV省略从异常发生时起至当前为止的图像数据的发送,而发送当前的图像数据。

对其它的变形例进行说明。在上述的各实施方式中,图像获取装置3、摄像头4、安全装置5、以及报警器6搭载于车辆2。然而,这些装置也可以设置在住宅或建筑等应监视的土地或房屋、物品中。

在上述的各实施方式中,通过触摸面板,用户进行输入操作。然而,只要能够判别基于用户的输入操作,则用户也可以通过十字键等按压按钮式的开关来进行输入操作。

在上述各实施方式中,图像获取装置3与便携终端8是分立的装置。然而,也可以将图像获取装置3与便携终端8构成为呈一体的装置。

在上述各实施方式中,图像显示系统1中的各功能是作为遵循程序的软件来实现的。然而,图像显示系统1中的各功能也可以是作为电气的硬件电路来实现的。

作为构成本申请记载的一部分,援用了2013年10月11日提出的日本国专利申请2013-214014的内容。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号