首页> 中国专利> 信息接收装置、信息传输系统以及信息接收方法

信息接收装置、信息传输系统以及信息接收方法

摘要

本发明,通过取得亮度调制的检测所必需的区域,来实现信息复原处理的高速化。另外,简化亮度调制区域的位置调整。信息接收装置(22),具有:摄影机构(34、57);接收亮度调制过的任意信息的受光机构(35、61);指定上述摄影机构的拍摄视角中所包含的亮度调制区域的指定机构(31、53);控制上述受光机构,使其对由该指定机构所指定的亮度调制区域进行受光,并从该区域中所包含的亮度调制内容中复原任意的信息的复原机构(50、53);以及,再生由该复原机构所复原的任意信息的再生机构(47)。

著录项

  • 公开/公告号CN1842976A

    专利类型发明专利

  • 公开/公告日2006-10-04

    原文格式PDF

  • 申请/专利权人 卡西欧计算机株式会社;

    申请/专利号CN200580001018.2

  • 发明设计人 饭塚富男;永友正一;

    申请日2005-05-30

  • 分类号H04B10/10;H04B10/105;H04B10/22;H04M1/21;H04N5/225;H04N5/232;

  • 代理机构中科专利商标代理有限责任公司;

  • 代理人汪惠民

  • 地址 日本国东京都

  • 入库时间 2023-12-17 17:42:34

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2020-05-22

    未缴年费专利权终止 IPC(主分类):H04N5/232 授权公告日:20091028 终止日期:20190530 申请日:20050530

    专利权的终止

  • 2009-10-28

    授权

    授权

  • 2007-07-11

    发明专利申请公布说明书更正更正 卷:22 号:40 页码:扉页 更正项目:发明人 误:饭塚富男 正:饭塚宣男 申请日:20050530

    发明专利申请公布说明书更正

  • 2007-07-11

    发明专利公报更正更正 卷:22 号:40 更正项目:发明人 误:饭塚富男 正:饭塚宣男 申请日:20050530

    发明专利公报更正

  • 2006-12-06

    实质审查的生效

    实质审查的生效

  • 2006-10-04

    公开

    公开

查看全部

说明书

技术领域

本发明涉及一种信息接收装置、信息传输系统以及信息接收方法,能够用于例如建筑物等地标显示、广告显示、游乐园等的游乐设施向导以及拥挤状况显示、店内的商品说明、博物馆以及展览会中的展示品说明等各种用途。

背景技术

以往,建筑物等地标显示、广告显示、游乐园等的游乐设施向导以及拥挤状况显示、店铺内的商品说明、博物馆以及展览会中的展示品说明,用写在纸、条幅、招牌或展板等“信息提示物”上的文字或图形等“视觉信息”来完成。

但是,在信息提示物的数量较多的环境下,在希望寻找特定的信息提示物时,产生了所期望的信息提示物因周围的信息提示物而变得不明显的问题。例如,在店铺中商品A与商品B被相邻展示的情况下,有可能会将商品A的商品说明误认为是商品B的商品说明。

因此,现有技术1(参照特开2003-179556号公报/第7页~第8页,图7~图10)中,提供了一种信息接收装置,其通过利用基于光空间传输的信息传输,来明确信息提示对象物与其提示信息之间的对应关系,从而消除信息掌握的误判,并且还考虑到了信息的保全性。

详细来说,该现有技术1,用电子静态相机对安装在陈列架上排列的商品的附近的光标签装置进行时序拍摄并保存,根据该存储图像中所存在的光标签装置的时序的亮度的变化,识别出是亮度调制过的信息,从该亮度调制过的信息中抽出关于该商品的信息,将该抽出信息重叠显示到上述拍摄图形上。但是,该现有技术1中,例如在附近存在以与闪烁的光标签装置的亮度变化样式相同的样式进行亮度变化的光源(例如,荧光灯的闪烁等干扰光)的情况下,存在光标签装置的信息抽出无法正确进行这一技术课题。

鉴于这样的问题点,现有技术2(参照特开2003-179556号公报/第7页~第8页,第7图~第10图)中,提供了一种能够避免干扰光带来的不良影响,总能够正确进行信息的抽出的信息接收装置、信息传输系统以及信息传输方法。

详细的说,该现有技术2,通过使用具有CCD等图像传感器的受光单元,检测出来自存在于该图像传感器的拍摄视角内的发光单元(相当于现有技术1中的光标签装置)的亮度变化,将该亮度变化的变化程度作为调制信息来二值化为位组合序列,同时,判断二值化之后的位组合序列是否与预先所准备的互不相关的位组合序列中的任一个相一致,根据该判断结果产生二值逻辑信号(1/0),来再生来自发光单元的发送信息,并通过让该发光单元的发光样式独一无二,来减少干扰光的影响。

但是,现有技术2中,虽然能够避免干扰光带来的不良影响,但存在图像的处理中产生浪费这一问题。

即,即使现有技术2中,从图像传感器的拍摄视角内的图像中进行“部分读出”,将该读出区域逐个周期错开,执行上述二值化处理以及二值化处理后的位组合序列的逻辑处理等,这些处理以图像传感器所输出的图像帧的所有像素为对象这一情况也没有改变,换言之,无非是对图像传感器的拍摄视角内的图像的全部区域进行点光源的检测与捕捉。因此,如下所述,无法避免无用的处理。

假设图像传感器的拍摄视角内的所有像素(所有点)为1280×960点,另外,假设该图像传感器能够读出320×240点的部分,则上述现有技术2中,将1280×960点的图像4×4分割,并对得到的各个区域,逐个进行上述二值化处理以及二值化处理后的位组合序列的逻辑处理等。由于这种情况下,一次的处理,是以1区域部分的320×240点的像素为对象进行的,因此如果只着眼于1次的处理,则处理负担确实减少了。但是,在发光单元的点光源,特别是位于远方的点光源的辨认尺寸相当小且多的情况下,由于是能够充分收置在1个分割区域内的程度,因此,这种情况下,对没有包含点光源的其他分割区域的处理是无用的。

发明内容

因此,本发明的目的在于,通过取得拍摄视角中、亮度调制的检测所必需的区域,来实现信息复原处理的高速化。另外,其目的还在于,简化亮度调制区域的位置调整。

本发明的第1发明,是一种信息接收装置,具有:摄影机构;受光机构,接收亮度调制过的任意信息;指定机构,其对上述摄影机构的拍摄视角中所包含的亮度调制区域进行指定;复原机构,其控制上述受光机构使其接收由该指定机构所指定的亮度调制区域,并根据该区域中所包含的亮度调制内容复原任意的信息;以及,再生机构,其再生由该复原机构所复原的任意信息。

本发明的第2发明,是本发明的第1发明中的信息接收装置,其特征在于:还具有:显示机构,将指标与由上述拍摄机构得到的拍摄内容一同显示;以及,移动机构,任意移动显示在该显示机构中的指标;上述指定机构,通过用该移动机构移动上述指标,来指定上述亮度调制区域。

本发明的第3发明,是本发明的第1~3的任一项发明中的信息接收装置,其特征在于,还具有:受光指示机构,其指示接收由上述指定机构所指定的亮度调制区域;以及,控制机构,其在被该受光指示机构指示接收后,控制上述受光机构使光轴对准该亮度调制区域。

本发明的第4发明,是本发明的第1~3的任一项发明中的信息接收装置,其特征在于:上述受光机构包括:受光器件;以及,光学系统,对往该受光器件的入射光进行汇聚。

本发明的第5发明,是本发明的第1~3的任一项发明中的信息接收装置,其特征在于:上述受光机构包括:二维的图像传感器;以及,光学系统,对往该图像传感器的入射光进行汇聚。

本发明的第6发明,是本发明的第1~3的任一项发明中的信息接收装置,其特征在于,还具有:关联机构,其将上述摄影机构所拍摄的图像数据、与上述复原机构所复原的任意信息关联起来;以及,存储机构,其对该所关联的图像数据与上述任意的信息进行存储。

本发明的第7发明,是本发明的第6发明中的信息接收装置,其特征在于:还具有第1判断机构,对由上述受光机构实施的亮度调制区域的接收是否结束进行判断;上述关联机构,在该第1判断机构判断上述亮度调制区域的接收完成时,将上述拍摄机构所拍摄的图像数据、与上述复原机构所复原的基于该亮度调制区域的任意信息关联起来。

本发明的第8发明,是本发明的第6或7发明中的信息接收装置,其特征在于,还具有:通知机构,其在上述第1判断机构判断出亮度调制区域的接收结束后,通知表示该含义的消息;第2判断机构,其在该通知机构作出通知后,判断是否被指示重新接收上述亮度调制区域;以及,受光控制机构,其在该第2判断机构判断出被指示重新接收之后,在保持上述摄影机构所拍摄的图像数据的状态下,开始由上述受光机构实施的上述亮度调制区域的接收。

本发明的第9发明,是本发明的第6或7发明中的信息接收装置,其特征在于:上述亮度调制,是指特定波长光的点亮与熄灭的重复,还具有摄影控制机构,其控制上述摄影机构,使其拍摄上述特定波长光的熄灭时刻的拍摄视角。

本发明的第10发明,是本发明的第1~9的任一项发明中的信息接收装置,其特征在于:还具有:变换机构,将通过上述受光机构所接收到的亮度调制区域的调制内容,变换成至少彼此相关度较低的两种位组合序列;以及,逻辑信号输出机构,对应于由该变换机构变换得到的彼此相关度较低的两种位组合序列,输出逻辑信号,上述复原机构,根据该逻辑信号输出机构的输出结果,来复原上述任意的信息。

本发明的第11发明,是一种信息传输系统,具有信息输出装置和信息接收装置,其中信息输出装置,包括:选择机构,其对构成任意信息的位列进行逻辑判断,根据该判断结果从预先准备的彼此相关度较低的两种位组合序列中选择任意一个;调制机构,其根据该选择机构的选择结果,对上述任意的信息进行亮度调制;以及,输出机构,其输出由该调制机构亮度调制过的任意的信息,信息接收装置,包括:摄影机构;受光机构,接收亮度调制过的任意的信息;指定机构,其指定该摄影机构的拍摄视角中所包含的亮度调制区域;受光控制机构,其控制上述受光机构,使其接收由该指定机构所指定的亮度调制区域;变换机构,其将由该受光控制机构所接收到的亮度调制区域的调制内容,变换成至少彼此相关度较低的两种位组合序列;逻辑信号输出机构,其对应于由该变换机构变换得到的彼此相关度较低的两种位组合序列,输出逻辑信号;复原机构,其根据该逻辑信号输出机构的输出结果,复原上述任意的信息;以及,再生机构,其再生由该复原机构所复原的任意的信息。

本发明的第12发明,是一种信息接收方法,包括:指定步骤,其指定由摄影部所拍摄的拍摄视角中所包含的亮度调制区域;受光控制步骤,其控制受光部,使其接收由该指定步骤所指定的亮度调制区域;变换步骤,其将由该受光控制步骤所接收到的亮度调制区域的调制内容,变换成至少彼此相关度较低的两种位组合序列;逻辑信号输出步骤,其对应由该变换步骤变换得到的彼此相关度较低的两种位组合序列,输出逻辑信号;复原步骤,其根据该逻辑信号输出步骤的输出结果,复原基于上述亮度调制区域的调制内容的任意的信息;以及,再生步骤,其再生由该复原步骤所复原的任意的信息。

通过本发明,指定机构指定摄影机构的拍摄视角中所包含的亮度调制区域,复原机构控制受光机构,使其接收由该指定机构所指定的亮度调制区域,来从该区域中所包含的亮度调制内容复原任意的信息,同时,再生机构再生由该复原机构所复原的任意的信息。

因此,能够将实际的处理,限定在“摄影机构的拍摄视角中包含的亮度调制区域”来进行,并能够实现上述目的,也即通过取得亮度调制的检测所必需的区域,来实现信息复原处理的高速化。

另外,还可以具有将指标与上述拍摄机构的拍摄内容一同显示的显示机构、以及任意移动显示在该显示机构中的指标的移动机构,上述指定机构,可通过由该移动机构移动上述指标,来指定上述亮度调制区域。通过这样,能够通过指标来明示“亮度调制的检测所必需的区域”,并且能够通过移动机构来进行微妙的区域的对准。

另外,还可以具有指示接收由上述指定机构所指定的亮度调制区域的受光指示机构、以及在该受光指示机构指示接收后控制上述受光机构使光轴与该亮度调制区域对准的控制机构。通过这样,能够让区域的对准更加简单。

另外,上述受光机构可以包括受光器件、以及汇聚往该受光器件的入射光的光学系统,或者,上述受光机构包括二维图像传感器、以及汇聚往该图像传感器的入射光的光学系统。总之,只要是接收“摄影机构的拍摄视角中所包含的亮度调制区域”的光的任意视角的受光机构即可。但是,对于能够去掉手抖机构这一点而言,后者即包括二维图像传感器的方式较为理想。这是由于,只要亮度调制光的成像位置进入到二维图像传感器的受光面内,即使多少有些位置偏差,也能够通过图像处理来修正,并且不需要基于执行机构等的机械的手抖机构。

另外,还可以具有将上述摄影机构所拍摄的图像数据、与上述复原机构所复原的任意信息关联起来的关联机构,以及存储该所关联的图像数据与上述任意的信息的存储机构。通过这样,能够用于各种使用形式,例如图像的印刷次数管理或著作权管理等。

另外,还可以具有对上述受光机构的亮度调制区域的接收是否结束进行判断的第1判断机构;上述关联机构,在该第1判断机构判断上述亮度调制区域的接收完成后,将上述拍摄机构所拍摄的图像数据、与上述复原机构所复原的基于该亮度调制区域的任意信息关联起来。

或者,还可以具有:在上述第1判断机构判断亮度调制区域的接收结束后,通知表示该含义的消息的通知机构;在该通知机构作出通知后,判断是否指示上述亮度调制区域的再接收的第2判断机构;以及,在该第2判断机构判断出指示了再接收之后,在保持上述摄影机构所拍摄的图像数据的状态下,开始由上述受光机构实施的上述亮度调制区域的接收的受光控制机构。

通过这样,图像的取得与信息的再生能够分时进行,从而能够实现处理的高效化。另外,这样一来,在信息的取得失败时,能够不进行图像的取得,而只进行信息的再取得,从而能够避免无效的图像取得,实现了效率的提高。

附图说明

图1为第1实施方式中的信息传输系统的利用状态图。

图2为对应第1实施方式中的信息传输系统的带照相机的移动电话机22的主视图以及后视图。

图3为说明用户对带照相机的移动电话机22的操作与该带照相机的移动电话机22的内部动作之间的关系的顺序图。

图4为说明显示部27的显示例的图以及让瞄准框40重叠在光标签装置18上时的显示部27的显示例的图。

图5为说明从光标签装置18的信息取得失败时的显示部27的显示例的图,以及从光标签装置18的信息取得成功时的显示部27的显示例的图。

图6为说明下载了优惠券的图像文件时的显示部27的显示例的图以及说明优惠券的图像的图。

图7为说明第1实施方式中的带照相机的移动电话机22的内部方框结构图。

图8为第1实施方式中的带照相机的移动电话机22中的手抖修正的示意图。

图9为第1实施方式中的带照相机的移动电话机22中的手抖修正的示意图。

图10为说明照相机系统的光学系统的视角(例如32度×32度)的图。

图11为说明光电探测器系统的光学系统的视角(例如2度×2度)的图。

图12为光标签装置18的内部方框结构图。

图13为说明前灯77与反射型液晶快门78的图。

图14为说明光标签的亮度计算结果的曲线图。

图15为光电探测器61的检测示意图。

图16为数据形式的格式结构图。

图17为说明命令码部87的存储代码与该代码的含义的图。

图18为说明数据之一例的图。

图19为光标签装置18的处理图。

图20为样式扩散方式的说明图。

图21为带照相机的移动电话机22的光电探测部56的示意结构图。

图22为输入了目的样式信号,而相位尚不一致的时刻(4符号位部分=16样本部分偏移)下的状态图。

图23为检测相位一致时的状态图。

图24为说明到CPU根据FIFO判断0/1的位,并保存到解码位缓存50中为止的处理的流程图。

图25为第2实施方式中的带照相机的移动电话机22’的内部方框结构图。

图26为说明第2实施方式的带照相机的移动电话机220中的通信用图像传感器57的拍摄视角(26度×39度左右的广视角)的图。

图27为说明第2实施方式的带照相机的移动电话机220中的通信用图像传感器610的检测视角(6度×6度左右的窄视角)的图。

图28为说明光标签装置18的照明部分的面积(10cm×10cm)在各个距离下的外观的点尺寸的图。

图29为第2实施方式中的去掉手抖机构的示意图。

图30为可捕捉样式的运动的对应界限示意图。

图31为说明应用于第2实施方式的带照相机的移动电话机220的优选控制程序(摄影模式程序)的流程的图(1/3)。

图32为说明应用于第2实施方式的带照相机的移动电话机220的优选控制程序(摄影模式程序)的流程的图(2/3)。

图33为说明应用于第2实施方式的带照相机的移动电话机220的优选控制程序(摄影模式程序)的流程的图(3/3)。

具体实施方式

下面对照附图对本发明的实施方式进行说明。另外,以下的说明中的各种细节的特定乃至实例以及数值、文字列等其他记号的例示,只是为了明确本发明的思想而提供的参考,不能够通过其全部或一部分来对本发明的思想进行限定。另外,为了使说明更加简洁,而回避了对公知的方法、公知的顺序、公知的构造以及公知的电路结构等(以下称作“公知事项”)的细节的说明,但并不是刻意排除这些公知事项的全部或一部分。由于相关公知事项在本发明的申请时已经被本领域技术人员所得知,因此当然包括在以下的说明中。

<第1实施方式>

图1为第1实施方式中的信息传输系统的利用状态图。首先,对(a)进行说明,在大楼等建筑物14的屋顶上设置有广告显示牌15。该广告显示牌15如(b)中的主视图,(c)中的侧视图所示,具有:较大地绘制有任意说明文字列(图中为“X商场特卖中!”,“通过该招牌的光标签信息,能够取得可在来店时使用的电子优惠券”)的招牌16、以及从后面对该招牌16进行支撑的背面固定腿17,能够从远处目视识别其说明文字列。

招牌16的任意位置(图示的例子中,为大致中央部分)上,安装有光标签装置18。该光标签装置18,是以两个样式序列(pattern series)闪烁的点光源,如果只目视该光标签装置18,则只能够看到光的闪烁。通过借助与第1实施方式中的信息传输系统相对应的信息接收装置(这里,为带照相机的移动电话机)接收光标签装置18的闪烁光,能够再生所期望的数字信息(例如,能在X商场使用的电子优惠券的信息),并显示在该信息接收装置上。

图示的例子中,在能够看到招牌16的位置上存在多个人物19~21,其中只有几个(图中,方便起见为两个人)人物19、20,具有与第1实施方式中的信息传输系统相对应的带照相机的移动电话机22(信息接收装置),因此只有这两个人物19、20能够取得能在X商场使用的电子优惠券,剩下的人物21由于没持有带照相机的移动电话机22,因此无法获取该电子优惠券。

另外,光标签装置18不一定要安装在招牌16那样大的东西上,还能够安装在商品标签等非常小的东西上。光标签装置18的设置对象,例如是“要通过给来到某个(较大的)区域的用户以诱惑,来实现对该区域招揽顾客”、“要给‘在该处确实地看到’某个广告的用户以诱惑”、以及“要自动给用户终端提供比招牌等的信息更详细的信息(或指向那里的链接)”等,只要对来到某程度的附近(数m至数百m左右)的区域的人们,与物理的实体(图示的例子中为招牌16)相关联并提供各种各样的信息,或提供特定的服务(图示的例子中是电子优惠券)即可,并不仅限于图示的例子,不管是哪一种形式都可以。

这里的示例中,应用为:在招牌16上设置光标签装置18,给看到了该招牌16的广告的用户配发电子优惠券作为诱惑。另外,这种情况下的“优惠券”是电子的图像文件,另行指定链接地址来从那里下载。

图2为与第1实施方式中的信息传输系统相对应的带照相机的移动电话机22的主视图以及后视图。该带照相机的移动电话机22,具有由可折叠的盖部231与主体部232所构成的机身23,主体部232具有天线24,同时,盖部231具有状态显示灯25、扬声器26、液晶显示屏等的显示部27、照相机键28、挂机按钮29、摘机按钮30、光标键(通过中央部按压检测来决定指示)31、数字按钮群32、以及拾音器33等,另外,盖部231的背面具有拍摄透镜34、聚光透镜35等。另外,拍摄透镜34与聚光透镜35,为了消除视差而以尽可能小的距离L设置。

图3为说明对带照相机的移动电话机22的用户操作与该带照相机的移动电话机22的内部动作之间的关系的顺序图。另外,光标签装置18的符号样式,在提供信息者一侧预先输入所期望的样式。另外,例如作为活动的预告,优选事先,通过电视广告或杂志等媒体以及给该带照相机的移动电话机22发送邮件杂志等形式,通知“关注XXX的室外招牌!正在通过光标签提供各种服务!访问码为XXXXXX”等之类的信息来进行广告。“X”是任意的文字或任意的数字或者任意的记号。但是,对于信息提供而言,可不采用输入个别的访问码的方法,而是输入谁都能够使用的访问码。

首先,带照相机的移动电话机22的用户,发现了具有光标签装置18的招牌16之后,输入访问码(步骤S11),按下带照相机的移动电话机22的照相机键28(步骤S12)。带照相机的移动电话机22,响应该按钮操作,从通常的电话机使用状态(待机状态或通话状态)切换到光标签的检测以及接收状态(步骤S13、步骤S14),将照相机所拍摄的图像显示在显示部27中,同时在该图像内重叠显示较小的指标(参照图4(a)的瞄准框40)(步骤S15)。

图4(a)为说明显示部27的显示例的图。该图中,显示部27的上端部显示有移动电话的接收状态指标36、当前时刻指标37以及电池残量指标38等,另外,显示部27的下端部显示有操作向导消息39。显示部27的上端部与下端部以外的广大范围内,显示该带照相机的移动电话机22的照相机的取景图像(每秒数十帧的动画),例如,图示的例子中,显示出包括图1(a)的招牌16的取景图像。取景图像中的星形符号,用来示意表示出图1(a)的光标签装置18,该光标签装置18的光的闪烁,是要取得的信息。但是,只看光的闪烁,并不能够知道该信息的内容。通过使用给定的终端(带照相机的移动电话机22)接收该光,来在带照相机的移动电话机22的内部再生信息的内容,并显示在带照相机的移动电话机22的显示部27上。

第1实施方式中的带照相机的移动电话机22,并不对显示部27中所显示的取景图像的全体进行处理来再生上述的信息,而是只对取景图像内的被小瞄准框40所包围的特定部分进行限定处理来再生上述的信息。通过这样,能够避免无用的处理,改善信息再生的应答性。也即,与上述现有技术2不同,只处理取景图像中的特定范围,来进行光标签装置18的信息的再生。

另外,图4(a)的例子中,瞄准框40没有对准由星形符号所表示的光标签装置18。方便起见,空心箭头41与虚线框42,表示为了将瞄准框40对准光标签装置18所必需的、带照相机的移动电话机22的移动方向与移动后的照相机的拍摄范围。

图4(b)为说明将瞄准框40对准光标签装置18时的显示部27的显示例的图。这样,用户操作光标键31,来将瞄准框40对准光标装置18(步骤S16),带照相机的移动电话机22,点亮或熄灭状态显示灯25,或者检测出光标键31的中央部被按压后,开始光标签装置18的信息检测处理(步骤S17)。

图5(a)为说明从光标签装置18取得信息失败时的显示部27的显示例的图。例如,可能会有经过了给定时间仍无法取得信息的情况,以及因干扰光的影响或手抖等无法取得正确信息的情况等。这种情况下,如图所示,与信息取得失败消息43一起,按失败原因生成弹出消息44、45,并显示在显示部27中。

图5(b)为说明从光标签装置18取得信息成功时的显示部27的显示例的图。例如,与信息取得成功消息46一起,生成包含有从光标签装置18所取得的文字信息的弹出消息47,并显示在显示部27中。

此期间,带照相机的移动电话机22,执行检测结果显示(步骤S18),对该检测结果,判断是否有乱码等错误(步骤S22)。在检测结果为有错的情况下,即步骤S22中为否的情况下,带照相机的移动电话22,回到进行本处理之前的待机状态;而在为是的情况下,进行后述的步骤S20的处理。另外,用户根据步骤S18中的结果,进行动作的开始确认或执行指示的操作(步骤S19),之后,如果信息取得成功,进行例如指定命令的执行、Web服务器的登录、信息下载等的命令执行结果的显示(步骤S20),并且用户对所取得的信息进行利用(例如利用优惠券)(步骤S21)。

图6(a)为说明下载了优惠券的图像文件时的显示部27的显示例的图,另外,图6(a)是说明优惠券的图像的图。用户向X商场的服务员出示该图6(a)的画面,从而利用该优惠券。

图7为说明第1实施方式中的带照相机的移动电话机22的内部方框结构图。该图中,带照相机的移动电话机22具有:包含有天线24的数据通信部48、数据缓存49、解码位缓存50、包括照相机键28等各处按钮的操作按钮部51(28~32)、包括扬声器26以及拾音器33的声音输入输出部52、显示部27、CPU53、加速度传感器54、手抖修正用执行机构55、光电探测部56、拍摄透镜34、CCD以及CMOS等摄影用图像传感器57、图像缓存58、显示缓存59以及存储部60等。另外,除此以外还具有电池等电源部,但为了避免附图过于拥挤而将其省略。

光电探测部56,具有聚光透镜35、光电探测器61、增益以及A/D变换器62、定时发生器63、匹配滤波器64、以及滤波器缓存65。

包括拍摄透镜34以及摄影用图像传感器57的照相机部分的构成,并没有什么需要特别说明的地方。只要具有能让用户对所希望的光标签进行瞄准的取景器的功能、和用来在实图像中显示信息光源的位置的功能即可。因此,对于照相机部分的帧速率而言,例如即使所发送的信号速度为数10位/秒或数百位/秒,在瞄准确认上也没有问题,例如可以是10幅/秒左右的图像取得能力。另外,照相机部分的增益控制等信息,也可以不局限于照相机部分的内部,还应用于光电探测部56的增益控制的设定中。

光电探测部56,是将光标签的亮度变动信号数字化,并实施到相关度评价为止的模块。详细内容将在后面说明。

图8以及图9,为第1实施方式的带照相机的移动电话机22中的手抖修正的概念图。如图8(a)所示,光电探测器61位于聚光透镜35的光轴上。第1实施方式中,通过与光电探测器61并设的执行机构55,改变光电探测器61的位置,在连接光标签装置18的光A与检测点B的光轴上排列光电探测器61。

例如,在没有执行机构55的情况下,如图8(b)所示,若产生手抖引起的光轴错位,便会成为光电探测器61并不位于检测点B的状态,但如图8(c)所示,如果与光电探测器61并设执行机构55,使得光电探测器61的位置能够变化,则能够将光电探测器61向C方向移动,并对光轴错位进行校准。因此,即使检测到用户的或多或少的手抖,光电探测器61也能够可靠地捕捉来自光标签装置18的光A。

加速度传感器54如图9所示,在两个轴向上检测出用户的操作引起的手抖。CPU53,产生大小与加速度传感器54的检测信号相对应的手抖修正控制信号,通过该手抖修正控制信号驱动执行机构55。这样,能够通过两个轴的加速度检测,对正在瞄准光标签时的手抖进行校准。

另外,第1实施方式中,方便起见,以光电探测器61的检测视角为2度×2度的窄视角、校准的范围为1度为例进行了说明。对于不太习惯照相机的操作的初学者而言,一般来说,以约5度/秒的角速度且在1度左右的范围内发生手抖。通常,由于该水平的手抖修正功能,装备在普通的数码相机或双筒望远镜等中,因此要用光电探测器61的窄视角(2度×2度)来进行瞄准已经足够了。另外,如后所述,根据灵敏度、检测视角、与光标签的距离以及大小等规格的不同,还可以省略该手抖修正。

这里,对于带照相机的移动电话22中的拍摄透镜34(摄影用图像传感器57)以及光电探测部56的配置构成,具体表示的是完成本发明的动作的设计例。

图10为说明带照相机的移动电话22中的拍摄透镜34(摄影用图像传感器57)的拍摄视角(仰角-俯角32度左右的广视角)的图,图11为说明带照相机的移动电话22中的光电探测部56的检测视角(仰角-俯角2度左右的窄视角)的图。第1实施方式中,设典型的使用距离为数m~百m左右,将光学系统配置所引起的视角的错位看作没有影响而忽略,且设两个光轴平行。但是,考虑近距离的使用,希望两个光学系统尽可能接近(参照图2(b)的距离L)地安装。另外,在主要近距离使用的情况下,通过实施对手抖修正的偏置(bias),能够对两个光学系统的光轴的角度适当进行调节。

如图10所示,对于拍摄透镜34等而言,为了让用户便于在手持状态下在拍摄的图像范围中进行瞄准,另外,意识到通常的照相机模式的动作,设为通常的照相机视角。这里,具体来说,设为在仰角-俯角32度×左右角32度的范围内,取得480点×480点的图像。另一方面,如图11所示,为了让光电探测部56的光电探测器61(聚光透镜35等),能够对远方的信号源充分聚光,最好通过大透镜进行充分的聚光。第1实施方式中,设其视角为仰角-俯角2度×左右角2度。该视角,相当于瞄准框40的大小。

第1实施方式中,考虑到便于用户的使用,采用在照相机图像的视角的中央稍偏上的位置上显示瞄准框40,并与其匹配的光学系统。因此,如图11所示,光电探测器61被设置在稍稍偏离光轴中心的位置上。

另外,图10以及图11均是“组合透镜”结构,但这是用于明示例如为望远的说明的情况,不表示排除其他结构的光学系统(例如单透镜等)。至于最终的安装,为了保证图像的品质,光学透镜当然还需要复杂的透镜群,但由于其详细情况在各种目的用途中是公知的,因此省略说明。

另外,光电探测器61的光学系统,并非要瞄准的区域就一定正确成像,只要该视角区域能够被聚光于光电探测器61(通过必要的亮度的透镜)即可,由于可以将像差以及景深、或必要的精度等设计得较低,因此包括材料在内都能够采用非常简单且低成本的结构。另外,至于聚焦,也可以是考虑到使用距离的泛焦。

图12(a)、(b),是光标签装置18的内部方框结构图。光标签装置18,具有定时发生器66、1/N分频器67、发送数据存储器68、样式数据产生部69、第1控制/驱动部70、第2控制/驱动部71。第1控制/驱动部70由两个与门72、73、两个非门74、75、以及1个或门76构成,另外,第2控制/驱动部71,由前灯(front light)77与反射型液晶快门78构成。

图13(a)为说明前灯77与反射型液晶快门78的图。前灯77,只要能够照射反射型液晶快门78即可。也即,如图所示,只简单地从不会妨碍瞄准的地方进行照射即可。另外,光标签装置18的光源并不仅限于此例,还可以例如图13(b)所示,采用包含直接发光的光源80、与用来确保环境光的环绕和熄灭时的尽可能低的亮度的遮光罩81的结构,但从在晴天白天的户外能够确保足够的亮度变动的这一点出发,图13(a)的结构能够以较低的功率构成,因此较为理想。

接下来,对光源的亮度、距离、面积、光电探测器的灵敏度、动态范围、S/N等进行说明。光源与检测器件的实际值的概算示例如下。另外,不用说,以下的概算示例,基于将光度关联的计算非常简化后得到的模型。

首先,第1实施方式中,光标签装置18如图13所示,由前灯77与反射屏78构成,作为环境,设为可在晴天白天的户外乃至夜间的室外使用。

反射屏78的大小为1平方米,设前灯77处于发光状态时的反射系数为30%,前灯77处于不发光状态时的反射系数为2%。另外,前灯77,能够将1000流明(1个家用电灯泡的程度)的光,均匀照射在反射屏78的整个面(1平方米)上。

亮度的计算方法,一般通过“亮度=反射系数×照度/π”求出。

图14中表示的是,在

(a)亮度为XA(周围环境:晴天室外)

(b)亮度为XB(周围环境:夜晚路灯下)

这两个极端的条件下对光标签的亮度进行计算的情况。

图14为说明光标签的亮度计算结果的曲线图。

(a)环境照度(对数X轴)中,亮度为XA(10万勒克斯)时

a-1:仅反射屏78的亮度(A点)

(10万×0.3)/π=9543cd(每1平方米)

a-2:加上了前灯77的照射部分之后的情况下的亮度(B点)

假设前灯77向1平方米点照射的1000流明的光,为1000勒克斯。这种情况下,前灯77带来的亮度上升部分为

1000×0.3/π=10cd(每1平方米)

与a-1的亮度相加则为

9559cd(每1平方米)。

a-3:前灯77不发光的状态下的仅反射屏78的亮度(C点)

(10万×0.02)/π=636cd(每1平方米)

根据该结果,在亮度为XA(周围环境:晴天室外)时,前灯77发光时与不发光时的亮度比率为15∶1。

(b)环境照度(对数X轴)中,亮度为XB(100勒克斯)时

b-1:仅反射屏78的亮度(D点)

(100×0.3)/π=9.54cd(每1平方米)

b-2:加上了前灯77的照射部分之后的情况下的亮度(E点)

由前灯77带来的亮度上升部分为

1000×0.3/π=10cd(每1平方米)

与b-1的亮度相加则为

19.54cd(每1平方米)。

b-3:前灯77不发光的状态下仅反射屏78的亮度(F点)

(100×0.02)/π=0.6cd(每1平方米)

根据该结果,在亮度为XB(周围环境:夜晚路灯下)时,前灯77发光时与不发光时的亮度比率为32∶1。

如上所述,在晴天白天户外等明亮环境下,能够用环境光反射带来的亮度差确保足够的变动幅度,另外,在夜晚室外等黑暗的环境下,能够用前灯77带来的亮度差确保足够的变动幅度。

另外,如果着眼于亮度,即使近距离直接观测该值,也能够得到9559∶0.6=42db的动态范围。实际上,虽然目前也有45db左右的动态范围的亮度计,因此如果使用频谱扩散等的噪声耐性较强的来作为后述的调制方式也能够直接进行测定,但由于需要高精度的光电探测器,且A/D的位数也需要较多位(8位以上),因此第1实施方式中,作为用目前的设备也能够廉价地构成终端的方法,控制光电传感器的增益(根据不同情况还控制透镜光圈),如图14的梯形图形框81所示,进行以下的增益调整。

(a)在明亮且变动幅度较大的晴天室外等环境中,降低增益(此外还并用透镜光圈等),使其不饱和。

(b)在黑暗且变动幅度较小的夜晚室外等中,提高增益。

通过这样,能够结合环境照度条件,用20db左右的动态范围,通过8位程度的A/D转换器实现清晰控制。另外,对于控制光电探测器的增益的信息而言,由于为了让照相机系统还是在较小的动态范围内正常进行拍摄,而较微细地进行增益控制,因此还可以使用它来控制光电探测器的系统。

另外,实际上,该光标签装置18的亮度,通过远离的终端(带照相机的移动电话机22)的光电探测器61进行观测。本发明的光电探测器61,由于是单体的,因此与通常图像传感器(摄影用图像传感器57)内所使用的光电二极管相比,能够让受光传感器的尺寸数倍~数十倍地充分增大,即使高速进行动作,也能够确保足够的灵敏度与动态范围。由于该光标签装置18,实际上在2度×2度的视角中进行观测,因此如果是1平方米大小的面板,且光电探测器61是2度×2度的窄视角,则在30米以内能够在全视角中检测出亮度变动,因此是非常良好的检测。

图15为说明光电探测器61的检测示意图。如图所示,即使光电探测器61的视角为2度×2度,在近距离(大概30米以内)中,也能够在全视角中进行亮度变动的检测。另外,如果变为其以上的距离例如60米,则1平方米大小的面板,周围的亮度与功率被平均后亮度的变动变为1/4,再远的距离、例如90米处,变为1/9。实用上,虽然依赖于增益的控制以及A/D的精度,但由于本来的光标签装置18的变动自身如果在某个条件下来看,也以“15∶1”或“32∶1”等足够高的比率进行变动,因此即使是1平方米大小的面板,也能够设定在100米左右。这一点从如下也可看出,即例如在数码相机的等级中,如果对具有像素以上的面积的对象,适当进行曝光设定,则即使距离非常远,也能够区别出白纸与黑纸来进行拍摄。另外,为了在更远的距离下也能够进行稳定的检测,可以通过使用更大的面板或光度更高的前灯77等,获得更高精度的手抖修正与更窄的光电探测器的检测视角等方法来应对。另外,如果在比较近的距离内,则可以考虑省略手抖修正机构,使检测视角有富余的方法。

接下来,对数据形式与光标签的调制与解调进行说明。

图16为数据形式的格式结构图。源数据区块82,由固定长度的开头区块83、和接在该开头区域之后的可变长度的参数区块(图中为第1~第3参数区块这三个,但该区块数只是一例)84~86构成。开头区块83,由命令代码部87、第1参数区块字节长存储部88、第2参数区块长存储部89、以及第3参数区块长存储部90构成,第1~第3参数区块长存储部88~90中,保存第1~第3参数区块84~86的实际长度(字节长)。

图17为说明命令代码部87的保存代码、以及该代码的含义的图。如该图所示,命令代码部87中,例如可保存“0”~“6”的代码,这些代码是用来指示终端(移动电话)的动作的命令,例如,用来让移动电话的Web访问、邮件或日程等应用程序,能够根据所取得的数据进行控制。另外,代码为“0”且只有参数“1”的情况,相当于现有技术2。

图18为说明数据之一例的图。本例中,命令代码部87中设有代码“2”,第1~第3参数区块长存储部88~90中,分别设有“107”、“20”、“0”。而且,第1参数区块84与第2参数区块85中,分别保存有上述图5(b)的显示信息(“信息取得完成!……可以连接吗?”、和连接所需要的访问信息(ID以及密码)。另外,图示的例子中,第3参数区块86未使用。

图19是光标签装置18的过程图。该图中,光标签装置18,接收到源数据区块82之后,进行数据压缩或纠错以及标志序列的添加,生成数据区块820。然后,使用将它们变换成彼此相关度较低的两种位组合序列后得到的数据区块821,来进行发光的开/关(on/off)控制。

图20为位组合序列的组合扩散方式的说明图。第1实施方式中,增加了位组合序列(SA、SB)的长度,设为SA=“111101011001000”,SB=“000010100110111”的各15位。现在,若设光标签装置18的最小ON/OFF时隙时间(图10的定时发生器66的最小周期)为1微秒,则发送1位所必需的时间是15微秒,一对的位速率约为67位/秒。但是,对于实际的位速率而言,由于所传输的数据主要是文本,因此数据压缩超过纠错造成的冗余度,从而应该为该速度以上。另外,对于检测所需要的时间,如果设某个帧最终成为50字节,则由于50×15=0.75秒,因此0.75秒能够取得1帧。但是,如果设某个时刻开始的数据取得是从帧的半途开始的,则最坏的情况下用1.5×2=3秒才能完成信息的取得。

接下来,对终端(带照相机的移动电话机22)进行的调制处理的详细内容进行说明。首先,是关于同步的,在基于这样的样式的符号扩散调制的情况下,需要在光标签装置18与终端(带照相机的移动电话机22)这双方中取得同步。第1实施方式中,终端为带照相机的移动电话机22,由于终端侧具有通信功能,因此与光标签装置18之间很容易以必要精度以上的精度来确保独立同步,另外,还可以采用在检测成功之前,通过一定的相位步幅在终端侧使检测定时移位的方法。

本发明中,由于实施由光电探测器61进行的连续量下的观测,因此作为与其相适的同步以及检测的方法,使用所谓的匹配滤波器的峰值,来取得样式的1周期的开始定时。这是将基于例如CDMA(Code DivisionMultiple Access)通信等中的SAW(弹性表面波)匹配滤波器的同步补偿(在GHz带中使用SAW设备),用于第1实施方式的KHz带区。

图21为带照相机的移动电话机22的光电探测部56的概念结构图(相当于图7的虚线部的内部细节)。实施增益控制后观测到的目的视角内的亮度值,在第1实施方式中,用样式符号的时隙的4倍周期,也即4KHz进行A/D采样,并输入给FIFO缓存。该采样时钟的相位,虽然可以与光源(光标签装置18)不同步,但需要将周期的误差控制在一定范围内。对于缓存的长度,由于作为符号样式的15位被以4倍的周期进行采样,因此将60样本份逐次保存到FIFO中。FIFO的特定地址每次被取出4个,并且相当于符号位1的数据群、与相当于符号位0的数据群被加权,同时构成进行总和计算的匹配滤波器。另外,可将采样后的FIFO数据,由CPU逐次读取来进行软计算。

该滤波器的值域,表示输入信号的相关值:

最大:255×8/8+(0×7)/7=255

最小:0×8/8+(255×7)/7=-255在直流输入时,为0×8/8-(255×7)/7=0。但是,是从目的样式开始输入,到取得检测同步为止。在不存在目的样式时,取正或负的较小值。

图22为虽然输入了目的样式信号,但相位尚不一致时(4符号位量=16样本量错位)的状态图。图中的标志(flag),表示保存在FIFO中的数据样本值的时序的变化。实际的观测如图所示,与实检测的标尺(MAX255)相比,为微小的信号变动。实际上,如图所示,虽然观测数据中混入了噪声,但这里若为了进行简化,设1等级为“140”,2等级为“120”,则该滤波器的输出约为-1。

图23为检测相位一致时的状态图。该状态下,输出被加入了输出的样式的变动幅度“20”。然后,此处起约4样本的时间之间(到图上的虚线的状态为止),该峰值持续,输出急剧降低。实际上,在能将观测信号,例如在明状态下检测为“140”、在暗状态下检测为“120”的情况下,如果计算各个样本时刻的输出,则只有相位一致的4样本时间表示出峰值的“20”,接下来变为“-1.4”。这样,由于能够非常简单地检测出峰值,因此很容易与之后的检测定时匹配。滤波器输出,如图21所示,保存在4样本份的FIFO中。

图24为说明到CPU根据FIFO判断0/1的位,并保存到解码位缓存50中为止的处理的流程图。该处理中,由于解码位缓存50中包含着一部分错误,位列被解码后保存,因此接下来通过对通常的位列的数据处理,进行帧检测(本实施方式中,数据帧的开头与末尾中1连续)、或取出纠错区块来进行纠错,并复原所送出的源数据区块,并按照其进行处理。

具体来说,首先,读取滤波器缓存65的数据(步骤S31),为了进行稳定的“1”的取出,判断是否连续4样本时刻超过了阈值(步骤S32)。

在连续4样本时刻超过了阈值的情况下,取出数据t=-1的数据(过采样的数据之中的稳定的定时的中部:可为-2)(步骤S33),判断滤波器输出值是否超过了阈值(步骤S34)。然后,如果滤波器输出值超过了阈值,则在解码位缓存50中保存“1”(步骤S35),如果滤波器输出值没有超过阈值,则判断滤波器输出值是否超过了阈值×(-1)(步骤S36)。

然后,如果滤波器输出值超过了阈值×(-1),则在解码位缓存50中保存“0”(步骤S37),如果滤波器输出值没有超过阈值×(-1),则在解码位缓存50中随机保存“0”(步骤S38)。接下来,判断是否有来自高位序列的检测停止(步骤S39),如果有检测停止,则结束处理,另外,如果没有检测停止,则等待4样本时间之后(步骤S40),再次进行t=-1数据的取出(步骤S41),重复以上的步骤S34之后的处理。

如上所述,通过第1实施方式,能够得到以下效果。

(a)由于数据通信通过专用的传感器(光电探测器61)进行,能保留取得实际的照相机视角图像与其正中的位置的信息的这种现有技术2的便利性,还能够提高数据的传输速度,即缩短到信息的取得为止的延迟时间,加快传输速度。

(b)关于光的调制处理,由于是对1个数据的缓冲以及运算处理,因此能够采用非常简便的处理结构。

(c)由于在光电探测器61的光学系统中添加了手抖修正,因此即使是以窄检测视角手持进行拍摄的终端,也能够进行稳定的检测。

(d)由于应用于并用户外广告和移动电话的利用形式,因此通过这样,广告商能够进行限定服务的促销,还能够对户外广告的广告效果进行定量计量。另外,通过与特别的信息提供相伴的招牌,还具有能够自然提高用户对广告的认知度的效果。

(e)另外,与由例如IC标签或照相机的二维代码实现的信息提供等相比,能够以非常广的区域为对象,并且由于能够实现与招牌等物理实体相结合的信息提供,因此能够带来独特的广告效果。

(f)另外,由于传输数据中搭载了各种通信协作命令,因此能够进行非常有效的信息提供。

(g)由于是符号扩散的脉冲调制,因此即使是微弱的亮度信号也能够稳定地检测出。

(h)由于对过采样的连续数据构成匹配滤波器,因此能够简单地达成光标签装置一侧与终端一侧的相位同步。

(i)由于采用将光标签装置18与前灯77以及反射型液晶快门78组合的结构,因此不但在室内,在晴天白天室外乃至夜晚室外等各种状况下,都能够获得稳定的亮度变动。

(j)由于采用招牌16与光标签装置18这种配置方法,因此用户很容易认知,且能够带来独特的广告效果。

(k)由于根据照相机的曝光控制数据进行光电探测器61的增益控制等,因此能够确保与使用状况匹配的最佳的动态范围与灵敏度。

另外,现有技术2中,关于最终的光源的调制,采用能够从离散的、完结的图像数据以高S/N比进行传输的方法,只能是将位扩散为样式的调制方法,但第1实施方式中,通过基于光电探测器61的方法,能够高速且进行连续量观测,因此如果能够确保检测数据的特性,还能够采用更简单的调制方式,例如进行特定载波的频率(10KHz等)下的脉冲调制等。此外,脉冲频率的切换调制也一样。

另外,如现有技术2中所述,还能够省略照相机以及画面上的瞄准,只采用光电探测器61,通过简单的筒或望远光学取景器进行瞄准,并进行显示以及动作。

<第2实施方式>

总之,以上的第1实施方式中,用来接收光标签装置18的亮点的受光机构,使用的是光电探测器61,但并不仅限于此。只要是具有与信息提供对象物(光标签装置18)的大小相对应的视角的装置即可。例如,可以是CCD或CMOS等图像传感器,或者也可以是将多个光电探测器排列在平面上而成的结构。

以下,对使用CCD或CMOS等图像传感器的实施方式(以下称作第2实施方式)进行说明。

图25为第2实施方式中的带照相机的移动电话机220的内部方框结构图。该图中,带照相机的移动电话机220的特制在于,使用图像传感器(以下,为了与摄影用图像传感器57相区别,而称作“通信用图像传感器610”)代替上述实施方式的光电探测器61。

也即,第2实施方式中的带照相机的移动电话机220具有:包含有天线24的数据通信部48、数据缓存49、解码位缓存50、包括照相机键28等各处按钮的操作按钮部51(28~32)、包括扬声器26以及拾音器33的声音输入输出部52、显示部27、CPU53、加速度传感器54、手抖修正用执行机构55、通信用图像传感器部560、拍摄透镜34、CCD或CMOS等的摄影用图像传感器57、图像缓存58、显示缓存59以及存储部60等。另外,除此之外还具有电池等电源部,但为了避免附图过于拥挤而将其省略。

通信用图像传感器部560具有:聚光透镜35、通信用图像传感器610、放大以及A/D变换器62、定时发生器63、匹配滤波器64、以及滤波器缓存65。

与上述实施方式一样,包括拍摄透镜34以及摄影用图像传感器57的照相机部分的构成,没有什么要特别说明的。只要具有能让用户对所希望的光标签进行瞄准的取景器的功能,或用来在实际图像中显示信息光源的位置的功能即可。因此,对于照相机部分的帧速率而言,即使例如发送的信号速度为数10位/秒或数百位/秒,在瞄准确认上也没有问题,例如可以是10幅/秒左右的图像取得能力。另外,照相机部分的增益控制等信息,不局限于照相机部分的内部,可在通信用图像传感器部560的增益控制的设定中使用。

通信用图像传感器部560,是将光标签装置18的亮度变动信号数字化,并完成到相关度评价为止的工作的区块,基本上,进行与上述实施方式的光电探测部56(参照图7)相同的动作,但不同点如下:上述实施方式的光电探测部56具有1个光电变换器件(光电探测器61),与此相对,第2实施方式的通信用图像传感器部560,具有由多个CCD或CMOS等所构成的光电变换器件(像素)组成的二维图像传感器(通信用图像传感器610)。

光电探测器61与通信用图像传感器610,均是“将光变换成电信号”的设备。不同点在于,光电探测器61由单一的光电变换器件构成,与此相对,通信用图像传感器610由多个光电变换器件(多个像素)构成。但是,通信用图像传感器610的像素数可以比摄影用图像传感器57少。也即,与要求拍摄像质的摄影用图像传感器57相比,通信用图像传感器610只要能够进行窄视角内的亮点检测即可,可以是低分辨率(例如30点×30点)的。

发出信息的光源(光标签装置18),与上述实施方式相同,对1kHz的基带信号以4倍的速度进行采样。因此,通信用图像传感器61’的帧速率为4000帧/秒,由于1/400[秒]=0.25微秒,因此,只要将设备设计为能够以0.25微秒的恒定的快门速度满足必要的动态范围即可。

通信用图像传感器610的分辨率如前所述,如果为30×30点,则该情况下的帧全像素读出的数据速率,将1点作为8位的数据,则为30×30×4000=3,600,000帧/秒。

在一般的VGA(640×480点)规格的图像传感器的情况下,30fps(帧/秒)是常用的带宽,由于该30bps的数据速率为640×480×30=9,216,000点/秒,因此如果是第2实施方式的通信用图像传感器610的数据速率(3,600,000帧/秒)程度,则能够宽裕地实现。

接下来,对具体的设计数值以及检测角度、距离以及对象的大小的关系进行说明。令设想的利用状态与上述实施方式的图1(a)相同。另外,设光标签装置18与终端(带照相机的移动电话机220)的距离为50m,光标签装置18的光源大小为10cm×10cm的矩形(10cm正方形)。

图26为说明第2实施方式的带照相机的移动电话机220中的拍摄透镜34(摄影用图像传感器57)的拍摄视角(26度×39度左右的广角)的图。图27为说明该带照相机的移动电话机220中的通信用图像传感器610的检测视角(6度×6度左右的窄角)的图。

这里,作为实现手抖或概略的瞄准的目标值之一例,将50m的前5m范围设为传感器视角(通信用图像传感器610的视角:6度×6度)。6度通过正切(5m/50m)得出。视角为6度正方形,且30×30点的通信用图像传感器610的每一点的覆盖角度,约为6/30=0.2度正方形。

图28(a)~(d),为说明光标签装置18的照明部分的面积(10cm×10cm)在各个距离上的外观的点尺寸G的图。

例如,如图28(a)所示,在光标签装置18位于带照相机的移动电话220前5m处,即10cm≈1.1度的情况下,光标签装置18的点尺寸G为1.1/0.2=5.5点宽度,能100%取得亮度变化。另外,如图28(b)所示,在光标签装置18位于带照相机的移动电话220前10m处,即10cm≈0.6度的情况下,光标签装置18的点尺寸G为0.6/0.2=约4点宽度,能100%取得亮度变化。另外,如图28(c)、(d)所示,在光标签装置18位于带照相机的移动电话220前50m处,也即10cm≈0.11度的情况下,光标签装置18的点尺寸G为0.11/0.2=约0.5点宽度,为1点以下的面积的亮度变化,功率为1/4~1/16左右。

这样,在距离光标签装置18的距离为50m的地方(带照相机的移动电话机220的位置),虽然信号强度变为1/4以下,但该程度的信号降低不会带来任何不便。如果是一般的图像传感器,由于每一点的动态范围是30~50dB左右,因此如果在覆盖1点的状态下的ON光源的检测等级为动态范围的5成~饱和等级,则即使检测电压下降到1/4(也即-6dB),也完全不会产生问题。

另外,对于0.25微秒的快门速度而言,一般来说由于光源的绝对亮度几乎恒定而且还要求辨认性,相对周围处于非常高的亮度等级,因此即使让通信用图像传感器610以上述的4000帧/秒(约0.25微秒的快门时间)动作,也能借助透镜口径或增益等容易地应对,所以能够充分取得光源的闪烁信息。另外,虽然因周围照明的反射等会产生若干的亮度上升,但与信号自身的ON/OFF的亮度变化相比,并不是大问题。

当然,例如在周围变得黑暗的情况下,周围图像变成所谓的“曝光不足”,或者在晴天的场合等变为所谓的“曝光过度”,因此,固定的快门速度很难取得照片那样的图像,但由于通信用图像传感器61专门是“通信用”的,不会用于监视器用或摄影用,因此即使信息光源以外的周围图像“曝光过度”或“曝光不足”,也不会受到任何影响。

接下来,第2实施方式中,还可以去掉手抖机构(执行机构55)。这是由于,相对第1实施方式的光电传感器61的视角“2度×2度”,第2实施方式的通信用图像传感器610的视角为较大的“6度×6度”。也即,手抖的允许量变为3×3=9倍,强化了对较大的抖动(手抖·步行·交通工具下的使用等)的耐性。另外,虽然这里通信用图像传感器610的视角为“6度×6度”,但这只不过是一个例子。对于手抖耐性这一点,也可以取其以上的视角。

图29为第2实施方式中的去掉手抖机构的示意图。如该图所示,通信用图像传感器610,设置在聚光透镜35的后方,光点A的像通过聚光透镜35成像在通信用图像传感器610的受光面上。现在,如图(a)所示在光点A位于聚光透镜35的光轴上时,光点A的像成像在通信用图像传感器610的受光面的几乎中央的位置B上,但如图(b)所示在光点A偏离聚光透镜35的光轴时,该光点A的像也成像在偏离聚光透镜35的光轴的位置B’上。此时,如果通信用图像传感器610的受光面足够大,也即如果是包含位置B’的程度的大小,不但能拍摄到位置A的像还能能拍摄到位置B的像来使其校准(重叠于位置A的像),因此,能够进行由图像处理实现的手抖修正。所以,不需要具备手抖修正机构(执行机构55)。

另外,用于手抖修正的图像处理方法,可以使用下面的方法。

图30为可捕捉样式的运动的对应界限示意图。在并行处理通信用图像传感器610的各个点的情况下,如该图所示,如果用两个样式系列通过多个帧(例如15帧)没有产生重叠的点坐标H,则没有产生表示与样式的相关的点,因此,无法进行样式检测。

下面的式(1),是可捕捉样式的运动的对应界限的一般公式。

d>mpf×n×x  ……(1)

d:对象点直径(diameter)

mpf:1帧时间的移动点数(MovePerFrame)

n:扩散符号长(或数据区块长)

x:对象信号所对应的捕捉的倍速

上述式(1)中,适用n=15(SA以及SB样式的点数=15位),d=4(10m前的10em≈0.6度,0.6/0.2=约4点宽度),x=4(由于将1kHz的基带信号用4kHz捕捉,因此为4),在该条件下解出mpf,则为下式(2)

mpf<d/(n×x)=4/(15×4)≈0.67点/1帧时间  ……(2)

由于0.67点大约为0.134度,因此可以得知,在每一秒的角速度的情况下,即使是0.134×4000=536度/秒这种非常快的角速度也能够应对。当然,角速度的最大值为536度/秒,但其变动范围,在第2实施方式的情况下,必需控制在6度正方形(通信用图像传感器61’的视角6度×6度)之中。

这些所例示的值,在实际使用本发明的情况下要进行适当设定。例如,在应对更小的信号光源、更远的信号光源的情况下,可以提高通信用图像传感器610的分辨率。另外,在手抖等的允许范围可以较小的情况下,通过缩小通信用图像传感器610的视角,能够应对更小的点面积。另外,为了应对非常剧烈的抖动,可以进一步提高帧速率。另外,如果提高帧速率,当然也要提高通信速度。

总之,第2实施方式中,只要控制在通信用图像传感器610的视角(6度正方形)中,不管信号捕捉如何抖动,在实用上都没有问题,可以去掉通信用图像传感器610的手抖机构(执行机构55)。

如上所述,通过采用第2实施方式,能够得到以下效果。

首先,能够发挥二维通信的特性。也即,能够用通信用图像传感器610同时接收多个信号,并分别在位置上进行辨别(基于通信用图像传感器610的像素位置的辨别)。

另外,能够实现最小检测角度与检测范围的两全。也即,由于第2实施方式中将检测瞄准的范围设为6度×6度,因此能够扩展为上述实施方式的该范围(2度×2度)的9倍的面积范围,且令最小光源面积为0.2度以下而仍然为9倍。因此,如果是同一个光源,即使是上述实施方式的3倍的距离也能够检测到,或者,如果是同一个距离,即使是上述实施方式的1/9大小的小光源也能够检测到,另外,由于检测角度(视角)取得较宽,因此用户进行瞄准的区域的范围,能够在保持检测界限的角度等的前提下增大。所以,能够进行大致的瞄准,提高了信息取得时的操作性。

另外,能够实现机构的简化。也即,在瞄准窄界限检测角度的情况下,可以去掉之前的实施方式中所示的手抖修正机构(执行机构55)。

另外,还能够实现成本上的优点。也即,通信用图像传感器610的像素数,与摄影用图像传感器57相比可较少,可以使用低分辨率(低价)的器件,并且还不需要光学系统的精度,因此能够抑制成本。

另外,由于使用通信专用的二维传感器(通信用图像传感器610),因此传感器灵敏度的调整与设计变得非常简单。也即,由于一般的景色,从夜晚到晴天的白天具有非常大的照度的动态范围,因此拍摄景色的照相机,必须将快门速度、透镜光圈、增益等组合起来,提供数十~100dB的真实世界的照度以及亮度范围。

但是,如果像第2实施方式这样,使用通信专用的图像传感器(通信用图像传感器610),则由于是只以光通信为目的的传感器,因此完全不需要考虑监视器图像取得等处理,另外,信息光源一侧,由于具有一定的绝对亮度,因此增益的调整可以只对目的信号进行,所以灵敏度的调整以及设计变得非常简单。

图31~图33,为说明适于第2实施方式的带照相机的移动电话机220的优选控制程序(摄影模式程序)的流程图。开始该流程后,首先起动摄影用图像传感器57等照相机部(步骤S51),将该照相机部所拍摄的帧图像作为构图确认用的取景图像显示在显示部27中(步骤S52)。

接下来,由用户判断是否实施过给定的子菜单的显示指示(步骤S53)。“给定的子菜单”,是从光标签装置18接收信息用的菜单,该菜单选择用的按钮,预先设置在操作部51中。

在没有实施过子菜单的显示指示的情况下,执行摄影模式用的通常处理(步骤S54),另外,在实施过子菜单的显示指示的情况下,执行以下处理。

也即,在显示部27中显示上述的给定的子菜单(步骤S55),通过该子菜单,接收来自光标签装置18的信息,讯问用户是否将该信息与拍摄图像一起保存起来(步骤S56)。

之后,在用户进行了否定(不进行信息的保存)选择的情况下,回到上述的通常处理(步骤S55),在进行了肯定(进行信息的保存)选择的情况下,在显示部27在正在显示的取景图像内,显示给定的“网格”(步骤S57)。

这里,“网格”是指表示通信用图像传感器610的视角(6度×6度)的矩形的框线,相当于上述实施方式的瞄准框40(参照图4(a))。希望接收来自光标签装置18的信息的用户,调节带照相机的移动电话机220的方向(拍摄方向),使得光标签装置18全体或包含光标签装置18的招牌等广告体收置于该网格内。

接下来,判断是否在网格内检测到了亮点(步骤S58)。

在网格内没有检测到亮点的情况下(步骤S58的判断结果为“NO”的情况下),判断操作部51的快门按钮(未图示)的按下操作(步骤S59),如果没有进行快门操作,则再次回到步骤S57。在进行了快门操作的情况下,获取此时的摄影用图像传感器57的拍摄图像(S60),同时在显示部27中显示用于警告没有接收到来自光标签装置18的信息的给定的消息(步骤S61),检测用户作出的图像保存指示(步骤S62)。然后,如果没有保存指示,则丢弃所拍摄的图像(步骤S63),并结束流程(返回主程序),另外,如果检测到用户作出的图像保存指示,则将所拍摄的图像文件化(步骤S64),将该文件保存到存储部60中(步骤S65)之后,结束流程(返回主程序)。

这样,在网格内没有检测到亮点的情况下,显示用来警告没有接收到来自光标签装置18的信息的给定的消息之后,能够与通常的照相机拍摄一样,将此时的拍摄图像文件化并保存。因此,用户能够通过上述警告消息,得知未能接收到来自光标签装置18的信息。也即,能够直观地得知所保存的图像与通常的照相机拍摄是相同的(没有信息的图像)。

另外,在网格内检测到了亮点的情况下(步骤S58的判断结果为“是”的情况),区别显示出该网格内的亮点部分(步骤S66)。用户确认区别显示出的亮点部分,并判断该亮点部分是否收置于网格内,如果需要,则对带照相机的移动电话机220的方向(拍摄方向)进行微调。

接下来,判断操作部51的快门按钮(未图示)的按下操作(步骤S67)。然后,如果没有进行快门操作,则再次回到步骤S66,在进行了快门操作的情况下,获取此时的摄影用图像传感器57的拍摄图像(步骤S68)。

这里,虽然摄影用图像传感器57,每秒连续生成输出数十幅的图像,但由于网格内的亮点(光标签装置18的亮点)也是以每秒数次至数十次的周期进行闪烁的光,因此从摄影用图像传感器57中,生成输出包含亮点的图像与不包含亮点的图像这两种图像。作为保存用摄影图像,最好使用不包含亮点的图像。这是由于,在保存了包含亮点的图像的情况下,该亮点很碍事,降低了图像的美观。根据该理由,第2实施方式中,在步骤S68中获取保存用图像时,选择不包含亮点的图像。

图像的获取结束之后,接下来判断来自光标签装置18的信息接收是否结束(步骤S69)。在没有结束的情况下,在显示部27中显示表示正在接收信息的沙漏等图标或记号、或者消息(步骤S70),并重复步骤S69。

来自光标签装置18的信息接收结束之后,接下来将步骤S68中所取得的图像(不包含亮点的图像)与所接收到的信息组合起来,生成1个图像文件(步骤S71:关联机构),同时,在显示部27中显示所接收到的信息(步骤S72:显示机构)。

接下来,判断是否有用户作出的图像保存指示(步骤S73),如果没有图像保存指示,则判断是否有来自用户的信息再接收请求(步骤S74:操作受理机构、再接收执行机构)。在有信息的再接收请求的情况下,视为显示部27中所显示的信息中有错,再次执行步骤S69之后的处理。这里,在进行信息的再接收时,不进行图像的获取(步骤S68)。这是由于步骤S68中所取得的图像中没有什么缺点,而只是在接收来自光标签装置18的信息时产生了某个问题(通信故障等)。这样一来,能够在进行信息的再接收时实现处理负担减轻以及处理时间缩短。

在不进行信息的再接收的情况下,丢弃步骤S71中所生成的图像文件(步骤S74),结束流程(返回主程序)。另外,在信息的接收正常结束,且检测到了图像的保存指示的情况下(步骤S73的“是”),将步骤S71中所生成的图像文件,即包含步骤S68中所取得的图像(不包含亮点的图像)和接收信息的图像文件,保存到存储部60中,并结束流程(返回主程序)。

这里,作为包含步骤S68中所取得的图像(不包含亮点的图像)和接收信息的图像文件之一例,可以使用数码相机的通用形式图像文件即Exif(Exchangeable image file format:规定为能够将拍摄时的各种附属信息以及其他任意信息与主图像的数据一起保存起来的通用的图像文件格式)文件。Exif文件中,设定了能够任意使用的文本信息的存储区域,在该存储区域中写入来自光标签装置18的接收信息,通过这样,能够在1个图像文件中一起保存图像数据与接收信息。

这样,通过图示的流程,能够将来自光标签装置18的接收信息与摄影图像一起放在一个图像文件中存储保存。因此,通过在再生该图像文件时读出该信息,能够实现例如上述实施方式中的应用例的那种优惠券的利用等各种服务。

另外,由于图像文件中所包含的图像数据,是不包含光标签装置18的亮点的图像,因此在图像再生时不会导致美观上的恶化。

除此之外,在进行信息的再接收时,跳过了图像的取得(步骤S68),因此不会进行无效的图像取得处理,能够相应地实现处理负担减轻以及处理时间缩短。

另外,步骤S68所取得的图像并不仅限于静止图像。也可以是简易动画。也即,由摄影用图像传感器57所生成输出的图像,是每秒数十帧的图像,这些图像的每一幅虽然是静止图像,但如果将该静止图像逐幅发送来连续再生,看起来便是与运动相伴的动画,因此可以连续取得任意时间中所拍摄的帧图像作为简易动画数据。但是,在取得该动画数据时,为了避免再生动画的美观上的恶化,最好也将包含亮点的图像从获取对象中排除。

另外,一般来说,这样所取得的简易动画数据,如果直接作为动画文件保存起来,文件尺寸会变得庞大,会压迫存储部27的容量,因此例如可实施由I画面与B画面以及P画面所构成的MPEG形式的文件压缩,而在该文件压缩时,只用不包含亮点的图像构成I画面,根据该I画面生成B画面以及P画面。

产业上的利用可能性

如上所述,由于本发明的信息接收装置,将实际的处理对“摄影机构的拍摄视角中所包含的亮度调制区域”限定地进行,因此能够实现上述目的,即通过取得亮度调制的检测所必需的区域,实现信息复原处理的高速化。

作为产业上的利用可能性,本发明的信息接收装置、信息传输系统以及信息接收方法,例如适用于建筑物等的地标显示、广告显示、游乐园等游乐设施向导以及拥挤状况显示、店铺内的商品说明、博物馆或展览会中的展品说明等各种用途。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号