首页> 中国专利> 一种场景式外文翻译和学习系统

一种场景式外文翻译和学习系统

摘要

一种场景式外文翻译和学习系统,该系统包括有导航眼镜;通过服务器端的翻译人员将实时传回的信息实时的翻译成用户使用的语言。同时该学习系统具备场景识别功能,根据不同的学习场景,实时传回不同类型的待学习外语内容,并根据传回的待学习的文本进行扩展,提供给使用者更多的与该文本相关的外语语言信息,能够使得用户充分利用碎片时间进行场景式外语学习。

著录项

  • 公开/公告号CN107037589A

    专利类型发明专利

  • 公开/公告日2017-08-11

    原文格式PDF

  • 申请/专利权人 河南工学院;

    申请/专利号CN201710201983.9

  • 发明设计人 朱亚宁;

    申请日2017-03-30

  • 分类号G02B27/01(20060101);G02C11/00(20060101);G09B5/06(20060101);G01C21/26(20060101);

  • 代理机构11265 北京挺立专利事务所(普通合伙);

  • 代理人叶树明

  • 地址 453000 河南省新乡市平原路699号

  • 入库时间 2023-06-19 02:59:30

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2019-12-03

    授权

    授权

  • 2017-09-05

    实质审查的生效 IPC(主分类):G02B27/01 申请日:20170330

    实质审查的生效

  • 2017-08-11

    公开

    公开

说明书

技术领域

本发明属于导航技术领域,特别是涉及具有外文学习功能的导航技术。

背景技术

现有的导航系统大都是通过手机,导航仪来完成,使用存在许多不方便的地方,例如在户外如大街上,当使用者是在不熟悉的地方时,需要查看显示的地图,会造成交通危险。为了解决这一问题,目前已经开发出导航眼镜,这些导航眼镜通过将导航信息投影到镜片上,避免了需要频繁查看手机或导航仪所带来的交通危险。例如现有技术中:CN105629515A(导航眼镜、导航方法和导航系统),CN105115491A(一种导航方法、主设备及从设备),CN104090383A(智能巡航眼镜及其控制系统),US20160078278A1(具有GPS的新型眼镜),US20130342805A1(多功能眼镜)等。但这些眼镜功能单一,更多地是实现普通导航的用途,在导航时只考虑距离的远近和交通的便捷,并不考虑在此过程中产生的零散碎片时间如何利用,更不涉及如何利用这些时间学习外文。同时,现有导航中,使用者对语言的不熟悉,很难将导航的信息与当地语言的标识对应起来,使导航眼镜的使用大打折扣。虽然现在也有一些用于翻译的眼镜,但翻译后内容直接显示在眼镜中,并不能准确覆盖待翻译部分,影响用户视线。同时,目前眼镜只有翻译功能,并没有外语学习功能,特别是场景式外语学习功能,更没有交互式外语学习功能,不能将用户的碎片时间利用起来进行外语学习。

对于出国人员有学习当时语言的需求。在出行时,对于外语的学习是非常必要的,但还缺少对应的产品满足这样的需要,特别是学习与实际应用,例如导航等的结合,则更少。目前市面上出现的谷歌眼镜缺乏与专业翻译人员的沟通对话,学习效果大打折扣。目前的眼镜还难以满足上述需求。目前的语言学习难以利用日益变少的碎片化时间进行学习。

另外,目前也有一些单纯的外语学习系统,但其与日常生活相距较远,只能专门用来学习,长时间使用给用户造成了厌烦心理。且这些系统并没有任何场景式、互动式的学习,更没有将学习融入到日常生活中,充分利用日常生活中做其他事情的时间来进行外语学习。

发明内容

为解决上述技术问题,本发明提供一种基于眼镜的场景外文学习系统,

该系统包括有眼镜本体;

该眼镜本体包括摄像头模块、数据传输模块、图像显示模块、扬声器、图像处理模块和定位模块;

定位模块,获取用户当前位置,并根据用户位置在数据库中搜索用户目前所处外文场景模式,将外文场景模式发送给数据传输模块;

摄像头模块,拍摄使用者佩戴眼镜时眼睛所看到实时图像,将拍摄的所述实时图像传输给该图像处理模块;

图像处理模块,根据用户外文场景模式,从实时图像中截取包含场景必要信息的部分图像,同时获取该部分图像在实时图像中的位置坐标;

数据传输模块,将上述部分图像中的必要信息识别为文本格式外文信息,并将文本格式外文信息发送给服务器;同时将外文场景模式发送给服务器;并能够接收服务器传回的汉语信息,根据传回的汉语信息查找数据库,得到与该汉语信息相关的附加外文学习信息,并将汉语信息和上述位置坐标、以及附加外文学习信息传送给图像显示模块;

服务器,根据收到的外文场景模式查找曾经经过该外文场景模式的其他用户,且判断该其他用户是否为空闲状态,如果是,则将文本格式外文信息发送给该其他用户,从而使得该外文信息显示在该其他用户的眼镜上;该其他用户将上述外文信息翻译成汉语信息,服务器接收该汉语信息并将其发送给用户眼镜的数据传输模块;

图像显示模块,接收数据传输模块发送的汉语信息,并按照上述位置坐标将汉语信息显示在实时图像对应的位置上;同时显示附加外文学习信息。

上述的学习系统,可以包括:在导航时,所述服务器根据导航目的地和当前位置的关系,搜索服务器中存储的预先导航路径;所述预先导航路径满足:起点节点距离当前位置最近,终点节点距离目的地最近,且包括多个中间节点及多个节点之间的导航路径信息。

上述的学习系统,可以包括:所述预先导航路径中的重要节点为具有外语学习资料且使得导航路径最短的节点。

上述的学习系统,可以包括:用户在经过所述重要节点时,自动切换为该节点所处的外语场景模式,图像显示模块向用户显示与该节点关联的外语学习信息。

上述的学习系统,可以包括:所述节点包括图书馆,商场、医院、火车站、地铁站、飞机场、饭店、学校、旅游景点。

上述的学习系统,可以包括:所述外语场景模式包括图书馆模式,商场模式、医院模式、火车站模式、地铁站模式、飞机场模式、饭店模式、学校模式、旅游景点、酒店模式。

上述的学习系统,可以包括:在图书模式下,必要信息为书名,附加外文学习信息为书的外文简介或部分外文内容信息;在商场模式下,必要信息为商品名,附加外文学习信息为商品的外文介绍及购买商品的常用外文对话;饭店模式下,必要信息为菜名,附加外文学习信息为点菜及交费的常用外文对话;酒店模式下,必要信息为酒店名,附加外文学习信息为酒店中常用外文对话。

上述的学习系统,可以包括:所述附加外文学习信息由其他用户之前提供,并存储在服务器上,并由用户在wifi环境下下载至眼镜中。

上述的学习系统,可以包括:用户在收到附加外文学习信息后,可以对其错误进行修订,并上传至服务器。

本发明还提供一种基于眼镜的场景式外文学习系统的操作方法,其中:

眼镜包括摄像头模块、数据传输模块、图像显示模块、扬声器、图像处理模块和定位模块;

用户在使用眼镜进行导航时,定位模块获取用户当前位置,数据传输模块将用户当前位置和用户输入的导航目的地传送给服务器;

所述服务器根据导航目的地和当前位置的关系,搜索服务器中存储的预先导航路径;所述预先导航路径满足:起点节点距离当前位置最近,终点节点距离目的地最近,且包括多个中间节点及多个节点之间的导航路径信息;

用户根据服务器常规导航从当前位置到达预先导航路径中的起点节点;在每个节点,均按下述方法进行汉语信息和附加外文学习信息的显示,供用户学习:

(1)定位模块获取用户当前节点位置,并根据用户节点位置在数据库中搜索用户目前节点对应的外文场景模式,将外文场景模式发送给数据传输模块;

(2)摄像头模块拍摄使用者佩戴眼镜时眼睛所看到实时图像,将拍摄的所述实时图像传输给该图像处理模块;图像处理模块,根据用户外文场景模式,从实时图像中截取包含场景必要信息的部分图像,同时获取该部分图像在实时图像中的位置坐标;

(3)数据传输模块将上述部分图像中的必要信息识别为文本格式外文信息,并将文本格式外文信息发送给服务器;同时将外文场景模式发送给服务器;

(4)服务器根据收到的外文场景模式查找曾经经过该外文场景模式的其他用户,且判断该其他用户是否为空闲状态,如果是,则将文本格式外文信息发送给该其他用户,从而使得该外文信息显示在该其他用户的眼镜上;该其他用户将上述外文信息翻译成汉语信息,服务器接收该汉语信息并将其发送给用户眼镜的数据传输模块;

(5)数据传输模块够接收服务器传回的汉语信息,根据传回的汉语信息查找数据库,得到与该汉语信息相关的附加外文学习信息,并将汉语信息和上述位置坐标、以及附加外文学习信息传送给图像显示模块;

(6)图像显示模块接收数据传输模块发送的汉语信息,并按照上述位置坐标将汉语信息显示在实时图像对应的位置上,同时显示附加外文学习信息,供用户学习;

用户经过各个节点均按照上述步骤(1)-(6)显示对应汉语信息以及附加外文学习信息,后到达终点节点,并最终从终点节点导航至目的地。

其中的其他使用者可以是在服务器端设立的专门的翻译人员,这些翻译人员相比现有技术中的机器翻译,能够提供更加准确的翻译信息;或者该其他使用者可以是使用该学习系统的其他语言学习者,这些用户能够可以是经历了相同的场景路线,因此即能发挥互助作用,使翻译帮助需要的人,又因是这些语言学习者可以经历相同的场景路线,所以提供翻译能够即时准确。

上述的定位模块可以是GPS模块,其作用不仅是确定使用者当前的地理位置,更重要的是能够根据当前的地理位置,由使用者选择或者系统自动匹配出相应的外文场景模式;根据该场景模式能够选择传输给服务器的文本信息类型。

眼镜具有眼球追踪模块,可以追踪眼球的转动,根据眼球转动位置判断目前用户所注视的内容。这样,用户可以利用目光注视来选择需要翻译的内容。

本发明的发明点

(1)采用人工翻译,更加准确,学习效果好。特别是可以用户之间进行翻译学习,提高了用户的学习兴趣。

(2)获取待翻译内容的坐标,翻译后的内容按坐标替换原始图像内容,不影响用户观看的体验。同时优先传递识别后的文本信息,更加省流量。

(3)利用眼球追踪技术,无需动手即可根据用户意愿选择相应的待翻译内容。

(4)对特定场景进行标记,用户进入场景后,除了向用户提供看到的内容的翻译外,还提供相应的外文附加内容,将用户带入学习场景中,潜移默化地进行外语学习。

(5)由于用户在学习过程中频繁使用网络,会造成一定的流量,因此为了节约流量,提出了利用预先下载的优化的导航路径来节约流量的办法。在导航的起点和终点间设立一些预先确定的节点,以及这些节点之间的导航规划路径,这样所需的数据流量可以只包括从起点到离起点最近的节点,以及从终点到离终点最近的节点的导航规划。

(6)普通的导航一般只考虑距离的远近或交通的便捷,并不会考虑在导航路线中是否有供外语学习的内容。而本发明则是在服务器中预先存储了很多导航路径,这些路径包括路径上各个节点,以及各个节点之间的路线。并且,这些节点的选择综合考虑了常规导航需求,还特别考虑了节点是否是预存的外文学习场景,是否包含了外文学习信息,是否可以在节点利用走路等碎片时间进行场景式外文学习。

(7)该导航眼镜能提供翻译和学习功能;当使用者使用眼镜在国外学习工作时,会对当地语言有学习的要求,而这一需求如果通过独立的时间块进行集中学习,则难免会出现学习兴趣不大,难以与实际生活和学习相结合的问题,使用该翻译导航眼镜可以充分的利用碎片化的时间,对生活和学习出现的语言进行即时学习,提高了学习效率,同时也将语言学习与生活实际相联系。

(8)提供了一模式选择,这一模式选择包括有各种使用场景,例如图书馆,交通站点,街道,不同的模式过滤掉不同的信息,只保留对使用者有用又与模式场景相关的各种信息,这样大大提高了语言学习的针对性,也提高了待翻译信息传递速度。

(9)对于眼镜本体拍摄的图片,通过图像处理只保留了文本信息,同时还创造性的提出针对文本信息还保留了该文本信息在图片中的位置坐标,这样在文本信息翻译后传回到眼镜投影成使用者可见的图片时,该翻译信息直接替换原位置的外文信息,使图片的翻译实用性更高,使使用者更加容易理解。

(10)翻译人员提供了更加准确的翻译,这些翻译更加的精确,保证了学习的质量。目前已知的提供翻译的还停留在数据库中机器翻译阶段,其学习质量还无法和翻译人员的人工翻译相比。

本发明的发明点不限于此,实施例中提到的发明点及相应技术效果也是本发明的独特之处。

技术效果

(1)能够在国外提供更准确的导航翻译,且能够充分利用用户导航过程中的碎片时间进行学习,学习效果好。与传统专门进行外语学习的机器相比,不会厌烦。

(2)充分考虑到导航时对眼镜显示的要求,将导航必要信息显示在图像恰当位置,提高用户使用体验。

(3)能够选择在不同场景进行不同的外语学习内容,且可以进行场景式的外语学习,效果更佳。

(4)充分考虑到外语学习系统和导航系统结合时会占用较大流量,因此提出了诸多节省流量的手段,能够尽量节约流量。

(5)能够突破常规导航以距离远近、交通方便进行导航的方法,而提供一种可以在导航过程中利用碎片时间学习外语的导航,且预先处理编辑了诸多导航节点对应的外语学习信息。

(6)充分利用用户间的互相服务,提高学习乐趣;同时,人工翻译更加准确。

(7)提供实时的翻译和学习功能,消除用户在国外生活时,进入各种场景的语言恐惧感。

附图说明

图1本发明实施例1方框示意图。

图2本发明实施例2翻译人员对图像中的信息进行预先设定的选择性翻译示意图。

图3本发明实施例3示意图。

图4本发明实施例3实施方法流程

具体实施方式

附图中的附图标记分别为:1眼镜本体;11摄像头模块;12数据传输模块;13图像显示模块;14GPS模块;15扬声器;16图像处理模块;2服务器;3翻译人员(服务器端翻译人员或其它眼镜使用者);4摄像头模块拍摄的图像;4’经过图像处理和翻译后投影到眼镜上的图像。

如图1所示,一种基于导航眼镜的场景外文学习系统,该导系统包括有眼镜本体1;

该眼镜本体1包括摄像头模块11、数据传输模块12、图像显示模块14、扬声器15和图像处理模块15,摄像头模块11可以拍摄使用者佩戴眼镜时的眼睛所看到实时图像,将拍摄的图像传输给图像处理模块16,该图像处理模块16将实时图像经过处理后传输给数据传输模块12,数据传输模块12将处理后的数据传输给设立在本国的一服务器2,其中翻译人员3可以只将图像中的出现路牌标识翻译成中文。

当然,不仅是可以设定待翻译的是路牌等导航用词语,可以传回的是例如使用者感兴趣的其他词语,这些词语有助于使用者对当地语言的学习。例如:在进入图书馆后(图书馆场景模式),可以将眼镜本体1中摄像头模块11中拍摄的图书的名称传回到服务器2中,而位于服务器2的专业翻译人员3根据传回的图书的名称进行翻译。在进入火车站时(火车站场景模式),可以将与交通相关的信息传回到服务器2中,而位于服务器2的专业翻译人员3根据传回的交通相关的信息进行翻译。上述对传输到服务器2的信息的选择可以由使用者手动选择,也可以通过一GPS模块定位自动选择。例如选择:1)导航模式:数据传输模块12只传输回与导航相关的路牌等词汇以只方便导航的需要;2)图书馆模式:数据传输模块12只传输与图书的书名有关的数据,以方便使用者对所需阅读的书文的查找;3)购物模式:数据传输模块12只传输与使用者进行购物时采集的商品相关的信息,例如包括商品名称,价格,商品简介等;以方便使用者进行购物;4)交通站点模式:数据传输模块12只传输与例如火车班次,飞机班次,地铁,公交始到相关的信息,以方便使用者进行交通的需要。上述各种模式还能进行复选,例如:1)导航模式和4)交通站点模式同时使用,以更有利于使用者出行的需要。

该服务器2将翻译好的文字信息传递给该眼镜本体1的数据传输模块12,该数据传输模块12将数据信息通过眼镜内置的该图像显示模块13投影到使用者的眼镜镜片上;而所述翻译人员3翻译的语言信息也由数据传输模块12通过扬声器15输出给使用者;

该导航眼睛系统的眼镜本体1还具备GPS模块14,其能够确定眼镜佩戴者的地理位置,并将位置信息传递设立在本国的该服务器2,该服务器2将根据导航目的地和当前位置的关系,搜索服务器2中存储的导航路径信息,翻译人员3根据导航路径提供人工的使用者设定的语音导航服务,该导航服务的语音信息是由数据传输模块12通过扬声器15输出给使用者的;而导航路径信息由数据传输模块12通过图像显示模块14投影到使用者的眼镜镜片上。

所述服务器2中包括查询模块,当有待翻译的信息传输到服务器2时,会查询此时的服务器2是否处于空闲状态,根据收到的外文场景模式查找曾经经过该外文场景模式的其他用户,且判断该其他用户是否为空闲状态,如果是,则将文本格式外文信息发送给该其他用户,从而使得该外文信息显示在该其他用户的眼镜上;该其他用户将上述外文信息翻译成汉语信息,服务器接收该汉语信息并将其发送给用户眼镜的数据传输模块;这里的其他用户可以是是使用该学习系统的其他使用者,也可以是服务器2端的专职翻译人员。该专职翻译人员在使用本系统时是作为翻译内容服务提供者的角色出现的。

该翻译导航眼镜能提供学习功能;当使用者使用眼镜在国外学习工作时,会对当地语言有学习的要求,而这一需求如果通过独立的时间块进行集中学习,则难免会出现学习兴趣不大,难以与实际生活和学习相结合的问题,使用该翻译导航眼镜可以充分的利用碎片化的时间,对生活和学习出现的语言进行即时学习,提高了学习效率,同时也将语言学习与生活实际相联系。例如:使用者可以预先对服务器2或数据处理模块12进行设置所要求翻译的词汇类别:词汇类别包括:生活用语、专业词汇等;也可以设置所要求翻译词汇的难易程度,如大学英语4级,大学英语6、GRE词汇等。如果使用者只要求翻译专业词汇,则对于眼镜本体拍摄的图像信息在将待翻译的全部语言信息传输出服务器2后,该服务器2对这些语言信息比照服务器的存储器中的语言数据库,筛选出专业词汇提供给翻译人员进行翻译;或者通过语言数据库进行自动机器翻译;或者先通过语言数据库进行自动机器翻译,在没有对应的数据信息情况下进行人工翻译;此外;翻译人员还可以就该翻译的词汇进行造句,将上述翻译的信息包括造句通过数据传输信息传输给眼镜本体1,通过图像处理系统和扬声器进行输出。

上述技术方案中,采用人工的方式进行翻译,保证了翻译的准确性;另外采用人工一对一的服务,也增加了客户翻译和导航需求的专属服务性;另外,采用人工翻译的方式并且结合实时的传输信息,可以做到对当地信息的即时更新,避免了因地图更新不及时导致翻译和导航错误。另外,翻译人员3可以灵活配置,当选择不同的模式时,可以采用不同的翻译人员。例如在选择图书馆模式时,翻译人员配置为与使用者的兴趣爱好相似的翻译人员,该翻译人员除可对数据信息进行翻译外,还可以进行书籍选择的指导,将该指导信息通过服务器2传输给数据处理模块12,再通过图像处理系统和扬声器进行输出。以方便使用者。

若是采用使用该学习系统的其他用户进行翻译,则需要服务器2将待翻译的内容通过服务器2中的查询服务器传输给此时处于空闲状态的其他使用者。该其他使用者通过图像处理系统查看到该待翻译的内容时,使用选择回答翻译,则将该翻译的内容通过眼镜本体集成的语音收集装置将翻译后的内容传回到服务器2,该服务器2将该翻译后的内容再传输回需要翻译的使用者的眼镜本体上,以提供翻译。

上述技术方案是特别针对在外国对当地语言不熟的人群的翻译和导航需求,并且将翻译和导航两者相结合来实现。例如:眼镜本体1的数据传输模块12只传输跟导航相关的路牌等信息,如图2所示,过滤掉其他信息(当然,也可以设置服务器,根据使用者的需要,事先定制需要传输的信息,例如可以传输商场,医院,火车站,地铁站,飞机场等标识信息)。这样可以做到对无用信息的过滤,做到节省流量的作用。

具体方法可以参照图2所示:摄像头模块拍摄的图像4包括有预先使用者预设的只传输的路牌信息:WALLst以及WLLIAMst;随后执行S11步骤,即数据传输系统12对图像中的路牌信息进行提取,当然本领域技术人员也可以提取根据使用者设定的其他信息,例如商场,医院,火车站,地铁站,飞机场等标识信息。该提取信息的方法可以采用图像处理中常用的阈值判断法等公知方法对文字,数字信息进行识别;然后进行黑白二值化处理,以最小的数据流记录要翻译的信息;同时数据传输系统12还要标记提取的信息在图像中的位置信息。如附图2中所示:WALLst的位置坐标信息是(X1,Y1),WLLIAMst的位置坐标信息是(X2,Y2);更优化的是,眼镜具有眼球追踪模块,可以追踪眼球的转动,根据眼球转动位置判断目前用户所注视的内容。这样,用户可以利用目光注视来选择需要翻译的内容。例如,对于附图2中的图像,当用户目光注视在WALLst上时,眼球追踪模块捕获眼球的转动位置,并根据瞳孔中心与图像4的位置关系,推算出用户目光落在图像4的位置(X1,Y1),若用户眼球保持注视该位置的时间超过2秒钟,则认为该区域是用户感兴趣区域,数据传输系统12对图像4中的该区域进行文字、数字信息进行识别,并提取该区域的坐标信息。随后执行步骤S12:将图像信息替换成文本信息,以进一步减少传输的数据量;当数据处理模块执行完步骤S12后,将该文本信息传输给服务器2,服务器2执行步骤S13:将上述文本信息传输给翻译人员进行翻译;随后执行步骤S14:翻译人员人工翻译上述文本信息后将翻译结果返回给服务器2;随后执行步骤S15:服务器2将已经翻译的文本信息传回数据处理系统12;最后执行步骤S16,数据处理系统12将翻译的内容替换原坐标信息处的图像信息,最后通过图像显示系统将翻译后的图像显示在使用者的眼镜本体1上,供使用者导航时使用。

当然,上述滤掉的多余信息是根据使用者的需要自由选择的,使用者也可以选择不过滤但任何信息,将图像上的所有可能翻译的内容信息都传输给服务器供翻译人员进行翻译。

在上述方案中使用者预先选择好对应的模式后,该系统还能自动识别模式:GPS模块14会根据定位位置与预先下载的地图中该位置的信息进行比对,以决定开启哪种模式。例如GPS模块14定位在图书馆,则会自动开启2)图书馆模式;当GPS模块14定位在火车站,则会开启4)交通站点模式;当确定了当前的系统工作模式后,因场所相对专一,例如在图书馆中,图像处理模块16对数据的处理会相对简单,只需根据拍摄图像的边缘算法计算文字轮廓,并进行提取即可。不会涉及到大型的图像分类与辨别。但同时,每个场景都提供附加的信息供用户在帮助下进行外语学习。不同场景具有自己不同的特点,例如在图书馆场景中,图像处理模块16获取书名后,按上述方法将翻译后的书名显示给用户,此时在眼镜显示的图像其它位置,显示与该书密切相关的外语信息,例如对于《简爱》,除了显示该书的汉语名称之外,还滚动显示其部分英文内容“Why you want to tell me that!She told youthat has nothing to do with me.Do you think I'm poor,not good-looking,withoutfeelings?I will,if god had gifted me with wealth and beauty,I must make youto leave me as it is now for me to leave you!God did not so.Our spirit issame,just like you with my grave,will equally by standing in front of god!Whyyou want to tell me that!She told you that has nothing to do with me.Do youthink I'm poor,not good-looking,without feelings?I will,if god had gifted mewith wealth and beauty,I must make you to leave me as it is now for me toleave you!God did not so.Our spirit is same,just like you with my grave,willequally by standing in front of god!”,这样用户在进入该场景后,可以随时学习更多的英文知识,并且不需要额外翻动该书籍,只需要步入该场景中,就可以源源不断地进行外语学习。系统会根据用户水平推送不同难度的句子。当然,如果用户对于上述英文句子不懂,可以将目光停留在该句子上,从而将该内容发送给服务器,并由服务器发送给翻译人员进行对应翻译和显示,具体方法和下面路牌的翻译类似。

上述技术方案扩展了该翻译眼镜的使用用途,特别是本技术方案有翻译人员的参与,提供的是一对一的服务,保障了翻译服务的质量,同时对于待翻译的内容进行举一反三,对词汇提供了人工造句,加深了使用者对该词汇的理解,保证了学习质量。上述提到的翻译人员可以为机器,进行智能翻译;也可以为远程服务端人员或者其他使用者,当将信息传输给服务器后,服务器2将该信息传递给远程服务端人员或正在使用该系统的其他使用者,他们也可对该信息进行实时翻译,并且将翻译的指导信息通过服务器2传输给数据处理模块12,再通过图像处理系统和扬声器进行输出。特别优化的是,结合上述不同的模式,优先推荐对该场景感兴趣且同样在使用该系统的其他用户。例如在街道模式中,当系统自动识别或用户A选择了(利用上述介绍的眼球追踪的方法)路牌信息“WALLst”对应的部分图像,数据传输系统12将该文字内容传输给对该街道场景比较熟悉的另一用户B。例如可以通过收集用户的位置信息得到该用户频繁经过该街道场景,判断其对该场景较为熟悉。同时,获取该用户的外语水平,以及目前状态。如果该用户外语水平达到设定值,且目前处于“空闲”状态,则将该文字信息推送给用户B,并在其眼镜上显示该内容,用户B对“WALLst”进行翻译,将“华尔街”的文本和或语音通过眼镜发送给服务器,并最终传递到用户A的眼镜上,且在原“WALLst”的位置显示“华尔街”。但有时单一的文字用户B很难进行准确的翻译,此时用户B可以请求服务器发送用户A眼镜目前的完整图像。这样,对于用户A、用户B而言均可以学习或复习相应的外语内容。

特别是用户A和用户B具有相同感兴趣内容时,例如用户A选中了上述《简爱》一书,并已将书名发送给用户B,用户B除了进行书名的翻译之外,可以额外对该书进行介绍,或提供额外与该书相关的外语内容,并通过服务器发送给用户A。这样两个用户均可以就该感兴趣的内容进行交流,共同进行场景式的英语学习。

还提供一优选实施方式,上述的学习系统中,可以包括:用户在收到附加外文学习信息后,可以对其错误进行修订,并上传至服务器2。具体为:当使用者发现该翻译的内容有错误时,可以将正确的内容提供给服务器2,以更新内容。

虽然利用上述方法尽量避免传输图片或视频节约流量,为了进一步节省流量或应对特殊消耗流量的场合,本发明提出了减少在GPS导航时产生的数据通信流量,可以眼镜本体系统配置中配制包括预先导航路径的离线地图,并且标明了离线地图中的重要节点及从一个节点到达另一个节点的路径。比如商场,公园,火车站,地铁站,飞机场,医院,酒店这些重要节点之间相互到达的导航规划信息和语音导航信息;例如参见附图3所示;附图3中示出了一地图的简要示意图,该示意图可以包括城市街道(未示出)以及重要的城市节点,这些城市节点分别为节点1,2,3,4,5……;具体可以包括商场,医院,火车站,地铁站,飞机场等。以及这些节点之间的导航规划图线;使用者在使用导航时执行步骤S21,导航规划信息和语音导航信息是预先通过服务器下载给使用者的,使用者可以通过WIFI等方式预先下载安装在眼镜本体中的存储器中,并且可以通过图像显示系统和扬声器进行输出,上述下载的导航规划信息和语音导航在导航状态下因不涉及到数据与服务器的传输,因此并不需要花费使用者的流量;当使用者需要导航时执行步骤S22:根据GPS模块14提供的位置信息,GPS模块14先确定使用者当前位置信息,该位置信息以及导航的目的地信息传输给服务器2,服务器2规划当前位置到离当前位置最近的离线地图中节点4的导航规划信息I,翻译人员将上述眼镜本体系统传输给服务器的文字信息进行文字翻译,同时根据服务器提供的导航规划信息I,结合摄像头拍摄后处理的文字信息进行实时语音播报,服务器2将上述这些信息传输给眼镜本体1的数据传输模块12,通过图像显示模块13和扬声器15进行输出;执行步骤S23:由预先下载的离线地图提供导航规划和语音播报,分别由图像显示模块13和扬声器15进行输出;执行步骤S24:当将使用者从节点4导航到离目的地最近的节点2后,根据GPS模块14提供的位置信息,GPS模块14先确定使用者当前节点2位置信息,该节点位置2信息以及导航的目的地信息传输给服务器2,服务器2规划当前离线地图中节点2到目的地的导航规划信息II,翻译人员将上述眼镜本体1传输给服务器2的文字信息进行文字翻译,同时根据服务器2提供的导航规划信息II,结合摄像头11拍摄后处理的文字信息进行实时语音播报,服务器2将上述这些信息传输给眼镜本体1的数据传输模块12,通过图像显示模块13和扬声器15进行输出,以完成导航需求。

上述进一步的技术方案也达到了节省流量的目的,该技术方案可以与前述的只翻译有必要的文字信息的技术方案结合使用,结合使用时翻译人员根据文字翻译内容进行翻译时,也是对服务器提供的导航到结点或从结点导航到目的地的规划路线的修正。当发现文字翻译信息与提供的导航规划沿路信息严重不对应时,可以及时发现并通报给使用者和服务器提供商以进行修正。应该指出的时,这一修正是非常重要的,现有的导航方式虽然隔一段时间进行地图升级,但并不能做到实时纠正可能的地图信息变化,而上述技术方案达到了实时人工校正的目的,是发明人创造性劳动贡献。当然该节省GPS导航流量的技术方案也可以不与上述翻译节省流量的技术方案结合使用,可单独使用该技术方案。

因此,一种基于眼镜的场景外文学习系统,该系统包括有眼镜本体;该眼镜本体包括摄像头模块、数据传输模块、图像显示模块、扬声器和图像处理模块,摄像头模块可以拍摄使用者佩戴眼镜时眼睛所看到实时图像,将拍摄的所述实时图像传输给该图像处理模块,该图像处理模块将所述实时图像经过处理后传输给数据传输模块,数据传输模块将处理后的数据传输给设立在本国或使用者所在国的所述眼镜系统的服务器,所述服务器端的翻译人员只将图像中的必要信息翻译成使用者指定的语言信息,所述服务器将翻译好的所述使用者指定的语言信息传输给该眼镜本体的数据传输模块,所述数据传输模块将所述数据信息通过所述眼镜本体内置的该图像显示模块投影到该眼镜本体的镜片上;而所述翻译人员的语言信息还可以通过所述扬声器输出给所述使用者;该眼镜还包括场景选择模式,根据不同的场景模式,将不同种类的实时图像进行传输。其中所述必要信息是指使用者预先设定的待学习的词汇,短语,句子;所述翻译人员将所述待学习的词汇,短语,句子翻译中使用者所指定的语言文本外,还对所述待学习的词汇,短语,句子进行扩展,使使用者能够理解和明白所述待翻译的词汇,短语,句子的含义;该所述学习的词汇以及对短语,句子进行扩展后的信息通过所述服务器传输给所述数据传输模块;所述的必要的信息还包括语言文本信息所对应的图像中的坐标(X,Y);当翻译完成后,将翻译完的文本信息与图像中的坐标(X,Y)相对应;该眼镜本体还具备GPS模块,能够确定眼镜佩戴者的地理位置,并将位置信息传递给所述服务器,所述服务器根据导航目的地和当前位置的关系,搜索服务器中存储的导航路径,所述翻译人员根据导航路径提供人工的使用者指定语言的导航服务,并将所述指定语言的导航服务通过该图像显示模块和该扬声器输出给所述使用者。上述技术方案中,所述图像中的必要信息是指导航用路牌信息;过滤掉图像的其他信息。上述技术方案中,所述图像中的必要信息是指商场,医院,火车站,地铁站,飞机场等标识信息,过滤掉图像的其他信息。上述技术方案中,使用者对所述必要信息进行预先模式选择;对于不同的模式,对应不同的所述数据传输模块传输的信息。所述模式可以是图书馆模式,交通站点模式。其中1)导航模式:数据传输模块只传输回与导航相关的路牌等词汇以方便导航的需要;2)图书馆模式:数据传输模块只传输与图书的书名有关的数据,以方便使用者对所需阅读的书文的查找;3)购物模式:数据传输模块只传输与使用者进行购物时采集的商品相关的信息;4)交通站点模式:数据传输模块只传输与火车班次,飞机班次,地铁,公交始到相关的信息。上述技术方案中,翻译人员对使用者待翻译的信息进行翻译,同时给出与信息相关的建议信息,所述建议信息通过服务器传输给数据处理模块,再通过该图像显示模块和该扬声器输出给所述使用者,方便使用。上述技术方案中,所述数据传输模块只向服务器传输文字信息,同时保留该文字信息在拍摄的图像中的位置坐标信息。上述技术方案中,所述数据传输模块仅传输:a.所述GPS模块当前位置信息与下载的离线地图中离使用者最近的节点的位置信息;b.离线地图中离目的地最近的节点的位置信息与目的地位置信息,所述节点是指离线地图中重要交通节点、医院、商场或酒店。上述技术方案中,所述数据传输模块根据使用者预先设定的词汇级别有选择的传输需要翻译的词汇。上述技术方案中还包括翻译的词汇翻译人员对词汇进行造句,并将造句信息返回给数据传输系统。

特别优选的是,在利用该导航眼镜进行导航,并进行外语学习时,也可以以如下技术方案实现:

用户可以在与导航眼镜关联的终端(例如手机)或导航眼镜上输入目的地,导航眼镜的定位模块(例如GPS)获取用户当前位置,并将位置坐标发送给数据传输模块。数据传输模块将用户当前位置和用户输入的导航目的地传送给服务器;服务器根据导航目的地和当前位置的关系,搜索服务器中存储的预先导航路径。根据服务器路径规划,包括导航规划信息I-预先导航路径-导航规划路径II,其中预先导航路径和相应的离线地图预先下载存储在导航眼镜系统中,以节省流量。预先导航路径的离线地图,标明了离线地图中的重要节点及从一个节点到达另一个节点的路径。比如商场,公园,火车站,地铁站,飞机场,医院,酒店这些重要节点之间相互到达的导航规划信息和语音导航信息;例如参见附图3所示;附图3中示出了一地图的简要示意图,该示意图可以包括城市街道(未示出)以及重要的城市节点,这些城市节点分别为节点1,2,3,4,5……;具体可以包括商场,医院,火车站,地铁站,飞机场等。以及这些节点之间的导航规划图线;使用者在使用导航时执行步骤S21,导航规划信息和语音导航信息是预先通过服务器下载给使用者的,使用者可以通过WIFI等方式预先下载安装在眼镜本体中的存储器中,并且可以通过图像显示系统和扬声器进行输出,上述下载的导航规划信息和语音导航在导航状态下因不涉及到数据与服务器的传输,因此并不需要花费使用者的流量;当使用者需要导航时执行步骤S22:根据GPS模块14提供的位置信息,GPS模块14先确定使用者当前位置信息,该位置信息以及导航的目的地信息传输给服务器2,服务器2规划当前位置到离当前位置最近的离线地图中节点4的导航规划信息I,翻译人员(或其它用户)将上述眼镜本体系统传输给服务器的文字信息进行文字翻译,同时根据服务器提供的导航规划信息I,结合摄像头拍摄后处理的文字信息进行实时语音播报,服务器2将上述这些信息传输给眼镜本体1的数据传输模块12,通过图像显示模块13和扬声器15进行输出(具体方法可以参考附图2及对应文字描述)。预先导航路径满足:起点节点距离当前位置最近,终点节点距离目的地最近,且包括多个中间节点及多个节点之间的导航路径信息。同时要考虑各个节点是预先已经标记的属于外文场景模式的节点,即各节点中出现的一些信息,在服务器中存储有相应的外语学习信息。例如某个节点为图书馆,其属于图书馆模式的节点,里面各种书籍相应的外语信息均已经存储在服务器中,或曾经由其他用户提供过。

用户根据服务器常规导航从当前位置到达预先导航路径中的起点节点,例如图3中的节点4,并根据预先存储的导航路径沿着路径到达节点2。图3仅仅是示意图,如果用户导航距离较长,那么节点4和节点2之间还有可能存在其他节点。

在进入每一个节点后,均按下述方法进行汉语信息和附加外文学习信息的显示,供用户学习:

(1)导航眼镜的定位模块获取用户当前节点位置,判断用户是否到达预定导航路径中的某个节点,同时根据用户节点位置在数据库中搜索用户目前节点对应的外文场景模式,例如节点4是一座图书馆,那么将“图书馆外文场景模式”发送给数据传输模块。此时用户已进入图书馆,自动从导航模式切换至图书馆模式。

(2)摄像头模块拍摄使用者佩戴眼镜时眼睛所看到实时图像,例如图书馆中《JaneEyre》的封皮图像。将拍摄的所述实时图像传输给该图像处理模块;图像处理模块,根据用户外文场景模式,例如此时的“图书馆外文场景模式”,从实时图像中截取包含场景必要信息的部分图像,例如仅包含书名的图像。也可以是书籍封皮中存在文字的部分图像。同时获取该部分图像在实时图像中的位置坐标(x,y);具体与附图2中截取实时图像,进行文字识别的方法相同。

(3)数据传输模块将上述部分图像中的必要信息(在图书馆模式中为书名或作者等)识别为文本格式外文信息“Jane Eyre”,并将文本格式外文信息“Jane Eyre”发送给服务器;同时将“图书馆外文场景模式”发送给服务器;

(4)服务器根据收到的“图书馆外文场景模式”查找曾经经过该图书馆,使用过该“图书馆外文场景模式”的其他用户B,且判断该其他用户B是否为空闲状态,即是否可以帮助进行翻译工作。同时还可以结合其他用户B的外语测试水平,或历次翻译准确度进行用户B的选择。如果选择用户B后,则将文本格式外文信息“Jane Eyre”及外文场景模式发送给该其他用户B,从而使得该外文信息“Jane Eyre”显示在该其他用户B的眼镜上;其他用户B考虑到用户所处的场景为图书馆,及对应的信息,进行翻译。如果仍不能确定翻译内容,可以请求用户发送实时图片。该其他用户B将上述外文信息“Jane Eyre”翻译成汉语信息《简爱》,服务器接收该汉语信息《简爱》并将其发送给用户眼镜的数据传输模块;

(5)数据传输模块够接收服务器传回的汉语信息《简爱》,根据传回的汉语信息查找数据库,得到与该汉语信息相关的附加外文学习信息,这些附加外文学习信息可以由服务器提供,是其他用户曾经上传并存储在服务器上的一些内容,也可以由服务器端翻译人员专门编辑形成。例如对于《简爱》,除了显示该书的汉语名称之外,还滚动显示其部分英文内容“Why you want to tell me that!She told you that has nothing to do withme.Do you think I'm poor,not good-looking,without feelings?I will,if god hadgifted me with wealth and beauty,I must make you to leave me as it is now forme to leave you!God did not so.Our spirit is same,just like you with mygrave,will equally by standing in front of god!Why you want to tell me that!She told you that has nothing to do with me.Do you think I'm poor,not good-looking,without feelings?I will,if god had gifted me with wealth and beauty,Imust make you to leave me as it is now for me to leave you!God did not so.Ourspirit is same,just like you with my grave,will equally by standing in frontof god!”。当然,这些内容也可以选择性显示。或显示对该书籍的外文书评等信息。同时,将汉语信息《简爱》和上述位置坐标(x,y)、以及附加外文学习信息传送给图像显示模块。用户在收到附加外文学习信息后,可以进行学习。同时对于不熟悉的内容,也可以利用前述提到的方法(例如眼球追踪)进行选择,并将其再次发送给服务器,寻求服务器端或其他用户的帮助,翻译等。同时,如果用户发现提供的附加信息有错误,或者其他用户翻译的必要信息有错误,可以在眼镜或与其连接的手机上对其错误进行修订,并上传至服务器。服务器根据判断后,或由其他用户判断后,决定是否采纳,作为预先存储在服务器中的关于该节点的一些信息。

(6)图像显示模块接收数据传输模块发送的汉语信息,并按照上述位置坐标(x,y)将汉语信息《简爱》显示在实时图像对应的位置上,替换《Jane Eyre》,同时显示附加外文学习信息,供用户学习。

用户经过各个节点均按照上述步骤(1)-(6)显示对应汉语信息以及附加外文学习信息,后到达终点节点,并最终从终点节点导航至目的地。各个节点对应的场景模式不同,例如可以为:图书馆模式,商场模式、医院模式、火车站模式、地铁站模式、飞机场模式、饭店模式、学校模式、旅游景点、酒店模式等。在图书模式下,必要信息为书名,附加外文学习信息为书的外文简介或部分外文内容信息;在商场模式下,必要信息为商品名,附加外文学习信息为商品的外文介绍及购买商品的常用外文对话;饭店模式下,必要信息为菜名,附加外文学习信息为点菜及交费的常用外文对话;酒店模式下,必要信息为酒店名,附加外文学习信息为酒店中常用外文对话。当将使用者从节点4导航到离目的地最近的节点2后,根据GPS模块14提供的位置信息,GPS模块14先确定使用者当前节点2位置信息,该节点位置2信息以及导航的目的地信息传输给服务器2,服务器2规划当前离线地图中节点2到目的地的导航规划信息II,翻译人员将上述眼镜本体1传输给服务器2的文字信息进行文字翻译,同时根据服务器2提供的导航规划信息II,结合摄像头11拍摄后处理的文字信息进行实时语音播报,服务器2将上述这些信息传输给眼镜本体1的数据传输模块12,通过图像显示模块13和扬声器15进行输出,以完成导航需求。

该方法能够提供在导航的同时,除了能够尽快的到达目的地外,还能利用这些碎片时间进行英语学习。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号