一种基于机器视觉的分层机械式智能盲文阅读机

摘要

本发明公开了一种基于机器视觉的分层机械式盲文阅读机。整体包括机器视觉部分以及盲文显示部分，二者通过穿戴式头盔设备和连接器连接起来。本发明的盲文显示装置，采用了螺纹传动的工作原理，可显示一行或多行盲文字符，结构设计简单巧妙，成本极低，性能稳定，可靠性高，可实时翻译盲文、识别物体并转换为盲文，还可以实现识别物体转换三维立体图像且与语音同步播放，对盲人群体具有一定的教学意义，能够满足盲人以及聋盲症人群日常阅读和学习需求，极大方便日常生活。且本设计在国内外尚处于起步阶段，还未见相应成品出现，对社会的意义巨大。

说明书

技术领域

本发明涉及盲文识别显示装置，具体涉及一种基于机器视觉的分层机械式智能盲文阅读机。

背景技术

目前，盲人群体面临的困难与以下几方面有关：一是盲人受教育水平普遍较低且盲文教具稀少，大多数人依旧无法学会盲文，对汉字更知之甚少。二是盲人日常生活障碍重重，缺乏社会包容度，导致盲人从业渠道过窄。不能忽视的是，上千万视力残疾者是整个社会大家庭中的重要群体，其生存现状折射出我国社会化水平和公共服务供给质量亟待提高，庞大的盲人群体需要社会各界的更多关注。

目前市面上的盲人阅读资源主要有盲文出版物以及有声读物等，但实际上大多数盲人摸读速度更快、触觉反应更灵敏，盲文摸读才是盲人的主要阅读方式。然而，传统盲文印刷读物制作工序复杂、耗费时间长、印量少且造价昂贵、品种单一，很难满足盲人的阅读需求。如何利用当前科技为盲人研发一种无障碍智能盲文阅读机成为社会关注的焦点。

现阶段盲人无障碍设备大多数只考虑到了盲人群体，而忽略了另一种生活更加困难的群体--聋盲症群体。聋盲症患者平时只能使用凭借触觉感知的盲文，因此他们无法通过语音提示来避障。因此，如何为聋盲症群体创造无障碍生活环境成为了一个难题。

我国视障儿童的早期教育现如今成为了一个比较大的难题，由于视障儿童只能通过触觉和听觉来理解事物的特点，且教具稀少、教学艰难缓慢，因此通常无法顺利地适应以后的学习生活。而智能盲文阅读机的三维教学模式可以实现三维图像实时识别显示，是解决当前视障儿童教学困境的重要途径。

智能盲文阅读机可以将文字、图片或物品识别转换为图像信息，通过控制电路将其转换为盲文字符实时显示，可以满足盲人以及聋盲症群体的日常阅读需求，社会价值极大。

20世纪90年代以来，国内外对盲文阅读机的研究高度重视，并一直尝试研制阅读机。但目前的研究成果绝大部分还处在实验室研究的测试阶段，虽有小部分已产品化，但由于研发成本高、技术难度大等原因，其产品的售价一直居高不下。如此昂贵价格，严重阻碍了盲文阅读机的推广和普及，难以让大部分盲人群体受益，且阅读机功能单一，国内外研发依旧处于起步阶段。

在专利申请号为“201410632715 .9”，名称为“分层电磁式的盲文显示装置及盲文阅读机”的文件中给出了这样的方案，阅读机整体包括盲文翻译转换模块、语音播放模块、微处理器、触点控制器以及盲文显示装置；共有三层盲文显示模块和触摸板，每层盲文显示模块包括五块板以及多个触点驱动机构；微处理器分别与盲文翻译转换模块、语音播放模块和触点控制器连接，触点控制器与盲文显示装置连接，形成盲文阅读机。该阅读机的触点驱动机构和盲文显示装置采用的是电磁感应工作原理，工作时可能会出现干扰，与本发明不同；且功能单一，只能实现简单翻译盲文以及语音播报，并未对图像识别转换盲文以及三维图像显示功能做出相关讨论。

在专利申请号为“201921822629 .9”，名称为“一种兼具盲文学习功能和汉字认读功能的文字学习机”的文件中提供了一种盲文学习机，包括学习机本体、盲文识别区、汉字学习区、按键控制区、扬声器和控制器；盲人可以触摸盲符块上凸起的圆棒的点位和凸起的触摸点的形状来学习盲文和对应汉字。该学习机的盲符块由电动推杆、限位块和磁铁构成，与本发明不同，该实用新型工作原理较复杂，且功能定位为学习机，并未对翻译盲文以及图像识别转换和三维显示等功能做出相关讨论。

在专利申请号为“201710938858 .6”，名称为“盲文识别装置、终端设备和盲文识别方法”的文件中提供了一种盲文识别装置，包含压力传感器与图形识别模块；压力传感器用于采集盲文载体在压力传感器上形成的压力触点构成的图案，图形识别模块用于将图案识别为盲文。该识别装置通过压力传感器将盲文载体的凸点识别到终端设备上以发送指令，与本发明不同，该装置的图形识别模块只能用于识别盲文形成终端设备指令，并未对翻译盲文以及图像识别转换和三维显示等功能做出相关讨论。

发明内容

本发明的主要目的在于提供一种基于机器视觉的分层机械式智能盲文阅读机，显示部分采用了螺纹传动的工作原理，可以实时显示一组或多组盲文字符，且设计精巧，方便携带，主要用于实时翻译或识别物品显示盲文，还有语音同步播报和三维图像显示等辅助功能，能够帮助盲人以及聋盲症群体减轻生活障碍，并具有一定教学意义。

本发明采用的技术方案是：一种基于机器视觉的分层机械式智能盲文阅读机，包括机器视觉部分和盲文显示部分；所述机器视觉部分包括图像采集、图像识别、图像编码传输及压缩；将嵌入式图像识别模块安装在穿戴式头盔上，将其一端与盲文显示机械装置用连接器连接，以此实现图像识别功能；设备图像采集是数字图像数据提取的主要方式，主要借助于数字摄像头设备经过采样数字化得到图像,和文字、图形一起存储；成功采集图像后再通过图像单元的特征提取，利用嵌入式图像识别模块进行图像识别形成图像信息；识别完成后，为了提高图像传输速度，缩短处理时间，则需要对图像信息进行编码压缩，并通过连接器连接盲文显示部分的机壳以此将图像信息传输给盲文显示机械装置；所述盲文显示部分则包括从下而上依次安装的三层装置，其中，第三层为焊接了固定销的盲文触摸板，第二层为盲文显示机械装置点阵，第一层为控制驱动电路；触摸板上设有一行或多行排列的盲文触摸孔，每个盲文触摸孔之间间隔均匀，触摸板上设有电源开关键、复位键、播放键和扬声器，一个盲文点字格至少包括3个3x2的盲文触摸点位，分别显示声母韵母和声调，组合起来显示一个盲文字符；所述第二层盲文显示机械装置点阵安装了固定板，每个电机位都固定在相应位置上，所述第一层控制驱动电路置于电路底板内，第一层第二层以及第三层盲文显示装置均安装在机壳中，触摸板安装在最上方作为机壳的壳盖。

进一步地，所述第三层顶盖触摸板在壳盖内部所设多行盲文触摸孔正下方各焊接一个两厘米长的平键固定销，使其卡在所述第二层盲文显示机械装置中的内螺纹空心柱侧面开的柱面凹槽中，避免内螺纹空心柱跟随螺纹杆一起转动。

更进一步地，所述第二层盲文显示机械装置包括多组结构相同且间隔分布均匀的3x6驱动点阵，所述每组驱动点阵包括3x6个丝杆直流电机、内螺纹空心柱以及空心柱侧面凹槽；所述的每组驱动点阵的触点机械装置数量与每行盲文点字格中盲文触摸点位的数量相等，每个触点机械装置分别控制盲文点阵内的各个盲文触摸点位；每组驱动点阵安装在固定板上，内螺纹空心柱与丝杆直流电机上端螺纹杆卡紧，在柱面侧方开一条一厘米的柱面凹槽用于卡住固定销；当驱动电路控制电机转动时，通过螺纹传动原理使得不同点位触摸柱自动升降。

更进一步地，所述每组驱动点阵的触点机械装置电机下端与对应电机驱动板一端固定焊接，电机驱动板另一端连接电源位和主控电路板输入串口，由于主控电路板数字输入串口数量不够，选用外扩IO板串联外扩串口，每个外扩IO板固定焊接四个电机驱动板，以此同时控制几组3x6的触点机械装置；底板固定在固定板下方，位于盲文触点机械装置底层，防止电机抖动，机壳底层固定控制驱动电路，侧方开孔用于固定连接器。

更进一步地，所述盲文显示机械装置全部固定于三层机壳内部，底层侧方连接器端口与安装有嵌入式图像识别模块的头盔连接，利用嵌入式图像识别模块识别眼前文本文字或物品形成图像信息，经过压缩编码后通过连接器传输给主控电路板形成盲文文件，再通过控制驱动电路驱动相应触点位机械装置，使相应点位的电机正转，并通过内外螺纹推动触摸柱上升，显示出相应盲文。

更进一步地，所述智能盲文阅读机还包括包括语音播报模块以及三维点阵显示模块，主控电路板分别与语音播报模块、三维点阵显示模块以及触点机械装置相连接，当连接器传输识别到的物体图像信息时，主控电路板将输入的文字或物品信息处理为语音信号传送到语音播放模块，并控制语音播报模块在显示盲文的同时通过扬声器进行语音播报，也可通过所述触摸板的播放键进行重复播报；所述三维点阵显示模块即利用主控电路板和外扩IO板的串口功能，通过设置占空比或电压来调控不同位置触点机械装置中丝杆直流电机的转速，使每个点位触摸柱自动上升不同高度组成三维图像；当连接器传输识别到的物体图像信息时，按下所述触摸板上设教学键启动三维图像教学模式，即在语音播报物品的同时显示三维立体图像。

本发明的优点：

本发明利用了螺纹传动原理，与机械理论结合，主控电路给出驱动信息后，丝杆直流电机通过正反转和内外螺纹来推动触摸柱自动升降，以达到实时显示盲文字符的作用。

本发明符合盲文字符的声母韵母排布规则，适合盲人的阅读习惯，结构装置精巧，方便携带，盲文触点的控制易于实现，能够识别文本文字图像以及物品实时转换为盲文显示出来，能够极大提高盲人阅读效率，帮助盲人群体以及聋盲症群体创造无障碍生活环境。总结而言具有以下效果：

(1)本发明盲文显示机械装置结构精巧，成本极低，不仅能够精确控制各个盲文触点，还极大降低了加工制造和装配的难度。

(2)采用螺纹传动和机械理论结合的工作原理来驱动盲文显示，不仅原材料易于获取，而且易于控制盲文触点的自动升降，还可以调控触点升降的速度，功能性很强。

(3)盲文显示触摸板可以自由进行扩展，每3x6个机械装置为一组盲文字符，可多可少自由定制，以满足盲人个性化阅读需求。

(4)由于本发明是通过机器视觉来识别图像信息控制盲文实时显示，不但可以满足盲人群体的日常阅读需求，还能够帮助聋盲症群体创造无障碍生活环境，通过摸读盲文避障，解决聋盲症群体生活困境。

(5)相对于已产品化的盲文显示装置，本发明新增了三维图像教学功能，通过图像识别控制触摸柱升降速度来实现三维显示图像，实现触摸教学，能够有效缓解先天失明儿童缺乏教具无法正常融入生活的困境，具有巨大的经济前景和社会价值。

除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明的外形图；

图2为本发明的中层盲文显示机械装置图；

图3为本发明的装置局部机械结构图；

图4为本发明的底层控制驱动电路示意图；

图5为本发明的嵌入式主控电路板电路图；

图6为本发明的电机阵列驱动电路图；

图7为本发明的语音播报模块电路图；

图8为本发明的按键控制电路图；

图9为本发明的转速控制电路图；

图10为本发明的一个盲文字符的组成图；

图11为本发明的多个盲文字符显示示意图；

图12为本发明的智能盲文阅读机的盲文翻译流程图；

图13为本发明的智能盲文阅读机的物品识别流程图；

图14为本发明的智能盲文阅读机的三维显示流程图。

附图标记：

1为电源开关键，2为播放键，3为复位键，4为扬声器，5为壳盖，6为触摸板，7为固定销，8为盲文显示机械装置，9为丝杆直流电机，10为内螺纹空心柱，11为柱面凹槽，12为固定板，13为控制驱动电路，14为主控电路板，15为外扩IO板，16为电机驱动板，17为底板，18为机壳，19为连接器，20为头盔，21为图像识别模块，22为语音播报模块，23为驱动点阵，24为螺纹杆，25为触点机械装置，26为触摸点位，27为触摸柱，28为三维点阵显示模块，29为三维图像教学模式，30为教学键，31为摄像头设备。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参考图1至图14，一种基于机器视觉的分层机械式智能盲文阅读机，包括机器视觉部分和盲文显示部分；所述机器视觉部分包括图像采集、图像识别、图像编码传输及压缩；将嵌入式图像识别模块21安装在穿戴式头盔20上，将其一端与盲文显示机械装置8用连接器19连接，以此实现图像识别功能；设备图像采集是数字图像数据提取的主要方式，主要借助于数字摄像头设备31经过采样数字化得到图像,和文字、图形一起存储；成功采集图像后再通过图像单元的特征提取，利用嵌入式图像识别模块进行图像识别形成图像信息；识别完成后，为了提高图像传输速度，缩短处理时间，则需要对图像信息进行编码压缩，并通过连接器19连接盲文显示部分的机壳18以此将图像信息传输给盲文显示机械装置8；所述盲文显示部分则包括从下而上依次安装的三层装置，其中，第三层为焊接了固定销7的盲文触摸板6，第二层为盲文显示机械装置8点阵，第一层为控制驱动电路13；触摸板6上设有一行或多行排列的盲文触摸孔，每个盲文触摸孔之间间隔均匀，触摸板6上设有电源开关键1、复位键3、播放键2和扬声器4，一个盲文点字格至少包括3个3x2的盲文触摸点位，分别显示声母韵母和声调，组合起来显示一个盲文字符；所述第二层盲文显示机械装置8点阵安装了固定板12，每个电机位都固定在相应位置上，所述第一层控制驱动电路13置于电路底板17内，第一层第二层以及第三层盲文显示装置均安装在机壳18中，触摸板6安装在最上方作为机壳18的壳盖5。

所述第三层顶盖触摸板6在壳盖5内部所设多行盲文触摸孔正下方各焊接一个两厘米长的平键固定销7，使其卡在所述第二层盲文显示机械装置8中的内螺纹空心柱10侧面开的柱面凹槽11中，避免内螺纹空心柱10跟随螺纹杆24一起转动。

所述第二层盲文显示机械装置8包括多组结构相同且间隔分布均匀的3x6驱动点阵23，所述每组驱动点阵23包括3x6个丝杆直流电机9、内螺纹空心柱10以及空心柱侧面凹槽11；所述的每组驱动点阵的触点机械装置25数量与每行盲文点字格中盲文触摸点位26的数量相等，每个触点机械装置25分别控制盲文点阵内的各个盲文触摸点位26；每组驱动点阵安装在固定板12上，内螺纹空心柱10与丝杆直流电机9上端螺纹杆24卡紧，在柱面侧方开一条一厘米的柱面凹槽11用于卡住固定销7；当驱动电路13控制电机转动时，通过螺纹传动原理使得不同点位触摸柱27自动升降，以达到显示盲文以及一键复位的目的。

所述每组驱动点阵的触点机械装置25电机下端与对应电机驱动板16一端固定焊接，电机驱动板16另一端连接电源位和主控电路板14输入串口，由于主控电路板14数字输入串口数量不够，选用外扩IO板15串联外扩串口，每个外扩IO板15固定焊接四个电机驱动板16，以此同时控制几组3x6的触点机械装置25；底板17固定在固定板12下方，位于盲文触点机械装置25底层，防止电机抖动，机壳18底层固定控制驱动电路13，侧方开孔用于固定连接器19。

所述盲文显示机械装置8全部固定于三层机壳18内部，底层侧方连接器19端口与安装有嵌入式图像识别模块21的头盔20连接，利用嵌入式图像识别模块21识别眼前文本文字或物品形成图像信息，经过压缩编码后通过连接器19传输给主控电路板14形成盲文文件，再通过控制驱动电路13驱动相应触点位机械装置25，使相应点位的电机正转，并通过内外螺纹推动触摸柱27上升，显示出相应盲文，以达到实时翻译盲文或识别物体转换盲文的功能。

所述智能盲文阅读机还包括包括语音播报模块22以及三维点阵显示模块28，主控电路板14分别于语音播报模块22、三维点阵显示模块28以及触点机械装置25相连接，当连接器19传输识别到的物体图像信息时，主控电路板14将输入的文字或物品信息处理为语音信号传送到语音播放模块22，并控制语音播报模块22在显示盲文的同时通过扬声器4进行语音播报，也可通过所述触摸板6的播放键2进行重复播报；

所述三维点阵显示模块28即利用主控电路板14和外扩IO板15的串口功能，通过设置占空比或电压来调控不同位置触点机械装置25中丝杆直流电机9的转速，使每个点位触摸柱27自动上升不同高度组成三维图像；当连接器19传输识别到的物体图像信息时，按下所述触摸板6上设教学键30启动三维图像教学模式29，即在语音播报物品的同时显示三维立体图像，以达到盲人教学目的。

如图1所示，本发明的结构包括：机器视觉部分的穿戴式头盔设备，以及盲文显示部分的机械装置，二者通过连接器连接起来。头盔上装有图像识别模块，这里采用嵌入式开发电路板。首先进行图像采集，其次进行物体检测和物体识别，最后形成图像信息传输给主控电路。本发明利用对象识别算法识别图像中存在哪些对象，将整个图像作为输入，并输出该图像中存在的对象类标签和类概率，当概率大于70%时确定图像信息传输给主控电路。所用嵌入式图像识别模块中内置了很多训练好的CNN神经网络，也可以自行利用图片样本进行模型训练，识别过程非常简单，就是加载模型与返回预测结果，并将返回的结果标签作为图像信息编码传输给主控电路。

所述主控电路包括一个嵌入式开发主控电路板、多个外扩IO板以及多个电机驱动模块。本发明选用低功耗高性能的嵌入式开发电路板，但由于驱动电机组数量较多，单片机数字输入串口数量不够，因此需选用外扩IO板外扩串口，还可通过设置地址码来串行连接多个外扩IO板；每个外扩IO板固定焊接多个电机驱动板，并与主控电路板共地，电机驱动板输出串口则连接直流电机的正负极，以此同时控制多组3x6的盲文显示装置；当图像识别模块将识别到的图像信息通过连接器传输过来时，主控电路板将其处理成盲文文件，再通过外扩IO板给不同串口发送高低电平，并将指示命令传输给电机驱动板，使得直流电机正反转，再通过螺纹传动的工作原理显示出相应盲文，以达到实时翻译盲文或识别物体转换盲文的功能。

而盲文显示装置包括从下而上依次安装的第三层焊接固定销的触摸板第二层盲文显示机械装置点阵以及第一层控制驱动电路。触摸板上设有一行或多行排列的盲文触摸孔，每个盲文触摸孔之间间隔均匀，触摸板上设有电源开关键、复位键、播放键和扬声器，一个盲文点字格包括至少3个3x2的盲文触摸点位。

阅读机整体包括语音实时播报模块、控制驱动电路、机器视觉图像识别模块、三维图像教学模块，其中主控电路板分别与控制驱动电路和图像识别模块连接器连接，连接器另一端固定在装有嵌入式图像识别模块的头盔侧方，控制驱动电路和盲文显示机械装置相连接，盲文显示机械装置卡紧触摸板下方焊接的固定销。

嵌入式图像识别模块识别到文字图片或物品时，将其转化为图像信息传输和给主控电路板，再由主控电路板利用分词连写将其处理成拼音文件，后通过对比语料库中盲文ASCII码表与声韵母对照结构表将其转为盲文点位文件，盲文点位文件再经主控电路版处理为盲文控制信号传输到控制驱动电路，由控制驱动电路驱动盲文显示机械装置，使触摸柱按固定点位自动上升，同时驱动语音播报模块通过扬声器实时播报。

如图2所示，顶盖触摸板设有复位键，当盲人按下复位键时，盲文字符中的凸起点位电机将反转，使触摸柱自动下降复位。触摸板每个触摸孔下方都焊有一个1mmX2mm的固定销，用于卡住触摸柱，使其自动升降。

上述语音播放模块可采用语音芯片，将识别到的图片信息编码发送至数据库，通过通信协议将其匹配并转换为语音信号，再通过主控电路板发送串口协议控制语音播放模块播放相应的音频。

主控电路板可采用体积小、成本低、低功耗、高性能、指令执行速度快的嵌入式开发电路板。

控制驱动电路分别包括：外扩IO板以及电机驱动板。电机驱动板通过主控电路板发送高低电平完成对盲文显示机械装置的精准控制。

如图3所示，本发明的盲文显示机械装置具体包括多组结构相同且间隔分布均匀的3x6驱动点阵，所述每组驱动点阵包括：3x6个丝杆直流电机、内螺纹空心柱以及空心柱侧面凹槽；所述的每组驱动点阵的触点机械装置数量与每行盲文点字格中盲文触摸点位的数量相等。

如图4所示，整个电路工作流程主要包括嵌入式图像识别模块、控制驱动电路以及盲文显示装置。所述控制驱动电路包括一个嵌入式开发主控电路板、多个电机阵列驱动电路，还包括语音播报、按键控制以及转速控制等辅助模块。当图像识别模块将识别到的图像信息通过连接器传输过来时，嵌入式开发电路板将其处理成盲文文件，再通过电机阵列驱动电路，给不同点位电机串口发送高低电平传输指示命令，使得直流电机正反转，盲文显示装置利用螺纹传动原理显示出相应盲文，以达到实时翻译盲文或识别物体转换盲文的功能。

如图5、图6、图7、图8和图9所示，图5为嵌入式主控电路板电路图，图6为电机阵列驱动电路图，图7为语音播报模块电路图，图8为按键控制电路图，图9为转速控制电路图。

如图10和图11所示，盲文字符是由3x6个点位组成的，分为三组，第一组2x3点位显示汉字声母，第二组2x3点位显示汉字韵母，第三组2x3点位显示汉字声调。

如图12所示，本发明主要包括盲文翻译功能、物品识别显示功能以及三维显示教学功能，性能稳定，受众范围大，社会及经济价值极高。

上述三维图像显示模块，通过设置占空比或电压来控制不同点位的电机转速，实现触摸柱各自按照设定自动升降不同高度的功能。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。