一种辅助盲人感知的超声波触觉反馈系统及其方法

摘要

本发明公开了一种辅助盲人感知的超声波触觉反馈系统及其方法，包括生成焦点时间序列的PC端；微控制器储存焦点信息；FPGA控制器完成焦点在不同单元坐标系下的转换；超声波相控阵控制由超声相控阵包围的腔中的声压分布，通过驱动信号对各单元超声波换能器的作用在空间形成多个触觉点或立体图形，实现静止且可自由触摸的空中虚拟盲文点；根据焦点坐标通过相位延迟的方式将发射调制的超声波聚焦在焦点处，使人获得触觉感知以表明当前手势任务已顺利完成；手部位置捕捉传感器捕捉到识别位置信息，PC端即发送下一组控制信号，完成信息的实时更新显示。本发明能够在空间形成静止的盲文信息，可快速改变，实时切换，盲人可以非接触式触摸感知。

说明书

技术领域

本发明属于空间体积成像技术领域，具体涉及一种辅助盲人感知的超声波触觉反馈系统及其方法。

背景技术

盲人需要感受一个比自己日常生活更加立体、更加丰富的世界。通过触摸可以让他们感受到动物、植物、天体、建筑等大千世界的万物。一般的触摸展览中需要各种各样的展品件数很多。日常的通过触摸学习也是通过平面的二维触摸图像，或者特制的三维模型感知。目前，为了帮助盲人触摸感知，由轨道研究和美国盲人印刷所的团队开发出电子触摸屏包含可调节不同高度2400个等距引脚。可变高度引脚能描绘几何图形、饼图、条线图、平面图。VR手套通过振动的形式向用户发送反馈，是一种穿戴式设备。

触觉界面通过触觉振动反馈在人体的皮肤上产生触觉。触觉接口广泛的应用于各种应用，包括虚拟现实，远程操作，人际交流，娱乐和游戏，军事和医疗保健。大多数振动触觉装置需要安装或固定在人体上，只有与装置接触的人体表面才能接收振动刺激，用户的自由移动可能受到安装的设备的限制。

目前可以通过非接触式触觉接口，在触觉设备和人体之间没有任何物理接触的情况下传输触觉刺激。提供空中触觉刺激的现有技术使用三种策略：空气喷射器，超声波和激光。空气喷射依赖于由致动的柔性喷嘴引导的空气脉冲产生以提供触感。虽然它们在模拟粗力反馈方面是有效的，它们的空间/时间属性是有限的。激光可以传播更长的距离，几乎没有扩散和衰减，因此可以创建更大的触觉显示工作空间，但需要一个附着在皮肤上的光吸收弹性介质。超声触觉刺激似乎是研究最多的方法，因为能够在3D空间中生成相对高分辨率的触觉显示。但现有基于视觉的手指运动感测存在延时问题，会导致系统的时间以及空间分辨率受到影响。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种辅助盲人感知的超声波触觉反馈系统及其方法，通过超声波相控阵形成可感知的盲文触觉点，根据手部位置识别，实时快速的更换显示信息。

本发明采用以下技术方案：

一种辅助盲人感知的超声波触觉反馈系统，包括：

PC端，完成对盲文点的信息分析与焦点计算，生成焦点的时间序列，通过串行通信传输给微控制器；

微控制器，储存焦点信息，接收PC端对焦点的控制信息，将时间序列传输给FPGA控制器；

FPGA控制器，完成焦点在不同单元坐标系下的转换，将信息传输给超声波相控阵；

超声波相控阵，接收FPGA控制器发送的信息，使用空间体积调制方法控制由超声相控阵包围的腔中的声压分布，通过驱动信号对各单元超声波换能器的作用在空间形成多个触觉点或立体图形，实现静止且可自由触摸的空中虚拟盲文点；根据焦点坐标通过相位延迟的方式将发射调制的超声波聚焦在焦点处，使人获得触觉感知以表明当前手势任务已顺利完成；

手部位置捕捉传感器，当盲人完成一组盲文的识别，手部位置捕捉传感器捕捉到识别位置信息，将信号传输给PC端，PC端即发送下一组控制信号，完成信息的实时更新显示。

具体的，超声波相控阵是一个n面的空间多面体，n为自然数，包括多个超声波相控单元，每个超声波相控单元包括多个超声波换能器。

具体的，超声波相控单元为树形网络拓扑连接，每个超声波相控单元都有一个输入，多个输出，传输到输入端口的信号从所有输出端口输出。

具体的，FPGA控制器包括一个主FPGA控制器和多个从FPGA控制器，主FPGA控制器完成焦点在不同单元坐标系下的转换，将处理后的控制信息传输给对应的从FPGA控制器，从FPGA控制器收来自主FPGA控制器的焦点位置和幅度信号，计算每个超声波换能器的相位延迟，并将驱动信号施加到每一个超声波换能器。

进一步的，超声波换能器为发射型传感器，只发射超声波，不接收超声波。

具体的，超声波换能器发出40khz的超声波信号，每两个通道使用双驱动器MOSFET，且带有2个去耦电容。

本发明的另一个技术方案是，一种辅助盲人感知的超声波触觉反馈方法，利用所述辅助盲人感知的超声波触觉反馈系统实现，首先生成期望的振动触觉盲文点，采用相位检索的方式确定焦点数据的时间序列，PC端将时间序列发送到微控制器，微控制器根据焦点位置和幅度计算相位延迟并在换能器上产生所有驱动信号并传递给超声波换能器，使用空间调制的方法，控制由超声波相控阵包围的腔中的声压分布，实现静止且可自由触摸的空中虚拟盲文点，盲人用手从左到右触摸识别完成像的盲文，手部位置捕捉传感器检测到已完成识别，立即呈现下一组盲文信息，辅助盲人非接触触摸感知。

具体的，包括以下步骤：

S1、PC端显示需要形成的盲文符号，通过对盲文符号进行分析，焦点计算，形成包含焦点位置(x,y,z)的坐标信息，焦点振幅以及焦点的持续时间的时间序列；

S2、微控制器从PC端接收包含位置信息、焦点振幅和焦点持续时间的时间序列信息的控制信号，并将聚焦信号包发送到输入端口；

S3、微控制器与FPGA控制器的主FPGA控制器连接，主FPGA控制器通过串行通信接收控制信息，每个单元以精确的间隔接收从微控制器发送的分组序列，主FPGA控制器根据全局坐标中每个超声波相控阵单元的位置将它们转换为本地坐标各单元对应的坐标系；

S4、FPGA控制器的从FPGA控制器从主FPGA控制器接收焦点位置和幅度，直接连接到手部运动捕捉传感器，计算每个手部运动捕捉传感器的适当相位延迟，以便聚焦在所需位置；

S5、从FPGA控制器发出驱动信号，每个信号由通过数字输出发射的0和1流表示，信号模式被分成以循环方式发射的离散数量的步骤，通过移动模式获得不同的相位；

S6、使用空间调制的方法，控制由超声波相控阵包围的腔中的声压分布，实现静止且可自由触摸的空中虚拟盲文点；

S7、为PC端发送焦点信息给微控制器，微控制器发送驱动信号给超声波相控阵，空间包围的超声波相控阵的空腔里形成一组盲文点，当盲人用手在空间里从左至右完成一组触觉点的识别后，手部运动捕捉传感器捕捉手部位置，将已完成识别的信息发送到PC端，PC端则立即发送下一组焦点数据信息给控制单元，完成新一组的触点生成。

进一步的，步骤S6中，根据检测到的声波强度信息，利用波传播时的可逆性，使随机输入的初始信号在焦点平面和超声波换能器平面之间进行傅里叶正逆变换迭代计算，同时施加傅里叶幅值约束和时域约束，进而得到驱动信号的相位信息；

基于超声波的非线性现象，其声辐射压力P[Pa]描述为：

其中，E[J/m³]是超声波能量密度；I[W/m²]是超声波的声强；c[m/s²]是超声波在介质中传播的速度；p[Pa]是超声波的RMS声压；ρ[kg/m³]是介质密度；α≡1+R²，是1和2之间的常数，并取决于物体表面的反射系数R；如果物体表面完全反射入射的超声波，则α＝2；如果吸收了整个入射超声波，则α＝1，声辐射压力的方向与超声波的传播方向一致；

声压p在边界S₀范围产生的辐射力F近似为：

一个具有复增益q_i并位于τ_i处的单一换能器在空间τ处产生的单一频率声压p_i(τ)描述为：

其中，D(θ)是换能器的指向性函数；θ_i(τ)是换能器法向和τ-τ_i方向之间的角度；_β是衰减系数；k是超声波的数量；

一个相控阵产生的波场描述为：

其中，将传递系数合并为G_i(τ)；

对于空间离散波场p(τ)，简化的线性方程描述为：

p＝Gq

其中，线性算子G由换能器的物理排列而确定，对于离散的控制点，由相控阵复增益q在工作空间产生复合压力p的模型。

更进一步的，步骤S6中，采用相位检索方法确定相控阵驱动信号参数q，具体实施步骤如下：

S601、输入傅里叶幅值平方的测量值；

S602、选择一个随机输入信号进行初始化；

S603、当循环次数未达到超声波波数时执行循环程序，否则进行步骤S609；

S604、循环次数自增；

S605、计算随机输入信号的离散傅里叶变换；

S606、对输入的测量值施加傅里叶幅值约束；

S607、计算施加幅值约束后的信号的离散傅里叶逆变换；

S608、施加时域约束，得到迭代后的信号并返回步骤S603；

S609、结束循环，输出底层信号的近似值。

与现有技术相比，本发明至少具有以下有益效果：

本发明一种辅助盲人感知的超声波触觉反馈系统，是一种非接触式的触摸感知，不需要可穿戴式设备，可以直接在空间中形成静止的盲文符号，除了可以形成需要阅读的盲文符号，也可以将图片上的立体物体转化为空间三维物体便于盲人触摸感知；采用多单元并列、网络拓扑连接的方式，具有小的时序偏差；不需要通过手部位置传感器捕捉手部动作反馈位置信息来控制焦点的形成，也不需要接收超声波反馈波，具有低延迟的优点；采用空间调制的方式，使得系统具有高分辨率，无可听噪声的优点；遵循目前盲人使用电子设备的大部分习惯，最大限度地发挥触觉点阵显示的交互优势，使得盲人用户“所触即所得”，是一种自然的人机交互方式。

进一步的，n面的空间多面体相控阵可以形成一个具有声压的空腔，可以通过空间调制方式直接成空间立体触摸图像。

进一步的，超声波相控单元为树形网络拓扑连接，单元的输入端与输出端之间具有非常低的时间延迟，所以这种方式可以以几乎同步的方式连接多个单元，保证单元间的同步性。

进一步的，每一个相控单元需要多个FPGA给各个超声波换能器发送驱动信号，设置主FPGA完成系统与相控单元间的坐标转换，再将转换信息传给各个从FPGA，从FPGA根据转换信息计算每一个超声波换能器的相位延迟，减少运算量。

进一步的，超声波换能器为只有发射波的传感器，通过波的发射与调制空间成像，不接收波，相比通过接收波的反射信息判断手的位置之后调制成像的方法，不需反馈信息，具有低延时的特点超声波换能器。

进一步的，使用足够的电压和功率的激励换能器，放大逻辑信号，增加驱动能力。

本发明一种辅助盲人感知的超声波触觉反馈方法，不需要可穿戴式设备，可以直接在空间中形成静止的盲文符号，除了可以形成需要阅读的盲文符号，也可以将图片上的立体物体转化为空间三维物体便于盲人触摸感知，具有方便，实时，高分辨率的优点。

进一步的，采用空间成像技术，直接在三维空间形成静止可触摸图像。现有技术如：根据手势追踪，焦点在用户手掌上围绕给定路径快速且重复地移动触觉点，从而产生触觉模式，与现有技术相比，本发明不需要传感器反馈，不具有反馈延时误差等问题。

进一步的，根据空间成像信息，采用相位检索方法，得到驱动信号的相位信息，是一种自然，简便的方法。

综上所述，本发明能够在空间形成静止的盲文信息，并且可以快速改变，实时切换，盲人可以非接触式触摸感知。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明的整体系统示意图；

图2为本发明超声波触觉反馈系统；

图3为超声波相控阵单元连接方式图；

图4为本发明的超声波相控阵示意图。

其中：1.PC端；2.微控制器；3.FPGA控制器；4.超声波相控阵；5.手部运动捕捉传感器。

具体实施方式

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

请参阅图1和图2，本发明提供了一种辅助盲人感知的超声波触觉反馈系统，包括PC端1、微控制器2、FPGA控制器3、空中多面体三维超声波相控阵4、驱动电路和手部运动捕捉传感器5，PC端1经微控制器2与FPGA控制器3连接，FPGA控制器3通过驱动电路与超声波相控阵4连接，手部运动捕捉传感器5与PC端1连接；

PC端1完成对盲文点的信息分析与焦点计算，生成焦点的时间序列，通过串行通信传输给微控制器2；

微控制器2储存焦点信息，接收来自PC端1对焦点的控制，接收信号传输指令后将时间序列传输给FPGA控制器3；

FPGA控制器3包括一个主FPGA控制器和多个从FPGA控制器，主FPGA控制器完成焦点在不同单元坐标系下的转换，同时保证减小各单元的时间延迟，将处理后的控制信息传输给对应的从FPGA控制器，从FPGA控制器通过各个通道将信息传输给超声波相控阵4；

超声波相控阵4由多个超声波相控单元组成，每个超声波相控单元由多个超声波换能器组成。超声波相控阵4中的每一个超声波换能器接收从FPGA控制器发送的信息，通过驱动信号对各单元超声波换能器的作用在空间形成多个触觉点，使用空间体积调制的方法，控制由超声相控阵包围的腔中的声压分布，实现静止且可自由触摸的空中虚拟盲文点；超声波相控阵4根据焦点坐标通过相位延迟的方式将发射调制的超声波在焦点处聚焦，使人获得触觉感知以表明当前手势任务已顺利完成；

手部位置捕捉传感器5，当盲人完成一组盲文的识别，手部位置捕捉传感器5捕捉到识别位置信息，将信号传输给PC端1，PC端1即发送下一组控制信号，完成信息的实时更新显示。

请参阅图3，整个系统中的超声波相控单元为树形网络拓扑连接，每一个超声波相控单元都有一个输入，多个输出，传输到输入端口的信号从所有输出端口输出，延迟十分小；使得进入根节点单元的输入端口的信号被中继到每个其他单元，可以以几乎同步的方式链接数千个单元。每个单元包含主从关系的多个FPGA控制器，一个主FPGA控制器，其余是从FPGA控制器，主FPGA控制器将整体坐标系下的焦点坐标转换为每一个相控阵单元所在坐标系中的坐标，从FPGA控制器接收来自主FPGA控制器的焦点位置和幅度信号，计算每个超声波换能器的适当相位延迟，并将驱动信号施加到单元的每一个超声波换能器，超声波换能器是一种发射型传感器，只用于发射超声波，不接收超声波；

手部位置捕捉传感器5采用Leap Motion控制器，是一种小型USB外围设备，设计用于放置在物理桌面上，具有较小的观察区域和较高的设备分辨率，用Leap Motion控制器捕捉手部位置与动作，判断触摸者是否完成了显示内容的触摸，如完成了触摸立即像控制端发送信号，控制端立即发送下一组焦点时间序列，用于空间成像。

本发明一种辅助盲人感知的超声波触觉反馈方法，首先生成期望的振动触觉盲文点，采用相位检索的方式确定焦点数据的时间序列，PC端将时间序列发送到微控制器，微控制器根据焦点位置和幅度计算相位延迟并在换能器上产生所有驱动信号并传递给超声波换能器，使用空间调制的方法，控制由超声波相控阵包围的腔中的声压分布，实现静止且可自由触摸的空中虚拟盲文点，盲人用手从左到右触摸识别完成像的盲文，手部位置捕捉传感器检测到已完成识别，立即呈现下一组盲文信息，从而辅助盲人非接触触摸感知。具体工作过程如下：

S1、PC端显示需要形成的盲文符号，通过对盲文符号进行分析，焦点计算，形成包含焦点位置(x,y,z)的坐标信息，焦点振幅以及焦点的持续时间的时间序列；

盲文的基本单位是长方形的盲符，有位置固定的六个点，分为左右两行，上中下三层，通过有的点突出，有的点不突出的组合方式形成不同的含义的盲符；

S2、微控制器从PC端接收包含位置信息、焦点振幅和焦点持续时间的时间序列信息的控制信号，并将聚焦信号包发送到输入端口；

微控制器还可以接收来自PC端的传送命令，例如产生/移除焦点，移动焦点位置，传输存储在微控制器的内部存储器上的振动触觉波形，初始化超声波相控阵的位置设置；

S3、微控制器与FPGA控制器的主FPGA控制器连接，主FPGA控制器通过串行通信接收控制信息，每个单元以精确的间隔接收从微控制器发送的分组序列，主FPGA控制器根据全局坐标中每个超声波相控阵单元的位置将它们转换为本地坐标各单元对应的坐标系；

S4、FPGA控制器的从FPGA控制器从主FPGA控制器接收焦点位置和幅度，直接连接到手部运动捕捉传感器，计算每个手部运动捕捉传感器的适当相位延迟，以便聚焦在所需位置；

S5、从FPGA控制器发出驱动信号，每个信号由通过数字输出发射的0和1流表示，信号模式被分成以循环方式发射的离散数量的步骤，通过移动模式获得不同的相位；

占空比可用于控制输出波的幅度。尽管使用半方波，但鉴于它们的共振特性，发现超声波换能器的输出是正弦波。使用方波简化了电子设备并减少了每个通道所需的数字线路，同时仍然允许产生激励信号，产生具有受控幅度和相位的声学正弦波。

超声波换能器能够发出40khz的超声波信号，为了产生人体皮肤能够感受到的频率的信号，需要进行调制，每个超声波换能器由脉冲宽度调制(PWM)进行驱动，需要进行占空比设计计算，直流电压V与占空比D的关系式如下：

通过适当调整时间驱动模式创建各种显示的振动触觉感觉变得更加真实。

特别地，需要高采样率和精细量化的超声包络。为了实现这一点，驱动脉冲d(t)必须快速变化，其动态范围必须尽可能宽。但大多数传感器的工作电压高达20Vpp。因此，为了用足够的电压(和功率)激励换能器，必须放大逻辑信号，增加驱动能力，选择对于每两个通道，该电路使用双驱动器MOSFET，带有2个去耦电容。

S6、使用空间调制的方法，控制由超声波相控阵包围的腔中的声压分布，实现静止且可自由触摸的空中虚拟盲文点；

基于超声波的非线性现象，其声辐射压力P[Pa]描述为：

其中，E[J/m³]是超声波能量密度；I[W/m²]是超声波的声强；c[m/s²]是超声波在介质中传播的速度；p[Pa]是超声波的RMS声压；ρ[kg/m³]是介质密度；α≡1+R²，是1和2之间的常数，并取决于物体表面的反射系数R；如果物体表面完全反射入射的超声波，则α＝2；如果吸收了整个入射超声波，则α＝1。声辐射压力的方向与超声波的传播方向一致。可见声辐射压力P与声压p的平方成正比。

声压p在边界S₀范围产生的辐射力F近似为：

一个具有复增益q_i并位于τ_i处的单一换能器在空间τ处产生的单一频率声压p_i(τ)描述为：

其中，D(θ)是换能器的指向性函数；θ_i(τ)是换能器法向和τ-τ_i方向之间的角度；_β是衰减系数；k是超声波的数量。

一个相控阵产生的波场描述为：

其中，将传递系数合并为G_i(τ)。

对于空间离散波场p(τ)，简化的线性方程描述为：

p＝Gq(5)

其中，线性算子G由换能器的物理排列而确定。对于离散的控制点，公式(5)描述了由相控阵复增益q在工作空间产生复合压力p的模型。

为得到合适的声压p，需确定相控阵驱动信号参数q，采用相位检索方法。

根据检测到的声波强度信息，利用波传播时的可逆性，使随机输入的初始信号在焦点平面和超声波换能器平面之间进行傅里叶正逆变换迭代计算，同时施加傅里叶幅值约束和时域约束，进而得到驱动信号的相位信息。

相位检索方法具体实施步骤如下：

S601、输入傅里叶幅值平方的测量值；

S602、选择一个随机输入信号进行初始化；

S603、当循环次数未达到超声波波数时执行循环程序，否则进行步骤S609；

S604、循环次数自增；

S605、计算随机输入信号的离散傅里叶变换；

S606、对输入的测量值施加傅里叶幅值约束；

S607、计算施加幅值约束后的信号的离散傅里叶逆变换；

S608、施加时域约束，得到迭代后的信号并返回步骤S603；

S609、结束循环，输出底层信号的近似值。

确定相控阵驱动信号参数q，根据线性算子G，产生空间复合压力p。

选择超声波换能器能够发射40khz超声波，不同的超声波相控阵单元在三维空间构成一个多面的超声波相控阵，形成一个具有声场的空腔。

S7、为PC端发送焦点信息给微控制器，微控制器发送驱动信号给超声波相控阵，空间包围的超声波相控阵的空腔里形成一组盲文点，当盲人用手在空间里从左至右完成一组触觉点的识别后，手部运动捕捉传感器捕捉手部位置，将已完成识别的信息发送到PC端，PC端则立即发送下一组焦点数据信息给控制单元，完成新一组的触点生成，如图4所示。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。