一种基于贝叶斯网络的设计意图识别方法及系统

摘要

本公开提出了一种基于贝叶斯网络的设计意图识别方法及系统，包括如下步骤：获取人体生理指标数据及人体动作数据；建立人体生理指标数据、动作信号与设计意图对应关系的人工神经网络训练模型；根据获取的信号、人工神经网络训练模型的训练结果及识别精度，采用贝叶斯网络并行推理识别设计指令，获得设计指令的组合；根据设计指令的组合确定设定意图。本公开通过贝叶斯网络并行推理的特点在人工神经网络训练模型存在识别误差的基础上进行进一步推理，从而使得推理获得的设计意图更加准确可信。

说明书

技术领域

本公开涉及人工智能相关技术领域，具体的说，是涉及一种基于贝叶斯网 络的设计意图识别方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，并不必然构成 在先技术。

计算机技术在硬件与软件上的飞速发展，使智能化、概念化的产品设计方 式所具备的条件日渐成熟。随着产品创新性的越来越受到企业的重视，为加快 产品详细设计过程，将设计过程流畅化，利用脑电、眼动、手势等人机交互方 式可以迅速捕捉人的设计意图，实现设计参数、指令的便捷输入，打破原有设 计过程中鼠标、键盘对于设计效率和设计思维的约束。

设计意图即设计人员试图完成某项设计任务的设计命令，如将草图A沿z 轴方向拉伸100mm，将实体的面1中心打上深度为10mm的小孔。设计意图潜藏 于设计人员内心，并不能被直接观测，且在表达成设计命令后才能确定。通过 各种探测手段和人机交互模式，能直接观测到设计人员所表现的脑电、眼动和 手势等特定设计信号或产品设计状态的改变，而这些活动则反映了设计意图。 充分利用这些信号和设计状态，能够显著加快设计过程，并保证设计人员的创 造过程不被繁琐的鼠标、键盘输入所打断。

发明人发现，目前，已有基于手势的设计意图捕捉技术，往往面向于产品 概念设计过程；而产品详细设计过程中操作指令繁多，基于手势的人机交互需 要设计人员进行大量的前期训练，极大增加了设计人员的学习时间和负担。同 时，目前的设计意图捕捉技术设计意图识别准确率较低。

发明内容

本公开为了解决上述问题，提出了一种基于贝叶斯网络的设计意图识别方 法及系统，考虑人工神经网络在设计指令识别精度不足以支撑产品详细设计过 程，利用贝叶斯网络并行推理的特点对设计意图进行不确定性推理，从而使得 推理获得的设计意图更加准确可信。

为了实现上述目的，本公开采用如下技术方案：

一个或多个实施例提供了一种基于贝叶斯网络的设计意图识别方法，包括 如下步骤：

获取人体生理指标数据及人体动作数据；

建立人体生理指标数据、动作数据与设计指令对应关系的人工神经网络训 练模型；

根据人工神经网络训练模型获取信号识别的设计指令及其精度，采用贝叶 斯网络并行推理识别设计意图，获得设计指令的正确组合方法；

根据设计指令的组合确定设定意图。

一个或多个实施例提供了一种基于贝叶斯网络的设计意图识别系统，包括：

获取模块：被配置为用于获取人体生理指标数据及人体动作数据；

人工神经网络训练模型建立模块：被配置为用于建立人体生理指标数据、 动作数据与设计指令对应关系的人工神经网络训练模型；

识别模块：被配置为用于根据人工神经网络训练模型获取信号识别的设计 指令及其精度，采用贝叶斯网络并行推理识别设计意图，获得设计指令的正确 组合方法；

设计意图确定模块：被配置为用于根据设计指令的组合确定设定意图。

一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序 被处理器执行时实现上述的方法中的步骤。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上 运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述的方法 中的步骤。

与现有技术相比，本公开的有益效果为：

(1)本公开考虑到脑电、眼动、手势等信号训练后作为设计意图识别的输 入证据，识别结果具有不准确性，为保证多源信息融合的设计意图识别准确率， 通过结合贝叶斯网络并行推理的特点,在人工神经网络训练模型存在识别误差 的基础上进行进一步推理，从而使得推理获得的设计意图更加准确可信。

(2)本公开的方法能够将人的智慧与计算机智能深度结合，体现了智能化 的识别过程；具有较高的识别准确率和较强的区别能力，同时，具有很强的可 操作性，将其应用到实践中，可以大大提高详细设计过程的效率，因此具有十 分重要的意义，为进一步工业产品详细过程应用打下了基础。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公 开的示意性实施例及其说明用于解释本公开，并不构成对本公开的限定。

图1是本公开实施例1的方法流程图；

图2是本公开实施例1的设计意图识别过程示意图；

图3是本公开实施例1的构建的贝叶斯网络的局部结构图；

图4是本公开实施例1的局部贝叶斯网络及各节点条件概率分布图。

具体实施方式：

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。 除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的 普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图 限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确 指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说 明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器 件、组件和/或它们的组合。需要说明的是，在不冲突的情况下，本公开中的各 个实施例及实施例中的特征可以相互组合。下面将结合附图对实施例进行详细 描述。

因此，本公开提出基于脑电、眼动、手势多源信息融合的设计意图捕捉方 法，如图1所示。通过借助NeurOne、Kinect和tobii等信号采集装置和深度 神经网络算法进行训练，实现对于指令包括：想定图形指令、选定指令、修改 指令和操作指令的准确识别。在指令识别的基础上，通过设计意图识别获得组 合指令，实现设计建模。设计意图可以包括：新建基本曲线、生成拉伸体、旋 转选中物体等等。本公开通过增加脑电和眼动信号，减少对于手势信号的依赖 并缩短训练过程，通过增加眼动信号可以实现位置信息或设计特征的选定。而由于脑电信号训练过程中往往识别率较低，仅为40％左右，通过训练脑电信号实 现设计基本体的调用。

实施例1

在一个或多个实施方式中公开的技术方案中，如图1所示，一种基于贝叶 斯网络的设计意图识别方法，包括如下步骤：

步骤1、获取人体生理指标数据及人体动作数据；

步骤2、建立人体生理指标数据、动作数据与设计指令对应关系的人工神经 网络训练模型；

步骤3、根据人工神经网络训练模型获取信号识别的设计指令及其精度，采 用贝叶斯网络并行推理识别设计意图，获得设计指令的正确组合方法；

步骤4、根据设计指令的组合确定设定意图。

可选的，所述人体生理指标数据包括脑电信号，所述人体动作数据包括眼 动信号、手势信号。

本实施例考虑到脑电、眼动、手势等信号训练后作为设计意图识别的输入 证据，本身识别结果具有不准确性。为保证多源信息融合的设计意图识别准确 率，通过结合贝叶斯网络并行推理的特点在人工神经网络训练模型存在识别误 差的基础上进行进一步推理，从而使得推理获得的设计意图更加准确可信。

步骤1中，可以通过NeurOne、Kinect和tobii等信号采集装置，采集脑 电信号、眼动信号和手势信号。按照时序获取设计人员的脑电、眼动、手势信 号进行记录。

设计意图是一个动态的过程，并随着设计进程的推进而不断丰富，一条设 计命令往往是是选定的几何特征、修改指令(或操作指令)与指令参数的共同 表达。设计命令包括：选定特征、修改指令(或操作指令)和指令参数。

即步骤4中的设计意图的输出即为设计命令组合，包括想定图形指令、选 定指令、修改指令、操作指令和指令参数等组合。

本实施例以CAD设计过程中建立复杂模型的设计意图为例进行说明，如表1 所示，为CAD设计过程设计意图的指令分解表。

表1

步骤2中，建立人体生理指标数据、动作数据与设计指令对应关系的人工 神经网络训练模型，针对CAD设计过程，如表2所示，可以具体为：

1)、脑电信号与想定图形指令建立对应关系，用于调用基本体或图线，作 为后续设计修改的基础对象；

2)、手势信号与修改指令或/和操作指令建立对应关系；

可选的，对于CAD设计过程，修改指令可以包括拉伸、放样、旋转、倒角、 打孔等；操作指令可以包括平移、旋转、缩放、撤销、删除等。

具体的，手势信号与修改指令建立对应关系，用于实现修改指令，对现有 对象进行拉伸、旋转、放样、倒角、打孔等操作，同时借助手先后位置实现修 改指令中的参数输入；

由于手势的灵活性，手势信号与操作指令建立对应关系，手势信号还可以 用于实现平移、旋转、缩放、撤销、删除等辅助设计功能。

3)、眼动信号与选定指令建立对应关系；

根据眼动信号的特点，能够实现点、线、面等特征的选定。

表2

还包括对人工神经网络训练模型训练的过程，通过训练建立修改指令或操 作指令、选定指令和指令参数与设计意图约束映射关系，根据不同设计人员针 对同一设计意图下的脑电信号、眼动信号和手势信号，建立人体生理指标数据、 动作数据与设计意图对应关系的普遍性、一般性的表达模式，在单信号识别率 低的前提下提高多信号融合的设计意图识别准确率。

具体的，人工神经网络训练模型的训练过程包括如下步骤：

步骤31、获取已知设计意图的设计人员的脑电、眼动及手势信号；

步骤32、以建立的人工神经网络训练模型中的对应关系，将脑电、眼动及 手势信号作为输入，以设计指令和识别精度为输出，输入至人工神经网络训练 模型进行训练，获得人工神经网络训练模型的参数。

进一步的，还包括对识别结果进行评价的过程，根据评价结果对配置权重 进行调整，以适应设计人员的绘制习惯，提高个体区分能力。即为设计人员根 据设计意图的准确性进行打分，根据分值高低，调整贝叶斯网络的权重系数。

同时识别结果将作为一个统计样本存入数据库，从而影响和更新贝叶斯网 络某些节点的条件概率分布值，以达到不断提升设计意图识别精度的目的。试 验采用Matlab语言编写，贝叶斯网络可以采用开源BNT库进行建立。

构建的贝叶斯网络的网络结构，可以如图3所示，包括依次连接的信号识 别结果输入层、设计指令节点层以及设计意图输出层。

信号识别结果输入层连接信号识别输出端，用于将人工神经网络训练模型 识别结果作为贝叶斯网络底层节点测量量；本实施例中为M

设计指令节点层包括选定特征节点、修改指令或操作指令节点以及指令参 数节点，为贝叶斯网络的网络节点。

设计指令节点层以选定特征、修改指令、操作指令作为贝叶斯网络节点。 其中，修改指令可以包括拉伸、放样、旋转、倒角、打孔等指令，操作指令可 以包括平移、旋转、缩放、撤销、删除等指令。

图3中，C

设计意图输出层为贝叶斯的网络根节点，图中I为需要识别的设计意图，如 草图沿某向拉伸，所述输出层的节点为设定数量确定、具体化的设计意图。

Signal为信号输入端，包括脑电、眼动、手势信号，本身不属于贝叶斯网 络，虚线用于人工神经网络训练模型识别结果与贝叶斯网络底层节点之间的对 应关系。无论设计意图中参数值如何均采用该贝叶斯网络进行推理，可以大大 节约计算机的运算和存储资源。

进一步地，可选的，通过向上迭代建立贝叶斯网络，建立贝叶斯网络的根 节点作为进一步推理的子节点，不断地向上迭代建立贝叶斯网络，以满足复杂 的设计意图的识别。

贝叶斯网络主要由两部分构成：一部分为有向无环图(Directed Acyclic Graph，DAG)，即贝叶斯网络结构，它由若干个节点和节点间的有向弧组成，节 点对应知识领域的随机变量，有向弧表示变量间的因果关系，弧的指向代表因 果影响的方向性：由父节点指向子节点:；另一部分为反映变量之间关联性的局 部概率分布：父节点的概率为边缘概率，通常称为条件概率表(Conditional Probability Table，CPT)，表中的概率值表示子节点与其父节点之间的置信度。

步骤3中，根据获取的数据及人工神经网络训练模型中的对应关系识别设 计指令，采用贝叶斯网络并行推理获得设计指令的组合的方法，具体的，识别 方法为：

步骤3-1、以建立的人工神经网络训练模型中的对应关系，将脑电、眼动及 手势信号作为输入，以识别精度作为贝叶斯网络的配置权重，以设计指令为输 出，输入至贝叶斯网络进行推理；

步骤3-2、在已知输入信号的条件下计算设计意图的后验概率P(X|D)，后 验概率最高的设计意图作为识别结果。

即为基于贝叶斯网络的设计意图识别就是求解给定证据的条件下假设变量 (设计意图)的后验概率P(X|D)，给定证据即为已发生的脑电、眼动、手势信号。

具体的，后验概率的计算过程如下：

假设设计过程中某时刻可能的设计意图为A

式中：P(A

在进行目标意图识别时，由于识别事件B和C的数量较多，确定B和C同 时发生的先验概率P(B∩C|A

本实施例设计意图识别问题，大部分识别事件是相互独立的，如“拉伸” 和“草图选择”，可选的，可以在构建网络过程中通过指定节点事件来实现。 根据概率公式，B、C相互独立，可得

P(B∩C|A

扩展到一般情况：当探测到的识别事件分别为B

本实施例中，建立贝叶斯网络的结构之后，对每个节点分配条件概率分布， 根据设置的条件概率分布计算根节点的后验概率。

具体的，分配条件概率分布可以为：根据脑电、眼动、手势信号的识别训 练精度，按照表3取各个修改指令(操作指令)的条件概率分布，按照表4取 各个选定特征的条件概率分布，按照表5取各个指令参数的条件概率分布，如 图3。由于各个设计意图表达是具有绘制等可能性的，对其根节点的先验概率赋 值0.1。

表1修改指令条件概率分布

表2选定特征条件概率分布

表3指令参数条件概率分布

如图4所示。本实施例设置的贝叶斯网络为三层，复杂程度低，可根据下 面的公式(1)直接推理得到根节点的后验概率P(I＝y|M

其中，P(M

＝P(M

+P(M

P(M

＝P(M

+P(M

本实施例基于贝叶斯网的设计意图识别技术，能够根据将脑电、手势、眼 动信号进行组合，提升整个设计意图识别精度，将人的智慧与计算机智能深度 结合，体现了智能化的识别过程；具有较高的识别准确率和较强的区别能力， 同时，具有很强的可操作性，将其应用到实践中，可以大大提高详细设计过程 的效率，因此具有十分重要的意义，为进一步工业产品详细过程应用打下了基 础。

实施例2

本实施例提供一种基于贝叶斯网络的设计意图识别系统，包括：

获取模块：被配置为用于获取人体生理指标数据及人体动作数据；

人工神经网络训练模型建立模块：被配置为用于建立人体生理指标数据、 动作数据与设计指令对应关系的人工神经网络训练模型；

识别模块：被配置为用于根据人工神经网络训练模型获取信号识别的设计 指令及其精度，采用贝叶斯网络并行推理识别设计意图，获得设计指令的正确 组合方法；

设计意图确定模块：被配置为用于根据设计指令的组合确定设定意图。

实施例3

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程 序被处理器执行时实现实施例1所述的方法中的步骤。

实施例4

本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上 并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例1 所示的方法中的步骤。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计 算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和 硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算 机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器 等)上实施的计算机程序产品的形式。

本公开是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的 流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框 图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。 可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他 可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程 数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程 和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备 以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的 指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流 程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使 得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理， 从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程 或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程， 是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算 机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。 其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory， ROM)或随机存储记忆体(RandomAccess Memory，RAM)等。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领 域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则 之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之 内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开 保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上， 本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开 的保护范围以内。