一种基于大数据分析的工艺知识库构建方法

摘要

本发明属于人工智能知识工程领域，具体说是一种基于大数据分析的工艺知识库构建方法。针对制造企业在工艺知识的应用上存在的问题以及通过人工的方法构建工艺知识库中存在的缺点，本发明提出一种基于大数据分析的工艺知识库构建方法，从数据出发，利用机器学习与自然语言理解等人工智能技术，同时借助少量人工干预，在短时间内，构建全面与准确的专业知识库，并实现对知识应用场景的感知，能够适时激活知识条目，进而实现“场景化”的知识推送应用。构建出的工艺知识库内容更加准确，知识覆盖面更加广泛。因为基于大数据分析构建的工艺知识库，是从海量的历史工艺规程文件中构建而出的，能够有效解决人工构建的知识库存在知识覆盖面不足的问题。

说明书

技术领域

本发明属于人工智能知识工程领域，具体说是一种基于大数据分析的工艺知识库构建方法。

背景技术

经过多年的积累，制造企业虽然积累了数量巨大的工艺文件、工艺规范、设计数据、典型案例等工艺知识，但是由于缺乏有效分析方法，不能从积累的工艺知识中提取出有效的知识为工艺设计提供服务，导致目前工艺设计中存在着大量的重复性的工作，严重阻碍了工艺设计的效率。其主要表现在如下几个方面：(1)工序语句表述混乱。对同样的工作，不同的技术人员对工序名称、工序内容等表述不统一；(2)工艺文件复用程度低。对于同一工艺过程，不能从历史工艺文件获取类似的工艺进行借鉴，导致工艺设计存在大量重复的工作，降低了工作效率；(3)无法精准获取工艺知识。由于工艺知识繁多、交叉、零碎且存在于多个平台中，技术人员难以有效获取所有相关的工艺知识，同时对获取工艺知识，也很难精准获取知识所需的知识点，降低了工作效率。针对这种情况，部分制造企业普遍采用人工的方法，通过领域专家对该领域的理解来构建其所需的工艺知识库，但是构建出的工艺知识库的准确性和知识的覆盖性很大程度上取决于领域专家的专业水平，同时构建周期相对较长。

发明内容

针对制造企业在工艺知识的应用上存在的问题以及通过人工的方法构建工艺知识库中存在的缺点，为此，本发明提出一种基于大数据分析的工艺知识库构建方法，从数据出发，利用机器学习与自然语言理解等人工智能技术，同时借助少量人工干预，在短时间内，构建全面与准确的专业知识库，并实现对知识应用场景的感知，能够适时激活知识条目，进而实现“场景化”的知识推送应用。

本发明为实现上述目的所采用的技术方案是：

一种基于大数据分析的工艺知识库构建方法，包括以下步骤：

根据工艺规程文件中的历史信息，分别构建工序名称知识库、工序内容知识库、工序注意事项知识库、工艺执行资格证知识库、工艺设备知识库、部门代号知识库，根据上述知识库中的知识条目构建工序模板知识库，使用工序模板知识库中的知识条目构建工艺模板知识库中的知识条目，从而构建工艺模板知识库；

分别构建工艺规范知识库以及工艺参数知识库，使工艺规范知识库中的知识条目分别与工序名称知识库、工序内容知识库以及工艺参数知识库中的知识条目相关联，完成工艺知识库的构建。

所述构建工序名称知识库，包括以下步骤：

提取工艺规程文件中工序名称、工序内容；

对提取的工序名称、工序内容分别进行预处理；

将与处理后的工序名称信息和工序内容信息进行合并，组成一个分析单位，以利用工序内容中的语义信息对工序名称进行补充；

将分析单元中的数据映射到语义空间中的向量；

对语义空间中的向量进行语义相似度计算，将语义一致的向量进行归并，形成多个工序名称类簇；

对多个工序名称类簇进行校对；

将校对后的工序名称类簇储存进工序名称知识库。

所述构建工序内容知识库，包括以下步骤：

根据工序名称知识库中的工序名称与历史工序名称的对应关系，将一个工序名称对应的历史工序内容构建成一个分析单元；

将分析单元中的数据映射到语义空间中的向量；

对语义空间中的向量进行语义相似度计算，将语义一致的点进行归并，形成工序内容类簇；

对多个工序内容类簇进行校对，并在每个工序内容类簇中挑选出一个最为规范的工序内容作为该工序内容类簇的标准工序内容；

根据现场的使用情况以及相关标准，将标准工序内容中参数转化为参数变量槽，实现标准工序内容进行模板化；

将工序名称与工序内容进行关联；

将构建的工序内容模板和关联出的关联关系储存进工序内容知识库。

所述构建工序注意事项知识库，包括以下步骤：

获取工艺规程文件中的历史工序注意事项内容；

将历史工序注意事项内容中的工序注意事项语句映射到语义空间中的向量；

对语义空间中的向量进行语义相似度计算，将语义一致的点进行归并，形成多个工序注意事项类簇；

对多个工序注意事项类簇进行校对，并在每个工序注意事项类簇中挑选出一个最为规范的工序注意事项作为该工序注意事项类簇的标准工序注意事项；

将每个工序注意事项需要与工序内容进行关联；

将构建的标准工序注意事项，以及工序注意事项与工序内容的关联关系储存进工序注意事项知识库。

所述构建工艺执行资格证知识库，包括以下步骤：

获取工艺规程文件中的历史工艺执行资格证；

对获取的历史工艺执行资格证，按照编号对其进行去重操作，获得工艺执行资格证列表；

根据历史工艺规程对工序内容与工艺执行资格证进行关联，获取关联关系；

对关联关系进行校对，以剔除不正确的关联关系；

将工艺执行资格证、校对后的工艺执行资格证与工序内容的关联关系储存进工艺执行资格证知识库。

所述构建工艺设备知识库，包括以下步骤：

获取工艺规程文件中的历史工艺设备数据；

对获取的历史工艺设备数据进行去重操作，获得工艺设备列表；

根据历史工艺规程，对工艺设备与工序名称进行关联，，获得关联数据；

对关联关系进行校对，以剔除不正确的关联数据；

将构建的工艺设备和关联出的关联关系储存进工艺设备知识库。

所述构建部门代号知识库，包括以下步骤：

获取工艺规程文件中的部门代号数据；

对获取的部门代号数据进行去重操作，获得部门代号列表；

根据历史工艺规程，对部门代号与工序名称进行关联分析，获得关联数据；

对关联关系进行校对，以剔除不正确的关联数据；

将构建的部门代号和关联出的关联关系储存进部门代号知识库。

所述构建工艺模板知识库，包括以下步骤：

获取工艺规程文件中的工序名称、工序内容信息；

根据工序名称知识库与工序内容知识库，与获取的工序名称与工序内容进行分析，使历史的工序名称与工序内容分别与知识库中的工序名称和工序内容进行对应；

将分析后的工艺规程文件进行合并，获得工艺模板数据；

对工艺模板数据进行校对，以剔除不具有代表性的模板内容；

将处理后的工艺模板数据以及工艺模板与工序名称、工序内容的关联关系储存进工艺模板知识库。

所述构建工艺规范知识库，包括以下步骤：

工艺规范文件传输到工艺规范知识库中，并根据工艺规范体系对上传的工艺规范文件进行标注；

对工艺规范知识库中工艺规范文件进行单元化存储并对其建立全文索引。

所述构建工艺参数知识库，包括以下步骤：

提取工艺规范文件中的工艺参数表格；

将提取的工艺参数表格中的内容从文本结构转为数据库存储结构；

对转换后的工艺参数表格中的内容进行标注；

将标注后的工艺参数表格储存进工艺参数知识库。

本发明具有以下有益效果及优点：

1.本发明构建出的工艺知识库内容更加准确，知识覆盖面更加广泛。因为基于大数据分析构建的工艺知识库，是从海量的历史工艺规程文件中构建而出的，能够有效解决人工构建的知识库存在知识覆盖面不足的问题。

2.本发明构建周期更短，由于在工艺知识库构建中采用了自然语言处理、机器学习等技术，能够让计算机自动的从历史数据中挖掘出有用的知识，然后让专业人员对核对挖掘出的结果，极大的简化了人工工作的强度，进而缩短了构建的周期。

3.本发明规范了工艺用语，提升了工艺知识的复用率。通过大数据分析的方法构建出的工艺知识库，保留了历史语句与标准工艺用语之间的关联关系，进而能够利用这关联关系，来对历史语句进行规范化处理，从而使工艺用语规范化；同时在大数据分析的过程中，同时也保留了各类工艺知识之间的关联关系，能够有效的帮助工艺人员最大程度的对工艺知识进行复用。

附图说明

图1本发明各个知识库之间的关系图；

图2工序名称知识库构建流程图；

图3工序内容知识库的构建过程图；

图4工序注意事项知识库构建流程图；

图5工艺执行资格证知识库的构建流程图；

图6工艺设备知识库的构建流程图；

图7部门代码知识库的构建流程图；

图8工艺模板知识库的构建流程图；

图9工艺规范库与单元化工艺规范库构建流程图；

图10工艺参数知识库的构建流程图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

“依标准定标准”是保证知识库知识条目内容准确性、一致性与标准性的重要依据。也就是在构建知识库时利用已经构建的知识库，通过已经构建的知识库的知识条目的组合实现新知识库的构建，保证工艺知识库的总体质量。图1描述了各知识库间的构成关系，从而明确构建各知识库的前驱知识库，可作为知识库构建与质量校验顺序安排的依据。其中，工序名称、工序内容、工序注意事项、工艺设备、部门代号、工艺执行资格证库是最先构建的相对独立的基础知识库。之后，构建工序模板库。工序模板库中的知识条目(即工序模板)由工序名称、工序内容、工序注意事项、工艺设备、部门代号、工艺执行资格证库中的知识条目组合而成。工艺模板库中的模板由工序模板和工艺说明库中的知识条目组合而成。工艺规范知识库与工艺参数库建立关联关系。工艺参数关联与之对应的工艺规范条目。工序名称与工序内容关联与之对应的工艺规范知识条目。工艺知识体系标引工艺规范知识库、工序名称库、工序内容、工序注意事项、工艺设备、部门代号。

1工序名称知识库的构建

如图2所示，工序名称知识库需要对历史工艺规程中的工序名称进行分析，并利用语义理解技术，对历史工序名称的语义含义进行分析，进而对历史工序名称进行有效归并，同时通过专业人员对归并结果进行确定，进而构建出工序名称知识库。

工序名称知识库具体的构建流程主要包含8个步骤：(1)数据项提取。需要对工艺规程文件的文件结构进行分析，提取文件中的工序名称、工序内容等信息。(2)数据预处理。对提取的数据项进行数据预处理，该预处理包括数据格式转换、特殊符号转义、去干扰词等处理。(3)组成分析单元。由于工序名称比较简短，所含的信息较少，为此将工序名称与工序内容进行合并，组成一个分析单位，进而利用工序内容中的语义信息来对工序名称进行补充。(4)语义理解。通过语义理解技术将分析单元中的数据映射到语义空间中。(5)聚类分析。利用步骤4中语义映射，对语义空间中的点进行计算，将语义相同或相近的点进行归并，形成相应的类簇。(6)迭代学习。为了保证最终形成的类簇内工序名称尽可能的准确，需要利用迭代学习的方法，对结果进行迭代优化。(7)专业校对。将迭代学习后的工序名称类簇交由各专业进行校对。(8)知识入库。最后将校对后的数据，进行入库。

2工序内容知识库的构建

如图3所示，工序内容知识库需要对历史工艺规程中工序内容进行分析，对历史工序内容进行有效归并，并对归并的工序内容挖取出相应的参数槽，进而形成工序内容知识库。

工序内容知识库的构建流程主要包含8个步骤：(1)构建分析单元。根据构建工序名称知识库形成的工序名称与历史工序名称的对应关系，将一个工序名称对应的历史工序内容构建成一个分析单元。(2)语义理解。将一个分析单元中的数据映射到语义空间中。(3)聚类分析。利用步骤2中语义映射，对语义空间中的点进行计算，将语义相同或相近的点进行归并，形成相应的工序内容类簇。(4)迭代学习。为了保证最终形成的类簇内工序内容尽可能的准确，需要利用迭代学习的方法，对结果进行迭代优化。(5)专业校对。将迭代学习后的工序内容类簇交由各专业进行校对，专业人员在每个类簇中挑选出一个最为规范的工序内容作为该类簇的标准工序内容。(6)模板化。专业人员对挑选出的标准工序内容依据现场的使用情况以及相关标准，对标准工序内容中相关参数转化为参数变量槽，例如用“【件号】”表示该区域需要填写相应的零件号或零件名称。对步骤5挑选的标准工序内容进行模板化。(7)关联分析。由于每个工序内容应关联一个工序名称，为此需要对工序名称与工序内容进行关联分析，建立起数据关联。(8)知识入库。将构建的工序内容模板和关联出的关联关系，进行知识入库。

3工序注意事项知识库的构建

如图4所示，工序注意事项知识库需要对历史工艺规程进行分析，分离出工艺规程中注意事项语句，并对分离出注意事项进行有效归并，形成工序注意事项知识库，同时挖掘工序注意事项与工序内容之间的关联关系，形成数据关联。

工序注意事项知识库的构建主要包含7个步骤：(1)数据项提取。对工艺规程文件的文件结构进行分析，构建工序注意事项解析器，来获取历史工序注意事项内容。(2)语义理解。将分离出的工序注意事项语句映射到语义空间中。(3)聚类分析。利用步骤2中语义映射，对语义空间中的点进行计算，将语义相同或相近的点进行归并，形成相应的类簇。(4)迭代学习。利用迭代学习的方法，对工序注意事项类簇结果进行迭代优化。(5)专业校对。将迭代学习后的注意事项类簇交由专业人员进行校对，专业人员在每个类簇中挑选出一个内容最规范的注意事项来代表该类簇。(6)关联分析。每个工序注意事项需要与工序内容进行关联，为此需要对注意事项与工序内容进行关联分析，建立起数据关联。(7)知识入库。将构建的工序注意事项，以及工序注意事项与工序内容的关联关系，进行知识入库。

4工艺执行资格证知识库的构建

如图5所示，工艺执行资格证知识库需要对历史工艺规程进行分析，汇总出历史工艺规程中使用过的工艺执行资格证，进而构建出工艺执行资格证知识库，同时对历史工艺规程中的工序内容与工艺执行资格证进行关联分析，形成数据关联。

工艺执行资格证知识库的构建流程主要包含5个步骤：(1)数据提取。对工艺规程文件的文件结构进行分析，构建工艺执行资格证解析器，来获取历史工艺规程中的工艺执行资格证。(2)去重。对获取的历史工艺执行资格证，按照编号对其进行去重操作，进而获得工艺执行资格证列表。(3)关联分析。由于工艺执行资格证与工序内容之间存在一定的关联关系，为此需要根据历史工艺规程对工序内容与工艺执行资格证进行关联分析，进而获取关联关系。(4)专业校对。将步骤3中得到的关联数据交由专业人员进行校对，剔除不正确的关联关系。(5)知识入库。将校对后的工艺执行资格证结果与挖掘出的工艺执行资格证与工序内容的关联关系，进行知识入库。

5工艺设备知识库的构建

如图6所示，工艺设备知识库需要对历史工艺规程中的工艺设备信息进行分析，将工艺设备信息进行汇总，进而构建出工艺设备知识库，并对历史工艺规范中工序名称与工艺设备之间的关联关系进行分析，形成数据关联。

工艺设备知识库的构建流程主要包含5个步骤：(1)数据提取。对工艺规程文件的文件结构进行分析，构建工艺设备解析器，来获取历史工艺规程中的工艺设备数据。(2)去重。对获取的历史工艺设备进行去重操作，进而获得工艺设备列表。(3)关联分析。由于工艺设备与工序名称之间存在关联关系，为此需要根据历史工艺规程，对工艺设备与工序名称进行关联分析，进而获得关联数据。(4)专业校对。将步骤3中得到的关联数据交由专业人员进行校对，剔除不正确的关联关系。(5)知识入库。将构建的工艺设备和关联出的关联关系，进行知识入库。

6部门代号知识库的构建

如图7所示，部门代号知识库需要对历史工艺规范中的部门代号信息进行分析，将部门代号进行汇总，构建出部门代号知识库，并对历史工艺规范中工序名称与部门代号之间的关联关系进行分析，形成数据关联。

部门代号库的构建流程主要包含5个步骤：(1)数据提取。对工艺规程文件的文件结构进行分析，构建部门代号解析器，来获取历史工艺规程中的部门代号数据。(2)去重。对获取的部门代号编码，进行去重操作，将获得部门代号列表。(3)关联分析。由于部门代号与工序名称之间存在关联关系，为此需要根据历史工艺规程，对部门代号与工序名称进行关联分析，进而获得关联数据。(4)专业校对。将步骤3中得到的关联数据交由专业人员进行校对，剔除不正确的关联关系。(5)知识入库。将构建的部门代号和关联出的关联关系，进行知识入库。

7工艺模板知识库的构建

如图8所示，工艺模板知识库需要根据构建的工序名称知识库与工序内容知识库中的内容，对历史工艺规程文件进行标准化处理，进而来获得相应的工艺模板。

工艺模板知识库的构建流程主要包含5个步骤：(1)数据项提取。对工艺规程文件的文件结构进行分析，构建工艺规程解析器，获取每个工艺规范文件中的工步、工序名称、工序内容等信息。(2)标准化分析。根据构建工序名称知识库与工序内容知识库，与获取的工序名称与工序内容进行标准化分析，使历史的工序名称与工序内容分别与知识库中的工序名称和工序内容进行对应。(3)去重。对历史工艺规程进行标准化分析后，利用编号、版次等信息，将相近的工艺规程文件进行合并，进而获得模板列表。(4)专业校对。将步骤3中得到的模板列表交由专业人员进行校对，剔除不具有代表性的模板内容。(5)知识入库。将获得的工艺模板数据以及工艺模板与工序名称、工序内容的关联关系，进行知识入库。

8工艺规范知识库与单元化工艺规范知识库的构建

如图9所示，工艺规范库是将在工艺编制过程中需要参考的工艺规范文件上传到本系统中，并对该文档进行体系化管理；单元化工艺规范库是在工艺规范库的基础上，对工艺规范库中的文档进行内容提取，按照章节段落对工艺规范文件进行单元化处理，并对单元化处理的结果建立全文索引。

工艺规范知识库与单元化工艺规范知识库的构建主要包含2个步骤：(1)数据导入。需要将工艺规范文件对应的Word或PDF文件，上传到工艺知识库构建系统中上。(2)体系标注。在上传的过程中，需要根据工艺规范体系对上传的工艺规范文件进行标注，标注完成后，该工艺规范文件就按照标注的内容将工艺规范文件保存到工艺规范知识库中。(3)内容提取。对导入的工艺规范库中的工艺规范，需要对文档中的内容进行提取。(4)单元化处理。对提取的文档内容，按照章节段落对文档内容进行单元化处理，并对工艺规范文件进行单元化存储；同时对文档中的图片进行提取与分析，并进行单元化存储。(5)全文索引。为了方便工艺人员能够快速查找到其所需的工艺规范内容，对工艺规范文件建立全文索引，以支撑工艺人员能够通过关键字来对工艺规范进行查找。

9工艺参数知识库的构建

如图10所示，工艺参数知识库是对工艺规范中常用的计算表格，进行电子化提取，并进行结构化保存，并对表格中的工艺参数进行查询逻辑的标注，使表格能够根据标注的信息，进行工艺参数定位查询。

工艺参数知识库的构建主要包含4个步骤：(1)表格提取。对工艺规范文件中的表格进行提取。(2)表格转换。将表格上的内容提取后，为了便于存储，需要对提取后表格的内容进行结构化转换。(3)表格标注。根据表格的查询逻辑，对表格中的内容进行标注，使之能够根据特定的输入，来进行工艺参数的定位查询，即对转换后的工艺参数表格中的内容安装知识体系标注所适用的零件种类、工况、产品系列、操作等信息。(4)表格入库。表格标注后，将表格进行入库操作。

实施例：

工艺名称知识库构建示例：

原始工序名称语句如表1：

表1

通过大数据分析后得到的结果为表2：

表2

比较例：

与传统的基于领域专家来构建的工艺知识库方法相比，基于大数据分析的工艺知识库充分的利用了海量历史工艺规程文件中蕴含的知识，有效的解决了基于领域专家构建的工艺知识库存在知识覆盖率偏低，知识扩展性不强的问题；在构建的过程中利用了自然语言处理技术和机器学习的方法，进而使构建的效率大大提高；同时让专业人员只对构建的结果进行校对，不仅减少了专业人员的工作难度和强度；而且保证了构建的工艺知识库的专业性。同时为验证该方法的有效性，设计了一组实验，针对某一专业工艺知识的构建，分别采用了两种方法构建，即采用基于领域专家的方法和基于大数据分析的方法，并从构建的周期与构建的知识库的准确性进行评价，其实验结果如表3：

表3实验结果

从实验结果上可以看出基于大数据分析的工艺知识库构建方法在构建周期上明显小于基于领域专家的方法，同时在构建的准确性上，基于大数据分析的工艺知识库构建方法也略好于基于领域专家的方法。