一种智慧监管黑匣子的非结构化资料汇集处理方法

摘要

本发明公开了一种智慧监管黑匣子的非结构化资料汇集处理方法。为了克服现有技术对非结构数据处理方式速度慢、效率低的问题；本发明通过对非结构化数据的结构化，生成内部特定标准的结构化数据资料，并实现非结构化数据文件向结构化数据转换，提高非结构化文件的编制效率，实现非结构化资料解析效率的最大化，利于后续数据分析和挖掘处理。

说明书

技术领域

本发明涉及一种数据汇集领域，尤其涉及一种智慧监管黑匣子的非结构化资料汇集处理方法。

背景技术

随着计算机技术和网络技术的发展，目前，各药品生产企业已经在企业内部生产线相关的操作中已采用无纸化的电子化处理模式，包括产品的生产过程资料、内部检验监测资料以及监管单位的抽检和申报动作等。但是在多台不同厂商、不同系统的生产设备间要想让数据统在某一中心则相当困难，需要熟悉不同业务系统数据标准，更需要对已生成的非结构化资料进行准确的解析。

目前药品生成企业所提供的整个药品生产过程资料多为非结构化数据，非结构化数据是指结构化数据以外的数据，数据结构不固定，无法使用关系数据库存储，只能够以各种类型的文件形式存放，如文档、文本文件、图片、PDF、图像格式等等。且非结构化数据只能通过手工处理，无法通过系统化的方式快速、高效的对非结构化数据进行处理。

例如，一种在中国专利文献上公开的“面向带有描述信息的海量非结构化数据分布式处理架构”，其公告号CN104216899A，包括数据采集模块，收集非结构化数据并发送至数据缓冲队列中；数据缓冲及预处理模块，暂存数据采集模块发送的数据，并可选择的对数据进行修复或二次处理工作；数据分离及归档存储模块，从前一个模块分布式队列中获取数据，可选择对非结构化数据和描述信息分离，分离后的数据转发或存储至后继模块，流处理模块，对最近接入的数据进行实时监测、比对、计算和处理；分布式数据存储模块，对非结构化数据和描述信息存储；分布式业务处理模块，包含业务处理器、数据访问单元和数据缓存组件；分布式消息中间件，接收前端请求供业务处理器选择执行，或将后台处理结果返回给前端。该方案对非结构数据处理方式速度慢、效率低。

发明内容

本发明主要解决现有技术对非结构数据处理方式速度慢、效率低的问题；提供一种智慧监管黑匣子的非结构化资料汇集处理方法。

本发明的上述技术问题主要是通过下述技术方案得以解决的：

一种智慧监管黑匣子的非结构化资料汇集处理方法，包括以下步骤：

S1：根据非结构化的资料文档格式，通过对应的图文识别手段获取文本内容，并在标准模板格式的基础上对识别后的内容修正；

S2：将识别并修正后的结构化内容标注对应的模板，并保存到数据库中对应的行列坐标中；

S3：根据标记的行列坐标信息，逐个向历史数据库中对应的模板信息进行匹配，保存匹配后文件模板相应坐标对应的标签；

S4：根据匹配的情况，匹配到对应标签的坐标信息，修改对应坐标的标签；

S5：将标签与坐标对应的文本内容生成结构化的字段并将字段对应的栈值进行标记；

S6：完成从无序非结构化文本到结构化字段栏位的转换。

通过对非结构化数据的结构化，生成内部特定标准的结构化数据资料，并实现非结构化数据文件向结构化数据转换，提高非结构化文件的编制效率，实现非结构化资料解析效率的最大化，利于后续数据分析和挖掘处理。

作为优选，所述的非结构化资料文档包括文本文档、Word文档、Excel文档、PDF文档和图片文档；

Word文档通过Word API技术对Word文档的内容进行读取，并在程序中按语法要求将转换后的数据写入文本文档中；

Excel文档通过Excel API技术读取Excel文档中所有单元格的内容及格式，从而完成从Excel文档到文本文档的转换；

图片文档以二进制形式存储，通过OCR文字识别技术转换图片中的文本内容。

文本文档有很多种不同的格式，常用的格式有ASCII、MIME、TEXT等等。这些格式的文件都可以通过文件流来输入输出数据。通过文件流完成文本文档的读取，将其中的文件结构和文件内容取出，来完成读取电子文档数据。

作为优选，所述的修正过程为在模板库中定义的标准模板的基础上对识别后的内容进行比对并进行内容补全。为实现非结构化数据文件向结构化数据转换提供基础。

作为优选，所述的步骤S3包括以下步骤：

S301：根据步骤S2标记的每个坐标信息，逐个向历史数据库中对应的模板数据行列信息进行匹配并进行打标签操作；

S302：保存匹配后文件模板相应坐标对应的标签；若未匹配到历史数据库中的标签，则对历史数据库进行更新，添加更新后的文档模板。

实现非结构化数据文件向结构化数据转换。

作为优选，在步骤S2和S3中，按行读取文档中的内容,在解析过程中，以字符为单位依次读取每一行的每一个字符,逐行进行读取，并获取每个字符的坐标值。

根据历史数据库中的文件模板，文档依据表映射的约束完整性，确保文档的结构化转换过程中文件的结构完全保留，以及历史数据库结构映射与语义映射的完整有效。

作为优选，所述的匹配过程为：将模板中的内容总体格式与识别出来的内容进行比对，选择最相似的模板。

本发明的有益效果是：

通过对标签、表格、pdf及word数据的结构化，生成内部特定标准的结构化数据资料，并实现非结构化数据文件向结构化数据转换，提高非结构化文件的编制效率，实现非结构化资料解析效率的最大化，利于后续数据分析和挖掘处理。

附图说明

图1是本发明的非结构化资料汇集处理方法流程图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：

本实施例的一种智慧监管黑匣子的非结构化资料汇集处理方法，如图1所示，包括以下步骤：

S1：根据非结构化的资料文档格式，通过对应的图文识别手段获取文本内容，并在标准模板格式的基础上对识别后的内容修正。

根据不同的文件格式与数据解析模板库进行匹配，将其识别为数据库可存储的结构化数据进行数据库存储；随之调用自学习模型将模板库中对应的模板原型参数进行调整优化，同时也提供在标准模板格式的基础上进行人工修正及复核。在本实施例中，修正过程为在模板库中定义的标准模板的基础上对识别后的内容进行比对并进行内容补全。

非结构化资料文档包括文本文档、Word文档、Excel文档、PDF文档和图片文档。由于文本文档、Word文档、Excel文档、PDF文档、图片文档等，不具有通用型，只能根据某一种文件的某一个特征进行分析、转换为文本文档。

在本实施例中，Word文档通过Word API技术对Word文档的内容进行读取，并在程序中按语法要求将转换后的数据写入文本文档中。

Excel文档通过Excel API技术读取Excel文档中所有单元格的内容及格式，从而完成从Excel文档到文本文档的转换。

图片文档以二进制形式存储，通过OCR文字识别技术转换图片中的文本内容。

文本文件是一种由若干行字符构成的计算机文件，由于结构简单，文本文件被广泛用于记录信息。文本文档有很多种不同的格式，常用的格式有ASCII、MIME、TEXT等等。这些格式的文件都可以通过文件流来输入输出数据。通过文件流完成文本文档的读取，将其中的文件结构和文件内容取出，来完成读取电子文档数据。

S2：将识别并修正后的结构化内容标注对应的模板，并保存到数据库中对应的行列坐标中。行列坐标指的是数据在数据库中对应的位置，以行和列对应的数字作为坐标。

S3：根据标记的行列坐标信息，逐个向历史数据库中对应的模板信息进行匹配，保存匹配后文件模板相应坐标对应的标签。

匹配是将模板中的内容总体格式与识别出来的内容进行比对，比对过程叠加对应的算法模型，将最相似的模板选择出来。

S301：根据步骤S2标记的每个坐标信息，逐个向历史数据库中对应的模板数据行列信息进行匹配并进行打标签操作；

S302：保存匹配后文件模板相应坐标对应的标签；若未匹配到历史数据库中的标签，则对历史数据库进行更新，添加更新后的文档模板。

在步骤S2和S3中，按行读取文档中的内容,在解析过程中，以字符为单位依次读取每一行的每一个字符,逐行进行读取，并获取每个字符的坐标值。

S4：根据匹配的情况，将匹配的模板取出解析，匹配到对应标签的坐标信息；修改对应坐标的标签，将原来的模板库中的坐标值修改到新匹配的坐标标签值。

S5：将标签与坐标对应的文本内容生成结构化的字段（程序后台根据对应模板结构进行内容填充，填充后生成对应的数据库可存储的内容）并将字段对应的栈值进行标记。

S6：对模板进行填充，完成从无序非结构化文本到结构化字段栏位的转换。

本实施例的方案通过对标签、表格、pdf及word数据的结构化，生成内部特定标准的结构化数据资料，并实现非结构化数据文件向结构化数据转换，提高非结构化文件的编制效率，实现非结构化资料解析效率的最大化，利于后续数据分析和挖掘处理。提高了非结构化数据的处理速度与效率。

应理解，实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。