一种汉语文本检索方法及汉语文本检索装置

摘要

本发明的实施例公开一种汉语文本检索方法及汉语文本检索装置。汉语文本检索方法包括：获取用户输入的搜索字符串；查询预先设置的映射库，所述映射库存储有各汉字分别映射的等价字符集，将搜索字符串映射为由等价字符集为元素的搜索串，所述等价字符集为汉字自身及其对应的异体字、和/或，简体字、和/或，繁体字、和/或，通假字集合或该集合的子集；依据获取的所述等价字符集为元素的搜索串检索汉语文本库，得到与用户输入的搜索字符串相匹配的多种汉字等价形式检索结果。应用本发明，可以无需用户具备汉字各种变体形式的知识，并提升检索效率。

说明书

技术领域

本发明涉及计算机检索技术，尤其涉及一种汉语文本检索方法及汉语文本 检索装置。

背景技术

随着通信技术的迅猛发展，各类信息呈现爆炸式的增长，在当今的信息时 代中，如何快速、有效检索所需的信息成为用户以及各信息运营商关注的热点 话题，也是大数据时代信息服务最基本的目标之一。

信息搜索(或信息检索)是指依据用户输入的搜索字符串，进行关键字词 提取后，利用字符串检索、正则表达式检索或其它方式，从存储的信息库中查 询出与提取的关键字词相匹配的信息并向用户展示的过程。其中，字符串检索 是文本查找、文本编辑、文本分析中最为基本的功能，通常指字符串的简单的、 精确的匹配过程，如检索“color”则仅得到所有包含“color”的字符串，但不会获得 “colour”等单词的变化形式。作为一种增强的检索方式，正则表达式用于描述一 系列符合某一句法规则的字符串，已经成为现代文本编辑器以及信息检索的基 本功能，利用正则表达式可以描述多个符合某一模式的文本，例如“colo(u？)r”， 其中字符“u”后的“？”表示前面的字符可以出现0次或1次，因此可以同时检索获 得包含“color”或“colour”的字符串；再例如“she*p”，其中“*”表示前面的字符“e”可 以出现0次或重复任意多次，因此，基于“she*p”进行信息检索，可以得到包含 “shp”、“shep”、“sheep”、“sheeep”等的多个检索结果。字符串检索和正则表达式检 索对于英文为代表的基于字母拼写的文字有良好的支持。

由于汉语语言在演进过程中，汉语文本中的汉字字形和词形具有不同的异 体、简繁、通假等形式，因而，汉字具有不同的书写形态甚至编码方式。例如， 汉字在中国大陆、香港和台湾地区，分别具有不同的异体、简繁以及通假字， 并对应不同的编码方式，从而对汉语文本检索带来了挑战。为了检索汉语文本， 目前较为成熟的汉语文本检索方法是采用统一码(Unicode)检索方式。Unicode 是一种在计算机上使用的字符编码，通过为每种语言中的每一字符设定统一且 唯一的二进制编码，从而可以满足跨语言、跨平台进行文本转换、处理以及检 索的需求。但该基于Unicode的汉语文本检索方法，获取的检索结果往往较为有 限，不能满足用户的检索需求。例如，汉语文本中的“强”，具有异体字“強”，汉 语文本中的“户”，分别具有异体字以及不同字形“戶/戸”，汉语文本中的“国”， 具有繁体字“國”，以及，汉语文本中的“发”，具有繁体字“髮”和“發”等。这样，如 果用户输入的搜索字符串为“删节”，则只能获取与“删节”有关的检索结果，而不 能获取与“刪節”、“删節”、“刪节”、“删節”等有关的检索结果，使得检索结果较为 单一，不能覆盖相关联的检索信息库，使得检索效率较低；如果用户需要获取 较为广泛的检索结果，需要依次输入“刪節”、“删節”、“刪节”、“删節”等字符串搜 索词，或者，通过正则表达式输入“[删刪][节節]”，该两种方法都需要用户掌握 输入的搜索词对应的异体字、繁体字、通假字等，对用户的要求较高，因而， 在实际检索应用中，缺乏可执行性。

发明内容

有鉴于此，本发明实施例提供一种汉语文本检索方法及汉语文本检索装置， 无需用户对汉字各种变体形式的知识，并提升检索效率。

为达到上述目的，本发明的实施例采用如下技术方案：

一方面，本发明实施例提供一种汉语文本检索方法，包括：

获取用户输入的搜索字符串；

查询预先设置的映射库，所述映射库存储有各汉字分别映射的等价字符集， 将搜索字符串映射为由等价字符集为元素的搜索串，所述等价字符集为汉字对 应的异体字、和/或，简体字、和/或，繁体字、和/或，通假字集合或该集合的子 集；

依据获取的所述等价字符集为元素的搜索串检索汉语文本库，得到与所述 用户输入的搜索字符串相匹配的多种汉字等价形式检索结果。

本发明实施例提供的汉语文本检索方法，通过对用户输入的搜索字符串进 行相应的异体字、和/或，简体字、和/或，繁体字、和/或，通假字扩充，并基于 扩充的搜索字符串进行检索，使得用户无需知晓汉语的多种文本形式即可进行 多种文本形式的检索，从而可以更有效获取所需的检索信息，提升检索效率。

另一方面，本发明实施例提供一种汉语文本检索装置，包括：用户输入模 块、等价字符集处理模块以及检索模块，其中，

关键词提取模块，用于获取用户输入的搜索字符串；

等价字符集处理模块，用于查询预先设置的映射库，所述映射库存储有各 汉字分别映射的等价字符集，将搜索字符串映射为由等价字符集为元素的搜索 串，所述等价字符集为汉字自身及其对应的异体字、和/或，繁体字、和/或，通 假字集合或该集合符合用户需求的子集；

检索模块，用于依据获取的所述等价字符集为元素的搜索串检索汉语文本 库，得到与所述用户输入的搜索字符串相匹配的多种汉字等价形式检索结果。

本发明实施例提供的汉语文本检索装置，关键词提取模块获取用户输入的 搜索字符串，等价字符集处理模块对搜索字符串进行相应的异体字、和/或，繁 体字、和/或，通假字扩充，检索模块基于扩充的搜索字符串进行检索，使得用 户无需知晓汉语的多种文本形式即可进行多种文本形式的检索，从而可以更有 效获取所需的检索信息，提升检索效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述 中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付 出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例汉语文本检索方法流程示意图；

图2为本发明实施例汉语文本检索装置结构示意图。

具体实施方式

下面结合附图对本发明实施例进行详细描述。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实 施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前 提下所获得的所有其它实施例，都属于本发明保护的范围。

图1为本发明实施例汉语文本检索方法流程示意图。参见图1，该方法包括：

步骤101，获取用户输入的搜索字符串，称为待检索文本；

步骤102，查询预先设置的映射库，所述映射库存储有各汉字映射的等价字 符集，将搜索字符串映射为由等价字符集为元素的搜索串，所述等价字符集为 汉字自身及其对应的异体字、和/或，简体字、和/或，繁体字、和/或，通假字集 合或该集合的子集；

本步骤中，针对汉语独有的异体、简繁、通假等多种文本形式的问题，为 提升汉语文本检索的效率，本发明实施例通过设置基于等价字符集进行预转换 的检索方法，即对用户输入的搜索字符串进行相应的异体字、和/或，繁体字、 和/或，通假字扩充，使得用户无需知晓汉语的多种文本形式即可进行多种文本 形式的检索，从而可以更有效获取所需的检索信息，提升检索效率。

本发明实施例中，映射库中的等价字符集为汉字(词)可能出现的各种简 繁体字(词)、和/或，异体字(词)、和/或，通假字(词)或其任意组合(集 合)。例如，作为一可选实施例，汉字“飞”(关键字)具有相应的繁体字“飛”， 因此，简体汉字“飞”对应的等价字符集为：{飞，飛}。也就是说，简体汉字“飞” 以及繁体汉字“飛”映射的等价字符集均为：{飞，飛}，这样，无论用户输入的搜 索字符串是简体汉字“飞”还是繁体汉字“飛”，都可以按照搜索字符串映射的等价 字符集{飞，飛}进行检索，可以有效扩展检索结果，从而提升检索效率。同样， 繁体字“飛”也具有相应的简体字“飞”，繁体汉字“飛”对应的等价字符集也是{飞， 飛}。再例如，对于汉语文本(字)“户”，对应的等价字符集为：{户，戶，戸} 等。

实际应用中，可以依据实际检索的需要构建等价字符集，相当于各种形式 汉字的符合条件的某个子集，例如，构建的等价字符集可以只包括简体字(词) 与简体字(词)对应的异体字(词)，而不考虑繁体字(词)以及通假字(词)； 也可以只包括简体字(词)与简体字(词)对应的繁体字(词)，而不考虑异 体字(词)以及通假字(词)；还可以只包括简体字(词)与简体字(词)对 应的通假字(词)，而不考虑繁体字(词)以及异体字(词)；还可以是上述 三者的任意组合。也就是说，等价字符集包括：异体字符等价集、繁体字符等 价集、通假字符等价集以及组合字符等价集，其中，组合字符等价集中包括有 简体字(词)与简体字(词)对应的异体字(词)以及繁体字(词)，或者， 简体字(词)与简体字(词)对应的异体字(词)以及通假字(词)，或者， 简体字(词)与简体字(词)对应的繁体字(词)以及通假字(词)，或者， 简体字(词)与简体字(词)对应的异体字(词)、繁体字(词)以及通假字 (词)。

本发明实施例中，作为可选实施例，对于异体字符等价集，可以参照异体 字对照表规范进行构建，对于繁体字符等价集，可以参照繁简体字对照表规范 进行构建，对于通假字符等价集，可以参照通假字对照表规范进行构建。

当然，实际应用中，等价字符集也可以允许用户根据方言或其它实际需要 自行定制。例如，“您”和“你”，“他”和“她”在特定的检索中可视为等价字符集。这 样，本发明实施例中，该方法还可以进一步包括：

在等价字符集中存储汉字对应的异体字、和/或，简体字、和/或，繁体字、 和/或，通假字集合。

作为一可选实施例，将搜索字符串映射为由等价字符集为元素的搜索串包 括：

依据每一搜索字符串中的汉字，遍历映射库中的各等价字符集，获取包含 有所述每一搜索字符串中的汉字的等价字符集，得到由等价字符集为元素的搜 索串。

本步骤中，如前所述，如果得到的搜索字符串中的汉字(组)为“飞机”，则 对于搜索字符串中的汉字“飞机”，遍历映射库中的各等价字符集，获取包含有搜 索字符串中的汉字“飞”和“机”的等价字符集，以用户考虑简繁体等价字符集的子 集为例，得到“{飞，飛}{机，機}”。

步骤103，依据获取的所述等价字符集为元素的搜索串检索汉语文本库，得 到与所述用户输入的搜索字符串相匹配的多种汉字等价形式检索结果。

本步骤中，获取的所述等价字符集的数量可以为一个或多个。

该方法进一步包括：

A21，所述映射库中还设置有等价字符集映射的等价字符集编码；

本步骤中，作为可选实施例，等价字符集编码为统一(Unicode)编码。在 Unicode编码中，每一汉字对应有一唯一的Unicode编码，本发明实施例中，为 了后续检索方便，进一步提升检索效率，考虑到Unicode编码中还存在大量的空 白位置，以用于未来的增补或用户自定义的汉字进行字符编码，利用Unicode 编码中尚未使用的字符编码对构建的字符等价集进行扩展的Unicode编码。

本发明实施例中，Unicode编码中尚未使用的字符编码对应的私有专用区包 括(均以16进制表示)：

专用区(Private Use Area)，对应的字符编码范围为：E000-F8FF；

补充专用区-A(Supplementary Private Use Area-A)，对应的字符编码范围 为：FFF80-FFFFF；以及，

补充专用区-B(Supplementary Private Use Area-B)，对应的字符编码范围 为：10FF80-10FFFF。

作为可选实施例，可以在映射库中，设置每一等价字符集分别对应专用区、 补充专用区-A或补充专用区-B中的一字符编码。例如，可以设置等价字符集{飞， 飛}的等价字符集编码为专用区中的字符编码E000，采用Unicode字符的标准写 法，记为：U+E000，即编号为十六进制E000的字符编码表示等价字符集{飞， 飛}。

也就是说，等价字符集可编码为该字符集中的任选的某一代表性汉字编码， 或者另选统一编码中专用区对应的字符编码、补充专用区-A对应的字符编码以 及补充专用区-B对应的字符编码。

作为另一可选实施例，等价字符集编码也可以为：GB2312编码或GB18030 编码等。较佳地，利用GB2312编码字符集或GB18030编码字符集中的空位字 符对等价字符集进行编码。

作为再一可选实施例，等价字符集编码还可以直接利用等价字符集中任一 汉字对应的Unicode编码、GB2312编码或GB18030编码；或者，等价字符集编 码利用其它不冲突的字符编码。例如，对于汉字“飞”对应的等价字符集，该等价 字符集编码为汉字“飞”的Unicode编码、GB2312编码或GB18030编码，但涵义 是表征其等价字符集。

这样，所述依据获取的所述等价字符集为元素的搜索串检索汉语文本库， 得到与所述用户输入的搜索字符串相匹配的多种汉字等价形式检索结果包括：

A22，将汉语文本库中的文本逐字按照映射库中该字映射的等价字符集编码 进行转换，得到编码的汉语文本库；

本步骤中，对于汉语文本库中每一字，按照该字映射的等价字符集编码， 对汉语文本库中每一字进行相应编码转换，得到编码的汉语文本库。

A23，从编码的汉语文本库中，查询与获取的所述等价字符集映射的等价字 符集编码相匹配的编码，并将相匹配的编码对应的汉语文本作为检索结果。

本步骤中，从编码的汉语文本库中，查询与搜索字符串映射的等价字符集 编码相匹配的编码。

所应说明的是，步骤A22与步骤A23可以具有先后顺序，也可以同时进行。 例如，不是对汉语文本库先执行完转换预处理再检索，而是边进行转换预处理 边检索，即在检索的过程中不断将搜索字符串的下一个符号进行等价字符集编 码的转换和比较，这种转换也可以是隐含的，但其效果是比较待检索内容和检 索目标的汉字是否在简繁体、异体、通假等方面是等价的。

较佳地，该方法还可以进一步包括：

存储编码的汉语文本库，以在后续进行检索时，直接基于该存储的编码的 汉语文本库进行搜索字符串对应的编码检索。

作为另一可选实施例，该方法进一步包括：

A31，所述映射库中还设置有等价字符集映射的等价字符集编码；

A32，遍历汉语文本库，按照搜索汉字映射的等价字符集编码，对汉语文本 库中包含的所述搜索汉字进行转换，得到部分编码的汉语文本库；

本步骤中，获取汉语文本库中与搜索汉字相匹配的待转换字，按照该待转 换字映射的等价字符集编码对该待转换字进行编码转换，得到部分编码的汉语 文本库。例如，假设搜索汉字映射的等价字符集为“飞/飛”，则对于汉语文本库 中的某一汉语文本“飞机在天上飛”，进行等价字符集映射的等价字符集编码转换 后，得到搜索汉字对应的等价字符集编码形式(部分编码的汉语文本)为： “\UE000机在天上\UE000”。

A33，从部分编码的汉语文本库中，查询与获取的所述等价字符集映射的等 价字符集编码相匹配的编码，并将相匹配的编码对应的汉语文本作为检索结果。

本发明实施例中，可以对搜索汉字，即检索目标串(P)以及汉语文本库， 即待检内容文本(Q)进行等价字符集编码预处理。即将待检内容文本(Q)中 的特定汉字(字)转换为其映射的等价字符集编码。也就是说，本发明实施例 中，作为一可选实施例，特定汉字可以根据用户输入的检索内容(即检索目标 串)分析其中的汉字，将待检内容文本(Q)中对应于检索目标串(P)中的每 个汉字，将其转换为该汉字映射的等价字符集编码。作为另一可选实施例，特 定汉字也可以针对待检内容文本(Q)中的每一汉字，将待检内容文本(Q)中 的每一汉字均转换为其对应的等价字符集编码。

本发明实施例中，作为可选实施例，可以将预处理后的检索目标串记为P’， 待检内容文本记为Q’。

在对待检内容文本进行编码转换后，基于转换后的待检内容文本Q’，在其 中检索编码转换后的检索目标串P’。其中，如果编码转换后的检索目标串P’为 简单的非正则表达式的字符串，则采用简单的字符串检索；如果编码转换后的 检索目标串P’为正则表达式，则采用正则表达式进行检索。

本发明实施例中，如前所述，如果搜索汉字中具有多个检索目标串P1、P2、 P3等，则在对汉语文本库进行等价字符集编码预处理时，可以获取汉语文本库 中与多个搜索字符串(多个检索目标串P1、P2、P3)相匹配的待转换字，按照 该待转换字映射的等价字符集编码对该待转换字进行编码转换后存储；或者， 对于汉语文本库中每一字，按照该字映射的等价字符集编码，对汉语文本库中 每一字进行相应编码转换后存储，即对待检内容文本Q的编码转换可以仅执行 一次，并将预处理后的待检内容文本Q’进行存储，以使后续的检索可以针对预 处理后的待检内容文本Q’执行，从而可以进一步提升检索的效率。

由上述可见，本发明实施例的汉语文本检索方法，通过设置等价字符集， 等价字符集可以灵活配置，具体可以根据简繁、异体、通假和用户自定义进行 配置，首先对待检索文本进行预处理，从而可以对待检索文本的全部汉字提前 完成预处理，以提升检索性能，再进行文本检索，支持字符串检索和正则字符 串检索，且多次检索可以共用一次预处理的结果。具有如下又以技术效果：

(1)大幅度降低了用户检索汉语文本的困难：用户可以无需掌握繁简体、 异体字和通假字的知识，只需要输入任何一种形式，即可同时检索其它类型的 文本串。

(2)通过等价字符集编码预处理的方式降低了检索的复杂度。现有技术中， 对于字符串检索，字符串检索的时间复杂度为O(n)，假设单一检索时长为T， 搜索字符串(检索目标串)包含m个汉字，如果其各种形式的组合(繁简体、 异体字和通假字的任意组合，假设组合数为k)均需要检索，因此，可以估计总 的检索时长为kT。其中，k随着m的增长呈指数增长(例如，2个汉字的简繁 体组合就有4种，3个汉字有8种，……，如果考虑异体、通假，则组合数量更 多)。而在本发明实施例的等价字符集编码预处理方法中，针对每次都进行预 处理的情形，预处理可以采取查表的方法进行，如果汉语文本库(待检内容文 本)长度为n，则预处理的时间复杂度也为O(n)，且通常低于检索的复杂度， 因此可设为aT，其中a小于或等于1。由于预处理后进行检索无需考虑各种组 合形式，总的检索时间为(a+1)T。因此，本发明实施例中，只要搜索字符串 中包含有1个待检汉字存在简繁、异体等情况，等价字符集编码预处理的方法 就可以有效地提升检索效率。对于正则表达式检索，其检索性能依赖于具有的 正则表达式内容，对于简单的正则表达式，检索的时间复杂度可以达到O(n)， 但要比简单的字符串检索慢。本发明实施例的等价字符集编码预处理可以降低 表达式的复杂度，使其性能有相对明显的下降，因此尽管增加了预处理的环节， 在通常情况下总体性能有一定提升。如果进行一次等价字符集编码预处理后即 存储结果，后续检索中，在预处理结果的基础上进行检索，则上述预处理的开 销可以忽略，几乎在任何情况下本发明实施例的等价字符集编码预处理方法均 可以超出现有的方法。

图2为本发明实施例汉语文本检索装置结构示意图。参见图2，该装置包括： 用户输入模块201、等价字符集处理模块202以及检索模块203，其中，

用户输入模块201，用于获取用户输入的搜索字符串；

等价字符集处理模块202，用于查询预先设置的映射库，所述映射库存储有 各汉字分别映射的等价字符集，将搜索字符串映射为由等价字符集为元素的搜 索串，所述等价字符集为汉字自身及其对应的异体字、和/或，简体字、和/或， 繁体字、和/或，通假字集合或该集合的子集；

本发明实施例中，对用户输入的搜索字符串进行相应的异体字、和/或，繁 体字、和/或，通假字扩充，使得用户无需知晓汉语的多种文本形式即可进行多 种文本形式的检索，从而可以更有效获取所需的检索信息，提升检索效率。

作为可选实施例，等价字符集处理模块202包括：查询单元、映射库存储 单元以及遍历单元(图中未示出)，其中，

查询单元，用于依据搜索字符串查询预先设置的映射库，

映射库存储单元，用于存储各汉字分别映射的等价字符集，所述等价字符 集为汉字自身及其对应的异体字、和/或，简体字、和/或，繁体字、和/或，通假 字集合或该集合的子集；

遍历单元，用于依据每一搜索字符串中的汉字，遍历映射库中的各等价字 符集，获取包含有所述每一搜索字符串中的汉字的等价字符集，得到由等价字 符集为元素的搜索串。

作为可选实施例，等价字符集处理模块202还可以进一步包括：

扩展单元，用于在等价字符集中存储汉字及其对应的异体字、和/或，简体 字、和/或，繁体字、和/或，通假字集合或该集合的子集。

检索模块203，用于依据获取的所述等价字符集为元素的搜索串检索汉语文 本库，得到与所述用户输入的搜索字符串相匹配的多种汉字等价形式检索结果。

本发明实施例中，作为可选实施例，检索模块203包括：等价字符集编码 存储单元、编码单元以及检索单元(图中未示出)，其中，

等价字符集编码存储单元，用于在所述映射库中设置等价字符集映射的等 价字符集编码；

本发明实施例中，Unicode编码中尚未使用的字符编码对应的私有专用区包 括(均以16进制表示)：

专用区(Private Use Area)，对应的字符编码范围为：E000-F8FF；

补充专用区-A(Supplementary Private Use Area-A)，对应的字符编码范围 为：FFF80-FFFFF；以及，

补充专用区-B(Supplementary Private Use Area-B)，对应的字符编码范围 为：10FF80-10FFFF。

作为可选实施例，可以在映射库中，设置每一等价字符集分别对应专用区、 补充专用区-A或补充专用区-B中的一字符编码。

编码单元，用于将汉语文本库中的文本逐字按照映射库中该字映射的等价 字符集编码进行转换，得到编码的汉语文本库；

检索单元，用于从编码的汉语文本库中，查询与获取的所述等价字符集映 射的等价字符集编码相匹配的编码，并将相匹配的编码对应的汉语文本作为检 索结果。

本发明实施例中，检索模块203还可以进一步包括：

编码转换存储单元，用于存储编码的汉语文本库，以在后续进行检索时， 直接基于该存储的编码的汉语文本库进行搜索字符串对应的编码检索。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程， 是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算 机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。 其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory， ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于 此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到 的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围 应以权利要求的保护范围为准。