一种档案自动编研方法

摘要

本发明属于档案分类与检索技术领域，涉及一种基于B/S架构档案管理信息系统的档案自动编研方法；首先按照案卷目录、卷内目录和专家登记卡界面给出的统一格式分别录入档案信息，再由档案录入与管理模块利用自动层次分类算法对档案信息进行自动分类和汇总，并分别存入相对应的数据库中；然后档案编研模块根据用户输入的编研条件和存入的信息对相应数据库进行检索、查询并汇总生成档案编研结果，最后将档案编研结果显示在屏幕上，或将档案编研结果以Word文档或Excel报表的形式导出打印后形成纸质文档保存，实现档案的自动编研；其设计原理科学可靠，编研劳动强度小，工作效率高，信息疏漏少，保证编研的质量和价值，编研效率高，编研环境友好。

说明书

技术领域：

本发明属于档案分类与检索技术领域，涉及一种基于B/S架构档 案管理信息系统的档案自动编研方法，为档案汇编和档案文摘汇编提 供由计算机软件完成的档案自动编研技术。

背景技术：

基于B/S架构的档案管理信息系统是传统档案馆功能在信息化 社会的延伸，既具有传统档案馆的基本属性和功能，又能适应信息时 代的发展需要，在实现常规档案数字化管理的同时，通过互联网和建 立数字档案存储数据库实现对各部门及各类档案信息的收集、存储、 管理和利用，为档案资源的利用提供信息化服务。面向档案利用的档 案编研工作是档案馆/室根据档案利用的实际需求，以档案馆/室库藏 档案为基础，以汇编档案参考资料为成果形式的一项专门工作。档案 编研工作的实质是对档案文件的内容进行研究和加工整理，并编研成 册，使之一目了然，以提高执政部门和单位综合管理水平和工作效率， 增强档案资源对社会的服务价值。目前，档案编研工作主要是以人工 编研为主，其速度慢，效率低，编研质量差。

传统的人工档案编研方法按照对档案的加工层次分为2种，第一 种档案编研的加工方法是在原始档案的基础上摘录、缩编和剪辑，形 成概要性材料；其加工档案编研的成果形式有：发文汇集、专题汇编、 专题档案文摘汇编，其中包括某一领域的专家学者及学术论文文摘汇 编、科技成果文摘汇编等等；第二种档案编研的加工方法是需要在对 原始档案资料的有关内容进行分析、研究和归纳的基础上，编写出新 的材料；其加工档案编研成果形式有：年鉴、组织沿革、史志和综合 性技术经济调研报告等。在第二种档案编研的加工成果形式中由于包 含了人们对事物的新认识、新观点、新的结论和新的建议等新内容， 从信息量的角度来看这些都是新增加的信息，所以这种档案编研加工 一般是由相关领域的专家或学者完成。而第一种加工档案编研成果包 含的信息是档案中已有的信息，不会增加信息量，不产生新的内容， 力求做到“全、精、准”，不能有疏漏，编研的内容要全面、细致， 宁多勿漏，并且随着时间的延续，需要编研的原始档案材料积累将会 达到海量数据量，对于海量数据由人工进行编研稍有大意就会造成信 息遗漏或出错，不能保证档案编研成果的质量和价值，其劳动强度大， 工作效率低，编研准确率差，制约了档案资源在海量数据规模和更高 技术水平上的充分开发和利用，人力成本很高。

发明内容：

本发明的目的在于克服现有技术存在的缺点，寻求设计提供一种 基于档案管理信息系统的档案自动编研方法，采用计算机自动分类和 检索技术自动生成档案编研成果形式，提高档案编研效率和准确率， 减少人工编研时的信息疏漏。

为了实现上述目的，本发明在基于B/S架构的档案管理信息系统 中由档案录入与管理模块和档案编研模块联合实现档案自动编研，其 具体步骤为：

(1)先进行档案信息录入，按照系统显示的案卷目录、卷内目 录和专家登记卡界面给出的统一格式分别录入档案标题、档案所属分 类、档号、年度和专家情况各类基本信息；

(2)再由档案录入与管理模块利用本发明提出的自动层次分类 算法自动对步骤(1)录入的档案信息进行分类和汇总，并分别存入 相对应的档案目录、卷内目录与专家基本信息登记目录数据库和专家 数据库中；

(3)再由档案编研模块根据用户输入的编研条件和存入的信息 对相应档案目录、卷内目录与专家基本信息登记目录数据库和专家数 据库进行检索、查询并汇总生成档案编研结果；

(4)将档案编研结果显示在屏幕上，或将档案编研结果以Word 文档或Excel报表的形式导出后打印输出形成纸质文档保存，实现档 案的自动编研。

本发明提出的自动层次分类算法是对现有常规的朴素贝叶斯算 法的改进，朴素贝叶斯算法是指分类时考虑文本的所有特征对文本进 行分类，分类时将预测样本根据预测结果划分到特定文档类别概率最 高的类别库中。

本发明涉及的朴素贝叶斯算法的具体分类模型如下：给定一个未 知类别的档案文本X，设有m个类别，记为C1,C2,……,Cm，根据朴 素贝叶斯分类定律，在条件X下具有最高后验概率的类别P(Ci|X)的 计算公式如下：

$P\left(\mathrm{Ci}\right|X)=\frac{P\left(X\right|\mathrm{Ci})P\left(\mathrm{Ci}\right)}{P\left(X\right)}$

在P(Ci|X)计算公式中，P(X)是常数，因此只需要将分子 P(X|Ci)P(Ci)最大化即可；P(Ci)是训练集中的类别分布概率，计算公 式为：式中分子为类别|Ci|包含的文本数加1，分母 为m个类别与|D|为训练集中所包含的文本总数之和；为了简化 P(X|Ci)的计算过程，假定文本的多个属性是相互无关的，因此，计 算P(X|Ci)就是推算特征属性在类别Ci上出现的概率，使用拉普拉 斯估计的2种计算模型来推算P(X|Ci)的值：

(1)多变量模型，统计特征属性在文本中是否出现过，若出现记 为1，否则记为0。计算公式为：

$P\left(X\right|C_i)=\underset{t=1}{\overset{\left|v\right|}{\Pi }}(B_{\mathrm{xt}}P\left(w_t\right|C_i)+(1-B_{\mathrm{xt}})(1-P\left(w_t\right|C_i)))$

其中，|V|代表特征值总的数量，B_xt是w_t在文本X中出现的标记， 若w_t出现则B_xt记为1，否则记为0，w_t代表第t个特征，即向量的第 t个分量，因此，式中的(Pw_t|C_i)计算公式如下：

(2)多项式模型(Multinomial Model)则统计特征属性在文本中 的出现次数，计算公式为：

$P\left(X\right|C_i)=\underset{t=1}{\overset{\left|v\right|}{\Pi }}\frac{P{\left(w_t\right|C_i)}^{N_{\mathrm{xt}}}}{N_{\mathrm{xt}}!}$

其中，N_xt代表了特征t在文本X中出现的次数；P(w_t|C_i)的计 算公式如下：

$P\left(w_t\right|C_i)=\frac{1+\underset{j=1}{\overset{\left|D\right|}{\Sigma }}{N}_{\mathrm{jt}}P\left(C_i\right|d_j)}{\left|V\right|+\underset{s=1}{\overset{\left|V\right|}{\Sigma }}\underset{j=1}{\overset{\left|D\right|}{\Sigma }}{N}_{\mathrm{js}}P\left(C_i\right|d_j)};$

在P(w_t|C_i)的计算公式中，N_jt为特征t在文本d_j中曾出现的次 数，|D|为训练文本总数，|V|为特征总数，N_js是特征s在文本d_j中 的出现次数；该分类方法的实质是对文本对象中的所有特征值进行统 计并映射到已存在的各个类别中的概率。

本发明在档案录入管理模块中对朴素贝叶斯算法进行了改进，实 现基于案卷目录标题及关键词粗分类的自动层次分类算法，直接从案 卷目录以及卷内目录的题目提取关键词集，构建层次化分类模型，在 适当的降维后以低的特征维度达到分类效果，取代传统文本分类算法 的中文分词，有效提高档案文献的分类精度和运行效率；所述的基于 案卷目录标题及关键词粗分类的自动层次分类算法的实现流程如下：

(1)先在本地或在线录入档案信息，按照系统显示的案卷目录、 卷内目录和专家登记卡界面给出的统一格式分别录入档案标题、所属 分类、档号、年度和专家的各类基本信息；

(2)系统自动提取档案标题及档案文本中的关键词的文本数据 特征参数集并保存在相应的数据库中；

(3)对提取的文本数据特征参数集超过阈值时进行降维，过多 的特征往往会导致维数灾难，使分类的效率降低；

(4)根据提取的文本数据特征参数或关键词执行朴素贝叶斯分 类算法的粗分类；

(5)在步骤(4)粗分类结果上再分别针对每一子类进行特征抽 取；

(6)再针对各个子类的文本数据特征参数执行朴素贝叶斯分类 算法自动完成细分类；

(7)输出分类结果并保存到相对应的数据库中。

本发明涉及的档案编研模块处理的数据信息是针对已建立的档 案信息录入与管理模块的案卷目录、卷内目录和专家登记卡目录进行 的基本编研，在档案信息录入与管理模块中创建包括案卷目录数据 库、卷内目录数据库、档案分类数据库、专家基本信息登记数据库、 专家论文明细和专家项目明细等6个数据库；档案编研模块由档案分 类编研子模块、文件字号索引编研子模块和专家信息编研3个子模块 组成，在档案编研模块中创建与上述6个数据库相关联的档案编研基 础数据库；档案分类编研子模块根据用户输入的编研条件，自动实现 档案分类编研、档案标题编研和归档时间编研并以列表形式显示编 研结果；文件字号索引编研子模块根据用户的编研需求输入包括公 文字号、年度、档号和保管期限的组合编研条件，点击查询后根据条 件过滤数据，以便自动生成并显示文件字号索引编研列表；专家信息 编研子模块对档案管理中的专家登记卡信息进行编研统计，根据输入 的专家姓名、研究方向和成果的编研条件进行模糊查询，实现专家分 类编研、专家研究方向编研、专家论文信息编研和专家项目信息编研， 并将编研结果进行汇总后显示在屏幕上；其中专家分类编研是指编研 自动生成某一研究领域的所有专家信息编研结果列表，其编研结果可 导出到Excel或Word文档中保存或打印输出。

本发明涉及的档案分类编研子模块的档案编研包括以下步骤：

(1)创建分类编研视图，视图以卷内目录或案卷目录为主表， 关联分类信息表获取分类信息名称，卷内目录与案卷目录信息存放在 不同的数据表中，在进行分类编研时需要汇总两部分信息，进行统 一查询并检索；

(2)数据访问层代码，数据访问层是从步骤(1)给出的视图中 检索需要编研的档案信息，执行函数以查询条件为参数，检索符合条 件的档案信息，分类编研提取档案分类、档案标题、归档时间、份数、 页数和档号信息，并对编研结果按照分类名称、分类标题和归档时间 进行排序；

(3)分类编研应用层实现，首先设置分类编研条件，按档案分 类名称模糊检索、档案标题模糊检索和归档时间检索分类编研；

(4)将编研结果导出到EXCEL或Word文档中，方便用户保存查看并 打印装订成册。

本发明涉及的文件字号索引编研子模块的档案编研包括以下步 骤：

(1)创建文件字号索引视图，文件字号索引视图以卷内目录为 主表关联分类信息表，提取公文字号、年度、文件序号、档号、页号、 页数和保管期限信息；

(2)数据访问层代码，数据访问层是从文件字号索引视图中提 取信息，并按照公文字号、文件序号和年度排序，函数以查询条件为 参数，由应用层动态构建；

(3)应用层主要代码，系统设定编研条件，包括公文字号、年 度、档号和保管期限，根据编研需要进行组合输入，点击查询后根据 条件过滤数据；

(4)将编研结果导出到EXCEL或Word文档中，方便用户保存查看 并打印装订成册。

本发明涉及的专家信息编研子模块的档案编研包括以下步骤：

(1)创建专家信息编研视图，视图以专家基本信息登记表为主 表，关联专家论文明细表提取论文信息，关联专家项目明细表提取项 目及获奖信息，专家基本信息登记与专家成果信息存放在不同的数据 表中，在进行信息编研时需要汇总各部分信息，进行统一查询；

(2)数据访问层代码，数据访问层是从步骤(1)中的视图中获 取需要编研的专家信息，函数以查询条件为参数，查询符合条件的 专家档案信息，编研提取专家姓名、专家类别、研究方向、论文信息 和项目信息；

(3)专家信息编研应用层实现，设置编研条件，进行专家名称 模糊检索、专家研究方向模糊检索，论文题目与论文概述模糊检索， 论文发表时间检索，项目名称模糊检索，项目概述模糊检索和项目起 止时间检索和项目获奖情况检索；专家信息编研根据输入的编研条 件，实现专家分类编研、专家研究方向编研、专家论文信息编研和 专家项目信息编研；

(4)将编研结果导出到Excel或Word文档中，方便用户保存查看 并打印装订成册。

本发明涉及的档案管理信息系统的执行流程为：

(1)在客户端打开一个浏览器，在地址栏中输入系统的网站地 址即向Web服务器发出服务请求，当桌面上显示系统的登录页面时， 在登录页面填写用户名、密码及验证码之后传送给Web服务器，Web 服务器对用户身份进行验证后用HTTP协议把档案管理信息系统的主 页传送给客户端，客户端浏览器接收传来的主页文件，并把它显示在 屏幕上；

(2)档案基本信息的录入，按照系统显示在主页的案卷目录、 卷内目录和专家登记卡给出的统一格式分别录入和添加档案所属分 类、档号、档案标题、年度和专家各类基本信息；系统在Web服务器 的业务逻辑层执行相应的扩展应用程序与数据库服务器进行连接，通 过SQL方式将用户录入或添加的上述各类基本信息在存储到相对应的 与Web服务器相连的数据库之前，系统将目录及档案标题进行自动分 类归档，再对原文进行挂接；原文可以是电子扫描件或电子版原件；

(3)需要对某类档案信息进行档案编研时，系统根据用户选择 的档案编研的条目，进入到相对应的档案编研界面，在该界面中输入 编研条件；例如：进行某个领域的专家信息编研时，则输入该研究领 域的名称或研究方向还包括论文、项目情况等编研参数点击查询按 钮，对相应数据库进行信息检索和查询；

(4)根据(3)已输入的编研参数，在与Web服务器执行链接后 通过SQL语句向相对应的数据库服务器提出数据处理请求，即对档案 编研基础数据库和相关联的其他数据库信息进行检索和查询操作，并 将检索到符合编研条件的数据项进行统计、分析和汇总，生成档案编 研成果；

(5)数据库服务器把生成的档案编研的结果提交给Web服务器， 再由Web服务器传送到客户端并显示在屏幕上；

(6)将编研成果导出到Word文档或Excel报表中保存或打印输 出。

本发明与现有技术相比，其设计原理科学可靠，编研劳动强度小， 工作效率高，信息疏漏少，保证编研的质量和价值，编研效率高，编 研环境友好。

附图说明：

图1为本发明装置的硬件组成结构原理示意框图。

图2是本发明涉及的档案编研模块与档案管理模块的逻辑功能 结构原理示意框图。

图3是本发明的档案管理信息系统自动编研执行流程图。

图4是本发明的粗分类的层次分类算法执行流程图。

具体实施方式：

下面通过实施例并结合附图做进一步描述。

实施例1：

本实施例对本发明提出的分类算法进行测试与评价，先在收集到 的1000个档案文本中，从每类随机抽选40个文本对本发明涉及的方 法进行分类训练，其余的960个档案文本就作为待分类文本集对本发 明涉及的方法进行分类结果的测试评价；其中，文书档案类的是222 个，科技档案类216个，会计档案类162个，人事档案类95个，声 像档案类43个，综合照片类86个，实物档案类35个，归档文件类 40个，期刊档案类的是61个，分别用查准率、查全率和F1(查全率 和查准率的调和平均数)测试值三个指标对分类结果进行评价，测试 评价结果如表1所示；

表1分类结果测试评价表

类别 查全率 查准率 F1测试值 文书档案类 95.08％ 91.80％ 93.44％ 科技档案类 85.34％ 87.93％ 86.64％ 会计档案类 90.32％ 93.55％ 91.94％ 人事档案类 92.00％ 94.67％ 93.33％ 声像档案类 93.02％ 95.35％ 94.19％ 综合照片类 97.67％ 94.19％ 95.93％ 实物档案类 91.43％ 94.29％ 92.86％ 归档文件类 87.50％ 85.00％ 86.25％ 期刊档案类 90.16％ 83.61％ 86.89％

上表说明，本实施例的分类结果的查全率、查准率以及F1测试 值均能达到较好的效果，在粗分类过程中根据文档标题和关键词产生 的特征维数均在50以下，提高了系统运行效率。

本实施例的运行环境要求：配置双核微处理器或更高、内存2G 以上的联网PC及兼容机运行；服务器操作系统为Windows XP及以上 版本；系统必备软件为Framework 3.5、SQL Server2005；开发软件 为Microsoft Visual Studio 2008；采用B\S三层架构，通过asp.net 分别实现表示层、业务逻辑层和数据层代码。

本实施例需要安装并设置Microsoft SQL Server数据库服务器， 为服务器添加用户名和设置密码之后导入系统数据库；然后发布网站 (即B/S架构的档案管理信息系统)；网站发布成功后，打开任意一 台已联网PC机上的浏览器，在地址栏中输入网站地址进入到登录页 面，输入账号、密码和验证码之后点击登录进入到系统管理主界面； 在系统管理员左侧的树形菜单栏中点击【档案编研】，屏幕上显示需 要编研的多个条目，包括分类编研、文件字号索引编研和专家信息编 研等；选择并点击【分类编研】，进入到分类编研界面，在该界面中 输入各编研条件，包括档案分类名称、档案标题和归档时间(大于某 一时间、小于某一时间或某段时间内)等，系统会根据输入的编研条 件自动产生分类编研的结果并以列表的形式显示在屏幕上，并可导出 到Word文档或Excel中保存或打印；选择并点击【文件字号索引编 研】，则进入到文件字号索引编研界面，在该界面中根据编研需要进 行组合输入编研的内容如公文字号、年度、档号和保管期限等，点击 查询后系统会根据输入的编研条件检索、过滤数据自动生成并显示编 研结果，或将编研结果导出到Word文档或Excel中保存或打印；选 择并点击【专家信息编研】，进入到专家信息编研界面，在该界面中 输入编研条件，系统进行专家姓名模糊检索、研究方向模糊检索、论 文题目、论文概述模糊检索、论文发表时间检索、项目名称模糊检索、 项目概述模糊检索、项目起止时间检索和项目获奖情况(是否获奖、 获奖名称)检索；系统根据输入的专家姓名，研究方向和成果的编研 条件进行模糊查询，实现专家分类编研、专家研究方向编研、专家论 文信息编研和专家项目信息编研；并将编研结果进行汇总后显示在屏 幕上，或将结果导出到Excel或Word文档中保存或打印输出。

本实施例的档案分类管理根据档案编研的实际需求进行分类编 研的设置，实际工作需要编研一个“行政审批”的档案分类，系统 管理员只需要在档案分类表中增加一个“行政审批”的分类数据，即 可在档案的卷内目录、案卷目录中维护相应分类的档案信息，并对该 分类执行编研操作；系统通过对各类档案信息的录入，将各类档案信 息进行汇总，根据分类或档案标题等相关信息快速检索出该档案，通 过查看档案的库存位置，快速从相应的物理存放位置获取该档案，缩 短档案寻找的时间，提高工作效率。

实施例2：

实现本实施例涉及的档案自动编研方法的装置，其主体结构由客 户端浏览器1、档案信息录入与管理模块2、档案编研模块3和与其 相链接的7个数据库电信息连通组成。其中，档案信息录入与管理模 块2又包括卷内目录管理子模块4、案卷目录管理子模块5和专家登 记卡信息子模块6三个功能模块单元；档案编研模块3由档案分类编 研子模块7、文件字号索引编研子模块8和专家信息编研子模块9三 个功能模块单元电信息连通组成；档案录入与管理模块2录入档案信 息并对档案信息进行维护，对卷内目录、案卷目录和专家登记卡的档 案信息进行分类和汇总维护；档案编研模块3根据用户输入的编研条 件，自动实现档案分类编研、档案标题编研和归档时间编研，并以列 表形式显示编研结果；文件字号索引编研子模块8根据用户的编研需 求输入由公文字号、年度、档号和保管期限组合的编研条件，点击查 询后能够根据编研条件过滤数据，以便自动生成并显示文件字号索引 编研列表；专家信息编研子模块9对档案管理中的专家登记卡信息进 行编研统计，根据输入的专家姓名，研究方向和成果的编研条件进行 模糊查询，实现专家分类编研、专家研究方向编研、专家论文信息编 研和专家项目信息编研，并将编研结果进行汇总后显示在屏幕上；其 中专家分类编研是编研自动生成某一研究领域的所有专家信息编研 结果列表，其编研结果均能够导出到Excel或Word文档中保存或打 印输出。与档案信息录入与管理模块2和档案编研模块3电信息相链 接的7个数据库分别为案卷目录数据库、卷内目录数据库、档案分类 数据库、专家基本信息登记数据库、专家论文明细数据库、专家项目 明细数据库和档案编研基础数据库；客户端浏览器1为联网的任意电 脑和终端设备上运行的任意浏览器软件。