技术领域
本发明属于模式分析与笔式计算领域，特别是涉及一种基于特征融合的书法汉字评判方法。
背景技术
中国文化博大精深，其中中国书法作为中国特有的传统艺术，在中国几千年的历史长河中孕育了一大批杰出的书法家，他们的书法艺术中包含的技法技巧和美学伦理，无不体现出中国古人的智慧，散发着中华民族传统文化的永恒魅力。然而，由于观念认知偏差、区域发展失衡、书法师资缺乏以及教育水平参差不齐等问题，造成书法教育匮乏和现有的教育难以达到要求。为应对教育资源缺乏造成的书法练习者作品无法及时得到评价和指正问题，基于计算机的汉字识别和评判成为书法教育的研究热点之一。
汉字评价研究可以分为事后评判和实时评判两类。实时评判倾向于用户书写过程中笔画多余、缺失、交联等书写错误的纠正，而事后评判指将用户练习结果与临摹汉字进行匹配后给出规范性的评价和反馈指导的过程。其中，事后评判的字形匹配算法是该技术的核心。万华林、庄越挺等人提出对输入的书法汉字图像的颜色、笔画纹理和拓扑结果的特征来进行比较，从而完成对书法汉字的评判。俞凯等人通过计算检索字图像的每一个像素点的四周的一定范围内寻找被检索字图像的骨架上相对应的点的距离。通过检索汉字和用户输入书法汉字的距离对比，完成书法汉字的评价。刘洋从书法字的结构特征、笔画形态及笔画内部的笔段的形态三个级别提取出书法字的整体布局和各部分布局，作为该书法字的书法家创作风格的特征点。通过该技术来评判一幅书法作品中书法字的真伪概率给出一个作品的整体真伪概率水平。李牧在计算骨架相似度时采用了欧氏距离的方法。这种方法对于一些书法字笔画较为复杂，例如“魑，黝，璧”等汉字，或者骨架有所差异较大的书法汉字，该算法计算相似度并不适用于一些特殊汉字的评价。
发明内容
基于上述情况，本发明提出了一种基于汉字骨架提取算法，针对单一书法汉字图像的局部特征和全局特征分析。局部特征从书法汉字笔画出发，对汉字笔画的拐角相似度分析；全局特征从汉字整体结构出发，对汉字进行整体的“米”字格拆分，基于Hu矩和皮尔逊系数计算拆分后的相似度。本发明的目的在于研制一种高效的、详实的手写体汉字评判方法，提高了书法汉字评判的可靠性。
基于特征融合的书法汉字评判方法，包括识别模块和评价模块，包括以下步骤：步骤一：所述识别模块利用卷积神经网络模型进行汉字识别；步骤二：所述评价模块基于汉字骨架提取算法对书法汉字的特征结构进行书法汉字特征分析，得到书法汉字的综合评价；步骤三：基于书法汉字特征分析，完成对用户书法汉字练习评价的计算机评价系统。
所述步骤一包括：采用ResNet网络模型对汉字进行识别包括，通过将用户所书写的书法汉字图像和CASIA-HWDB数据库输入所述ResNet网络模型，使用所述ResNet网络模型对用户所书写的书法汉字图像进行和CASIA-HWDB数据库进行训练，分类得到最终识别结果。
所述步骤二包括：所述书法汉字特征包括局部特征和全局特征，所述局部特征包括拐点处的拐角；所述全局特征包括骨架米字格分割，基于HU矩和皮尔逊系数计算拆分后的相似度；
所述步骤二包括：首先对汉字的骨架进行提取，在提取书法字的骨架时，骨架尽量不要出现断裂的现象；分析汉字是否存在拐点，若是，则进行局部特征计算，对汉字的笔画提取，计算拐点处的拐角，对比汉字笔画的拐角的相似度，把握汉字的局部细节效果，对汉字进行局部效果评价，然后进行全局效果评价；若否，则进行全局特征计算，计算骨架米字格分割后，基于HU矩和皮尔逊系数计算拆分后的相似度，从而计算骨架手写书法汉字与临摹中汉字的相似度，通过比较完整骨架的相似度，进行全局效果评判，最后输出评分结果。
所述步骤二中包括：汉字的骨架提取，就是将汉字图像的像素点由外向内进行腐蚀，最终得到像素点宽度为1，原始书法汉字相近的线条图形。
所述步骤三包括：对比标准库中汉字局部特征和全局特征的相似度，所述标准库包括包括3755个一级汉字的.png图像，并将其从1至3755编号。
所述步骤二中，所述书法汉字是由软笔黑色墨水所书写，字形以黑色为主，背景主要是白色，能较好的提取二值化处理后的特征。书法图像骨架提取步骤为：第一，需要对输入的书法图像进行二值化处理；第二，对处理后的图像边缘向内腐蚀，直到图像的黑色像素宽度为1。汉字的骨架需具有较好的连贯性和准确的拓扑关系，不出现骨架断裂和多余部分，以保证对书法图像的骨架特征进行全局和局部的分析。目前图像细化的方法有极值算法、跟踪算法和迭代算法等，其中迭代细化法更适合汉字骨架提取，迭代算法步骤为：
(1)遍历整个图像，寻找图像中的所有黑色像素点；
(2)若黑色像素点是边界点，且是连通点，则保存该点，否则删除该点；
(3)通过将第一轮处理完的图像输入重复处(1)、(2)两个步骤，最终得到一条由无法被删除的像素组成的线。
迭代细化法又细分为数学形态学细化法和索引表细化法等。索引表细化法是根据二值图像中每个黑色像素点周围八邻域像素点的分布情况来决定该点是否保留的图像骨架提取方法。关键在于如何判断该点是不是应该被删除。因此，本发明设定判定规则如下：
(1)不能删除内部点；
(2)不能删除孤立点；
(3)不能删除线的端点；
(4)不能删除边界连通点。
所述步骤二中，所述局部特征的提取包括，通过对细化后的汉字骨架的某个像素的八个领域的其他像素点的个数p进行判断，可以确定独立笔画和交叉笔画。
(1)当p＝2时，表示汉字该笔画中只存在端点和普通点，则可判断该笔画为独立笔画；
(2)当p≥3时，该笔画中存在端点、普通点和交叉点三种像像素点，判断该笔画为交叉笔画。
确定交叉笔画和独立笔画后，独立笔画无需进行处理即可直接进行笔画提取，而交叉笔画则需要进行笔画分割后，对得到的独立笔画进行提取。在对交叉点的笔画骨架提取时会存在某一交叉点附近出现多个交叉点的问题，需要进行交叉点融合。假设在I
交叉点融合得到l
确定融合后的交叉点笔画骨架的交叉点l
(1)以交叉笔画的交叉点为原点，以间隔角度ω＝1°，最大半径R＝3μ
(2)记录每一个轮廓点骨架交叉点的距离d
(3)通过计算交叉点到笔画轮廓的距离得到交叉区域的分割点p
(4)得到交叉区域后，对交叉区域进行切割，分离出不同笔画的相同部分。
所述步骤二中，针对汉字局部性评判，本发明提出了一种对汉字拆分后的独立笔画拐点角度计算的算法，通过对比汉字库中各个相同笔画的拐点角度，进行对应点拐角角度拟合对比，最后得到局部层面汉字笔画上的评分。具体步骤如下：
笔画拐点确定，本发明使用方向编码顺延的方法进行拐点确定，即从提取后的单一笔画端点开始，依次遍历所提取骨架汉字的各个像素点，依次记录下一个像素点的方向编码，组成一组笔画的编码链，最后分析编码链的数据特征确定该独立笔画的拐点。
将该方法提取的笔画骨架标注为：
式中H
H
将汉字提取的骨架按方向编码顺延方法得到汉字笔画的编码链H
式中，拐点簇ω
对该笔画的编码链5个拐点簇的编码链分析：拐点ω
针对某些汉字笔画较粗，存在顿笔造成汉字出现认知外的拐点，实则只存在一个拐点这种情况。本文设定约束规则：若两个拐点之间的欧式距离小于i，则将这两个拐点整合为一个点，拐点取中间位置的像素点，中心拐点确定公式如下：
确定拐点得到拐点集，假设某笔画的拐点集为ω＝{ω
式中，
根据该方法对标准库中的汉字处理可以得到标准库汉字笔画拐角和中心距离的数据集，并通过该数据集建立标准数据库。然后检索输入的书法汉字，对比数据库中的数据即可完成书法汉字的局部评判。最后将标准库中的汉字评判的局部特征的拐点角度参数与书写者所书写的参数进行对比，使用方差来确定书写者与标准库汉字的相似度，笔画拐角相似度R-square计算公式如下：
将偏离程度划分等级，得到对书法练习者书写的汉字分数的评判，并根据R-square值较大的部分给出合适的书写建议。
所述步骤二中，所述全部特征的提取，历代书法家可以巧妙利用字的结构变化，来创造出有自己独特风格的书法字。因此，书法初学者对汉字的整体结构把控也是学习的重要课程之一。使用“米”字格进行汉字整体结构的练习是汉字初学者的常用方法。“米”字格分割八个部分的分布比例可以体现书法字的结构特征，即书汉字的笔画形状、数量以及整体的相对布局等。因此，本发明得出全局特征评价的思路为:
(1)将书法汉字细化后的骨架以“米”字格的框架进行分割，同时为了更加精细地计算两个骨架的差异度，将骨架拆分为米字格，每个格子赋予权重值，分别计算每个格子的Hu矩。
(2)运用皮尔逊相关系数公式计算相对应的两个“格子”的差异度。
(3)通过公式计算出八个格子的相似度，对比用户与标准库中相同汉字骨架的全局相似度给出全局评价。
其中，八格子的Hu矩计算和对应图像的皮尔逊相关性分析过程如下：
(1)八格子的Hu矩计算
假设用户书写的书法汉字第一个格子与对应的标准库书法汉字格子图像的二值图分别为：f(x，y)、F(x，y)，使用公式1-8可以计算出Hu矩分别为:M
M
式中，f(x，y)为二值化图像对应的函数，p，q为f(x，y)的阶数。
(2)对应图像的皮尔逊相关性分析
书写的书法汉字格子与对应的标准库书法汉字格子图像对应格子之间的相关性r计算公式如下：
经计算后得到的相似度r为全局特征评分，且r越大表示相似性就越高。
一种书法辅助学习的计算机评价反馈系统，该系统包括书法识别系统和在线书法评判系统两个子系统。其中，识别子系统负责深度网络模型的训练和分类。书法评价子系统主要负责对接用户，完成对用户上传的书法图像的评分、分析、指导，几乎整个书法汉字评判系统的核心算法都在该子系统实现。计算机评价系统的总相似度公式为：
S＝ω
式中，ω
一种书法辅助学习的计算机评价反馈系统的操作方法如下：
(1)用户输入图像用户打开书法辅助学习系统，并准备书写的作品，点击“输入书法图像”进行图像输入，可以通过扫描等方式传入电脑后做放大缩小的简单处理。(2)识别图片用户通过点击“临帖书法汉字”按钮，输出识别的书法汉字并检索标准库中书法汉字的图片。3)书法评分点击“评分”按钮，将选取的汉字的全局特征和局部特征相似度进行算法计算，将计算的书法汉字结果分数进行输出。最后点击“综合评价”，综合评价结合了此前的书法汉字的全局和局部的优点和不足两个方面对汉字进行评价，通过窗口的方式，提出指导意见。
有益效果；本发明提出了基于书法字笔画拐角和Hu矩的“书法字骨架米子格分割”的相似度计算的局部特征和全局特征评价方法，设计了一种书法辅助学习系统。首先，基于ResNet网络对汉字进行分类和训练。接着，对书法汉字笔画的拐角相似度进行分析得出局部特征。然后对汉字整体进行“米”字格拆分，基于Hu矩和皮尔逊相关系数计算拆分后的相似度得出整体特征。最后，根据得到的局部和整体特征进行加权求和得到相关评分，并通过书法汉字辅助学习系统输出显示并给与使用者反馈建议。实验结果表明，基于局部特征和全局特征相似度计算的客观评分基本符合人的主观评分，验证了本发明所提出算法的可行性。并通过设计出书法汉字的计算机辅助学习系统，完成对汉字识别与评判。提高了书法汉字评判的可靠性。
附图说明
图1基于特征融合的书法汉字评判方法的系统流程图；
图2识别模块系统流程图；
图3汉字书写规范评判流程图；
图4评判数据库样例；
图5简单图像骨架示意图；
图6迭代细化法骨架提取示意图；
图7索引表细化法编程流程图；
图8局部特征提取中交叉点融合示意图；
图9局部特征提取中交叉点到边缘轮廓距离示意图；
图10局部特征提取中笔画提取结果示意图；
图11方向编码及像素编码示意图；
图12独立笔画拐点示意图；
图13整体评价流程图；
图14识别测试集图像示意图；
图15书法辅助学习系统架构示意图。
图16拐点相似度算法相关性SPSS分析示意图；
图17米字格相似度算法相关性SPSS分析示意图；
图18计算机综合评分和人工评分相关性SPSS分析示意图。
具体的实施方式：
如图1所示，基于特征融合的书法汉字评判方法，包括识别模块和评价模块，包括以下步骤：步骤一：所述识别模块利用卷积神经网络模型进行汉字识别；步骤二：所述评价模块基于汉字骨架提取算法对书法汉字的特征结构进行书法汉字特征分析，得到书法汉字的综合评价；步骤三：基于书法汉字特征分析，完成对用户书法汉字练习评价的计算机评价系统。
如图2所示，所述步骤一包括：采用ResNet网络模型对汉字进行识别包括，通过将用户所书写的书法汉字图像和CASIA-HWDB数据库输入所述ResNet网络模型，使用所述ResNet网络模型对用户所书写的书法汉字图像进行和CASIA-HWDB数据库进行训练，分类得到最终识别结果。
所述步骤二包括：所述书法汉字特征包括局部特征和全局特征，所述局部特征包括拐点处的拐角；所述全局特征包括骨架米字格分割，基于HU矩和皮尔逊系数计算拆分后的相似度；
如图3所示，所述步骤二包括：首先对汉字的骨架进行提取，在提取书法字的骨架时，骨架尽量不要出现断裂的现象；分析汉字是否存在拐点，若是，则进行局部特征计算，对汉字的笔画提取，计算拐点处的拐角，对比汉字笔画的拐角的相似度，把握汉字的局部细节效果，对汉字进行局部效果评价，然后进行全局效果评价；若否，则进行全局特征计算，计算骨架米字格分割后，基于HU矩和皮尔逊系数计算拆分后的相似度，从而计算骨架手写书法汉字与临摹中汉字的相似度，通过比较完整骨架的相似度，进行全局效果评判，最后输出评分结果。
如图4所示，所述步骤三包括：对比标准库中汉字局部特征和全局特征的相似度，所述标准库包括包括3755个一级汉字的.png图像，并将其从1至3755编号。
表1书法汉字评判字库数据集统计信息
所述步骤二中包括：汉字的骨架提取，就是将汉字图像的像素点由外向内进行腐蚀，最终得到像素点宽度为1，原始书法汉字相近的线条图形。如图5所示，图(a)的正方形与图(b)的圆形中心点像素为其图形骨架，图(c)的长方形中心像素点组成的线即为图形的骨架。
所述步骤二中，所述书法汉字是由软笔黑色墨水所书写，字形以黑色为主，背景主要是白色，能较好的提取二值化处理后的特征。书法图像骨架提取步骤为：第一，需要对输入的书法图像进行二值化处理；第二，对处理后的图像边缘向内腐蚀，直到图像的黑色像素宽度为1。汉字的骨架需具有较好的连贯性和准确的拓扑关系，不出现骨架断裂和多余部分，以保证对书法图像的骨架特征进行全局和局部的分析。目前图像细化的方法有极值算法、跟踪算法和迭代算法等，其中迭代细化法更适合汉字骨架提取，迭代算法步骤为：
(1)遍历整个图像，寻找图像中的所有黑色像素点；
(2)若黑色像素点是边界点，且是连通点，则保存该点，否则删除该点；
(3)通过将第一轮处理完的图像输入重复处(1)、(2)两个步骤，最终得到一条由无法被删除的像素组成的线。
迭代细化法又细分为数学形态学细化法和索引表细化法等。仿真得到示意图如图6所示。图中(a)为原图，(b)为数学迭代细化法骨架提取效果图，(c)为索引表细化法骨架提取效果图。可以看出，数学迭代细化法出现笔画骨架末端断裂，即出现毛边，无法保证准确的拓扑结构。所以，最终后续实验采用索引表细化法进行书法汉字的骨架提取。
索引表细化法是根据二值图像中每个黑色像素点周围八邻域像素点的分布情况来决定该点是否保留的图像骨架提取方法。关键在于如何判断该点是不是应该被删除。因此，本文设定判定规则如下：
(1)不能删除内部点；
(2)不能删除孤立点；
(3)不能删除线的端点；
(4)不能删除边界连通点。
索引表细化算法基本编程思路如图7所示
所述步骤二中，所述局部特征的提取包括，通过对细化后的汉字骨架的某个像素的八个领域的其他像素点的个数p进行判断，可以确定独立笔画和交叉笔画。
(1)当p＝2时，表示汉字该笔画中只存在端点和普通点，则可判断该笔画为独立笔画；
(2)当p≥3时，该笔画中存在端点、普通点和交叉点三种像像素点，判断该笔画为交叉笔画。
确定交叉笔画和独立笔画后，独立笔画无需进行处理即可直接进行笔画提取，而交叉笔画则需要进行笔画分割后，对得到的独立笔画进行提取。在对交叉点的笔画骨架提取时会存在某一交叉点附近出现多个交叉点的问题，需要进行交叉点融合。假设在I
交叉点融合得到I
确定融合后的交叉点笔画骨架的交叉点l
(1)以交叉笔画的交叉点为原点，以间隔角度ω＝1°，最大半径R＝3μ
(2)记录每一个轮廓点骨架交叉点的距离d
(3)通过计算交叉点到笔画轮廓的距离得到交叉区域的分割点p
(4)得到交叉区域后，对交叉区域进行切割，分离出不同笔画的相同部分。笔画提取的结果示意图如图10所示。
所述步骤二中，针对汉字局部性评判，本文提出了一种对汉字拆分后的独立笔画拐点角度计算的算法，通过对比汉字库中各个相同笔画的拐点角度，进行对应点拐角角度拟合对比，最后得到局部层面汉字笔画上的评分。具体步骤如下：
(1)笔画拐点确定
本文使用方向编码顺延的方法进行拐点确定，即从提取后的单一笔画端点开始，依次遍历所提取骨架汉字的各个像素点，依次记录下一个像素点的方向编码，组成一组笔画的编码链，最后分析编码链的数据特征确定该独立笔画的拐点。更新过程中方向的编码图和邻域像素编码如下图11(a)和图11(b)所示。
将该方法提取的笔画骨架标注为：
式中H
H
将汉字提取的骨架按方向编码顺延方法得到汉字笔画的编码链H
式中，拐点簇ω
对该笔画的编码链5个拐点簇的编码链分析：拐点ω
针对某些汉字笔画较粗，存在顿笔造成汉字出现认知外的拐点，实则只存在一个拐点这种情况。本文设定约束规则：若两个拐点之间的欧式距离小于i，则将这两个拐点整合为一个点，拐点取中间位置的像素点，中心拐点确定公式如下：
确定拐点得到拐点集，假设某笔画的拐点集为ω＝{ω
式中，
根据该方法对标准库中的汉字处理可以得到标准库汉字笔画拐角和中心距离的数据集，并通过该数据集建立标准数据库。然后检索输入的书法汉字，对比数据库中的数据即可完成书法汉字的局部评判。最后将标准库中的汉字评判的局部特征的拐点角度参数与书写者所书写的参数进行对比，使用方差来确定书写者与标准库汉字的相似度，笔画拐角相似度R-square计算公式如下：
将偏离程度划分等级，得到对书法练习者书写的汉字分数的评判，并根据R-square值较大的部分给出合适的书写建议。
所述步骤二中，所述全部特征的提取，历代书法家可以巧妙利用字的结构变化，来创造出有自己独特风格的书法字。因此，书法初学者对汉字的整体结构把控也是学习的重要课程之一。使用“米”字格进行汉字整体结构的练习是汉字初学者的常用方法。“米”字格分割八个部分的分布比例可以体现书法字的结构特征，即书汉字的笔画形状、数量以及整体的相对布局等。因此，本文得出全局特征评价的思路为:
(1)将书法汉字细化后的骨架以“米”字格的框架进行分割，同时为了更加精细地计算两个骨架的差异度，将骨架拆分为米字格，每个格子赋予权重值，分别计算每个格子的Hu矩。
(2)运用皮尔逊相关系数公式计算相对应的两个“格子”的差异度。
(3)通过公式计算出八个格子的相似度，对比用户与标准库中相同汉字骨架的全局相似度给出全局评价。
用户书写的书法字骨架与标准字骨架的相似度计算流程如图13所示。
其中，八格子的Hu矩计算和对应图像的皮尔逊相关性分析过程如下：
(1)八格子的Hu矩计算
假设用户书写的书法汉字第一个格子与对应的标准库书法汉字格子图像的二值图分别为：f(x，y)、F(x，y)，使用公式1-8可以计算出Hu矩分别为:M
M
式中，f(x，y)为二值化图像对应的函数，p，q为f(x，y)的阶数。
(2)对应图像的皮尔逊相关性分析
书写的书法汉字格子与对应的标准库书法汉字格子图像对应格子之间的相关性r计算公式如下：
经计算后得到的相似度r为全局特征评分，且r越大表示相似性就越高。
如图15所示，一种书法辅助学习的计算机评价反馈系统，该系统包括书法识别系统和在线书法评判系统两个子系统。其中，识别子系统负责深度网络模型的训练和分类。书法评价子系统主要负责对接用户，完成对用户上传的书法图像的评分、分析、指导，几乎整个书法汉字评判系统的核心算法都在该子系统实现。计算机评价系统的总相似度公式为：
S＝ω
式中，ω
一种书法辅助学习的计算机评价反馈系统的操作方法如下：
(1)用户输入图像用户打开书法辅助学习系统，并准备书写的作品，点击“输入书法图像”进行图像输入，可以通过扫描等方式传入电脑后做放大缩小的简单处理。(2)识别图片用户通过点击“临帖书法汉字”按钮，输出识别的书法汉字并检索标准库中书法汉字的图片。3)书法评分点击“评分”按钮，将选取的汉字的全局特征和局部特征相似度进行算法计算，将计算的书法汉字结果分数进行输出。最后点击“综合评价”，综合评价结合了此前的书法汉字的全局和局部的优点和不足两个方面对汉字进行评价，通过窗口的方式，提出指导意见。
书法汉字识别实验，基于ResNet神经网络，以CASIA-HWDB 1.0-1.1数据集作为训练集，以爬虫得到的100个汉字，共计300幅图像样本数据集作为测试集，测试集如图14所示。对测试集基于ResNet网络模型进行识别。
得到识别结果如下表2所示。
表2识别结果表
从表中可以看出，所训练的模型对书法汉字识别准确的书法汉字为289个，识别错误的书法汉字为11个，所用时间为3309.7ms。该实验证明使用ResNet网络模型训练出的分类模型的识别准确和速度都很可观，且对于粗线条汉字的识别同样适用。
使用本发明提出的汉字拐点相似度算法和基于米字格骨架分割的相似度算法对毛笔书法字的二值化图像进行实验。该实验结果为计算机的客观评价。部分实验结果如下表3到表7所示。
表3书法字“九”的客观评价
表4书法字“申”的客观评价
表5书法字“臣”的客观评价
表6书法字“雨”的客观评价
表7书法字“通”的客观评价
为了验证本发明提出的计算机评价算法得到的客观评分是否符合人对书法汉字的主观评价，本实验将用户书写的若干样本给多名测试者进行评分，测试的对象为6名书法教师、94名大学书法社学生。根据书法汉字的笔画特征和整体结构的把握来主观判断样本汉字的相似程度进行评分，满分为100分。测试评分结果如下表8所示。
表8书法汉字的主观评判
从表中可以看出，实验测试者们的主观判断差异性较小，体现了实验具有一定的专业性。
使用SPSS分析软件分析局部特征与人工主观评分、全局特征与人工主观评分、计算机综合评分与人工主观评分和综合三个方面的相关性，得到结果如图16-图18所示。
从图16到图18的SPSS软件输出结果可知三种情况下计算机的客观评分和人工的主观评分系数分别为0.693、0.887、0.756，软件输出的显著性概率为0.307、0.113、0.244(sig＜0.35为有显著性意义)，表明两者之间有显著的正相关性。所以，本发明算法进行书法作品的客观评价具有一定的可靠性。
机译： 基于特征融合和基于密集的连接的红外线对象检测方法
机译： 基于特征融合和基于密集的连接的红外线对象检测方法
机译： 基于特征融合和密集连接的红外平面目标检测方法
