一种多功能司法服务应用集成系统及方法

摘要

本发明提供了一种多功能司法服务应用集成设备系统和方法，系统包括人脸识别模块、OCR文字识别模块、司法语音识别模块、数据处理模块、智能隐私保护模块、智能安防模块；人脸识别模块进行面部关键点定位、人脸捕捉，提取人脸特征并进行对比；OCR文字识别模块用于识别文书；司法语音识别模块能够司法行业专有名词；数据处理模块针对法院特定业务进行数据标记、清洗、分析最终生成各类图示报表；智能隐私保护模块实现智能语音切换并切换雾化玻璃；智能安防硬件系统包括用于监控和报警。本发明基于网络和人工智能技术，结合具体的司法行业业务融合打造成一款多功能智能终端，具有数据传输快速、安全、稳定、业务覆盖广、用户体验佳等特点。

说明书

技术领域

本发明属于计算机软硬件技术领域，涉及一种多功能司法服务应用集成设备系统及方法。

背景技术

随着老百姓知识水平与法律维权意识的全面提升，法院立案人数逐年上升。2019年最高人民法院受理案件38498件，审结34481件，同比分别上升10.7%和8.2%，制定司法解释20件，发布指导性案例33个，加强对全国法院审判工作的监督指导；地方各级法院受理案件3156.7万件，审结、执结2902.2万件，结案标的额6.6万亿元，同比分别上升12.7%、15.3%和20.3%。司法从业人员工作压力与日俱增，随之而来的行业痛点也越来越清晰可见，面临以下问题：

1、国内司法普及远远没有覆盖全国各地群众，造成群众一遇到诉讼问题，往往会比较茫然无措，不知该如何处理；法律的崇高性也并未被群众理解及接受。

2、当事人参与诉讼流程中，在开庭之前，不准与法官进行私下沟通，只能通过电话或者其他渠道进行转达，在法官电话不通、未及时转达等情况下，当事人就无法与法官进行一个良好的交流。

3、基层群众群体所产生的纠纷矛盾现阶段得不到有力的防控，社区网格员缺乏对管辖区内人民的矛盾有效预判，矛盾发生后社区街道缺乏能够有效申诉的手段，缺少互联网+时代及新兴信息化技术的沟通方式，当事人选择诉前调解意愿不高。

4、无论在法院诉讼大厅的工作人员，还是各地司法机关的服务人员，司法辅助引导的工作也随着诉讼案件的逐年增长而与日俱增。

很显然，目前的司法服务主要依靠人工，消耗大量人力，效率低下，且具有诸多问题。

发明内容

为解决上述问题，本发明公开了一种多功能司法服务应用集成设备系统及方法，能够提供司法行业的延伸服务，如风险评估、自助立案、远程调解、保全申请、案件查询、自助阅卷，纠纷诊断，市民中心等功能。

为了达到上述目的，本发明提供如下技术方案：

多功能司法服务应用集成设备系统包括人脸识别模块、OCR文字识别模块、司法语音识别模块、数据处理模块、智能隐私保护模块、智能安防模块；

所述人脸识别模块首先进行面部关键点定位，随后进行人脸捕捉，然后提取人脸特征并进行对比；

所述进行面部关键点定位过程通过改进面部关键点定位算法FEC-CNN实现，所述改进如下：

1.在随机游走前添加了选择目标顶点功能；

2.通过引入阈值参数实现簇抽取粒度可控；

3.在原有的簇抽取评价条件中增加簇间连接权重评价；

4.采用自动步数探测法替代原算法的随机游走步数参数；

所述人脸捕捉过程采用opencv的人脸采集算法根据16个人脸特征值进行提取分析，针对暗光环境进行环境智能补光增强，智能色阶调整计算等优化，在景深场景下，通过矢量图像增强技术，进行智能人脸匹配；

所述提取人脸特征并进行对比的过程通过对提取和对比算法RestNet50进行了改进实现，所述改进如下：

1.推迟原始模型的下采样模块中的下采样过程，将下采样过程挪到3*3的卷积，卷积核宽度大于步长；

2. 拆解大核卷积，用三个和两个3*3的卷积去替代7*7和5*5的卷积；

3.用平均池化替代1*1卷积做下采样；

所述OCR文字识别模块用于识别文书；

所述司法语音识别模块用于识别语音，能够识别出司法行业专有名词；

所述数据处理模块采用大数据技术针对法院特定业务进行数据标记、清洗、分析最终生成各类图示报表等，供用户进行决策；

所述智能隐私保护模块采用挂机、双通道音频控制单元实现智能语音切换，拿起挂机可以实现外放声音自动切换挂机，保护隐私；并采用雾化玻璃与红外感应单元，当使用人员进入亭子，红外感应感应到人体时，亭子雾化玻璃自动切换为雾化模式，以保证客户隐私；

所述智能安防硬件系统包括设置在亭内的视频监控模块、震动感应模块、烟雾感应报警模块和设置在亭外的监控模块。

进一步的，所述进行面部关键点定位过程中，目标顶点要尽量避开簇间连接的顶点或尽可能让簇间连接稀少的顶点作为稀少顶点。

进一步的，所述进行面部关键点定位过程中，增加的簇间连接权重评价标准为:比较两个分割位置产生的簇间正连接权重和的大小，如果比较值>0，其值即为分割位置，否则邻接矩阵不可分。

进一步的，所述自动步数探测法包括如下过程：将迭代改为循环，通过循环内部调整循环终值，达到控制循环执行次数的目的；基于代理首次遍历所有顶点转移概率分布向量的特征，并运用三点闭行迹策略，进行自适应步数探测。

进一步的，所述OCR文字识别模块基于PaddleOcr开源项目进行二次开发，结合诉讼材料文书库进行训练，按照99：1划分为训练集和验证集，数据利用中文语料库通过各类文字变化随机生成训练集，每个样本固定10个字符，字符的组成来自语料库的句子；训练骨干网路选择ResNet_vd，使用ImageNet训练的分类预训练模型。

进一步的，所述文字变化包括：字体、大小、模糊、灰度。

进一步的，所述司法语音识别模块基于Deep Speech开源框架进行二次开发，将CTC修改为RNN变换器，去除了带有注意力的模型中用来鼓励单调性的额外剪枝；支持一个纯粹由神经网络构成的解码器，模型的训练和测试阶段之间不会产生错位，而不需要一个外部的语言模型；采用谷歌的TensorFlow进行训练，使用kenlm的语言模型，将语料库结合司法行业专用语料进行优化。

进一步的，所述视频监控模块能够对厅内人员行为做智能监控，对异常动作进行识别，如跌倒、撞击破坏设备等可对接警务系统，实现自动报警；当有外力冲击前门时，震动感应模块感受到震动会自动触发报警器响起，如多次冲撞，模块将自动报警；亭外的监控摄像头能够对亭子周围环境做监控，智能判定异常情形，自动提醒后台管理平台监管人员；当发生火警异常时，烟雾感应报警模块自动响起，后台自动报警。

司法服务应用集成系统的多功能司法服务应用集成方法，包括如下步骤：

1) 登录时，用户前端点击人脸识别登录按钮，前端程序调用硬件中间件平台，中间件打开人脸识别摄像头，通过本系统中人脸捕获模块进行人脸抓拍，采集人脸信息；

2) 前端程序把采集的人脸信息通过5G网络传给云端应用服务；

3) 云端服务调用本系统中人脸识别算法进行人脸识别，校验成功，并把结果返回给前端；

4) 前端程序校验成功，完成登录；

5) 用户登录后根据自己需要选择需要的业务，在需要输入文字的交互过程中，调用司法语音识别模块进行语音识别；

6) 在需要文字识别的业务中，用户会上传图片，业务的后端接口会调用司法语音识别模块对上传的图片进行ocr识别；

7) 所有终端收集的数据会进行云端数据存储，之后会通过大数据技术针对法院特定业务进行数据标记、清洗、分析最终生成各类图示报表等，供用户进行决策。

与现有技术相比，本发明具有如下优点和有益效果：

1. 本发明通过前沿的5G技术，物联网技术，人工智能技术，结合具体的司法行业业务融合打造成一款多功能智能终端，具有数据传输快速、安全、稳定、业务覆盖广、用户体验佳等特点。

2. 本发明采用OCR识别技术针对法院特殊的词组形式进行了训练优化，提高了识别的准确率；语音识别技术针对法院相关术语进行了优化，提高了识别准确率；人脸识别技术基于opencv的人脸采集算法的实现，支持本地化人脸库建立人脸特征值提取算法、二线性相关算法、相似度分析算法等人脸识别算法的应用，采用支持活体检测技术实现非接触非强制性识别。

3. 本发明实现门禁智能联动，通过人证比对并将信息推送终端设备，终端设备数据分析智能切换到用户待办理业务，并根据办理时间或其他判定标准，提供优先级别。

4. 本发明实现监控智能联动：视频监控，通过后台判断监控人员或人群的行为动态，并与警务系统或后台管理平台对接，实现智能监控。同时采用智能感应模块，结合智能防撞及烟雾报警模块，可智能预警。

5. 本发明实现智能雾化联动：雾化玻璃通过与监控系统联动，可智能选择是否雾化，如厅内人员有异常行为，将解除雾化，同时，报警器报警。

附图说明

图1为硬件中间件平台结构示意图。

具体实施方式

以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

本发明提供的多功能司法服务应用集成系统由软件部分及硬件部分组成。

其中软件部分采用分布式、前后端分离的架构，在终端呈现模块的应用功能集合，在后端提供各项管理功能。终端功能整合了个人中心、常用服务、市民中心、诉讼服务、咨询服务、访问记录等内容模块，为当事人提供一站式纠纷多元化解服务。硬件终端采用可封闭的独立空间，如亭子。

如图1所示，铉盈硬件中间件平台采用QT Framework框架，分为系统层、驱动层、运维层和服务层。集成多款硬件调用驱动，包括高拍仪，高速扫描仪，二维码扫描仪，人脸摄像头，身份证读卡器，凭条打印机，红外感应设备等。通过驱动层的封装对外提供restful的调用服务接口供其他应用接入。同时通过统一的系统底层调用开发集成使其可以兼容windows系统（win7,wince,win10）、linux系统（centos7）以及信创系统(UOS_V20，银河麒麟等)。

以下主要针对软件系统进行说明：

多功能司法服务应用集成设备系统包括人脸识别模块、OCR文字识别模块、司法语音识别模块、数据处理模块、智能隐私保护模块、智能安防模块。

人脸识别模块首先进行面部关键点定位，随后进行人脸捕捉，然后提取人脸特征并进行对比。进行面部关键点定位是通过改进面部关键点定位算法FEC-CNN实现，包括如下改进点：

1.在随机游走前添加了选择目标顶点功能。目标顶点要尽量避开簇间连接的顶点或尽可能让簇间连接稀少的顶点作为稀少顶点。

2.通过引入阈值参数实现了簇抽取粒度的可控性。

3.在原有的簇抽取评价条件的基础上补充了簇间连接权重评价。新增权重评价标准:比较两个分割位置产生的簇间正连接权重和的大小。增加该标准之后，如果比较值>0，其值就是我们要找的分割位置，否则邻接矩阵不可分。

4.采用自动步数探测法取消了原算法的随机游走步数参数。提高了算法的稳定性和网络簇抽取质量。实现方式为：将迭代改为循环，通过循环内部调整循环终值，达到控制循环执行次数的目的。基于代理首次遍历所有顶点转移概率分布向量的特征，并运用三点闭行迹策略，设计自适应步数探测算法。

所述人脸捕捉过程基于opencv的人脸采集算法实现，可以根据16个人脸特征值进行提取分析，针对暗光环境进行环境智能补光增强，智能色阶调整计算等优化，在景深场景下，通过矢量图像增强技术，进行智能人脸匹配，能够更快速的进行人脸捕获并抓拍。

对比提取的人脸特征时，本发明在源码基础上对提取和对比算法RestNet50进行了改进，改进点如下：

1.推迟下采样，将下采样过程挪到3*3的卷积。原始模型的下采样模块：Conv 1*1,2048-> Conv 3*3,512 -> Conv 1*1,512,s=2。输入依次经过1x1的卷积，完成通道的收缩，并且步长为2以实现下采样。3x3的卷积，通道数不变，主要用于提取特征。1x1的卷积，完成通道数的扩张。其中第一个卷积采用下采样，核大小1*1的卷积造成3/4的信息丢失。由此可见1*1的卷积层做下采样不太合适，更好的做法是把下采样过程挪到3*3的卷积上。卷积核宽度大于步长，卷积核在移动过程中可以遍历输入特征图上的所有信息。

2. 拆解大核卷积，用三个和两个3*3的卷积去替代7*7和5*5的卷积。大核卷积可以由多层小卷积核替代实现，这不仅可以减少参数，还能加深网络深度以实现网络容量和复杂度。

3.用平均池化替代1*1卷积做下采样。识别准确率提高了0.95%。

另外针对暗光场景，广角环境和远景识别做了针对性训练优化，并结合铉盈网络人脸数据库进行了参数调教，提供了更好的识别效果。

OCR文字识别模块用于识别文书，基于PaddleOcr开源项目进行二次开发，针对司法行业用词进行优化，提高识别准确率。结合铉盈诉讼材料文书库进行训练，共约150万张图片，按照99：1划分为训练集和验证集，数据利用中文语料库（新闻 + 文言文）通过字体、大小、模糊、灰度等文字变化随机生成训练集，每个样本固定10个字符，字符的组成来自语料库的句子。训练骨干网路选择ResNet_vd，使用ImageNet训练的分类预训练模型，加速收敛和效果提升。本模块主要针对法院文书类模板识别进行了优化，采用训练好的模型识别文书，能够获得准确的法律文书识别结果。本模块能够针对性要素提取,支持起诉状、调解书、身份证、律师证等。能够实现跨平台部署，支持linux、windows、macos。可进一步改进OCR识别服务，识别同时进行文字解析已经文本回填。

司法语音识别模块基于Deep Speech开源框架进行二次开发，将CTC修改为RNN变换器，去除了带有注意力的模型中用来鼓励单调性的额外剪枝。支持一个纯粹由神经网络构成的解码器，模型的训练和测试阶段之间也不会产生错位，而不需要一个外部的语言模型。采用谷歌的TensorFlow进行训练，使用kenlm的语言模型，将语料库结合司法行业专用语料（约2万条语音数据）进行优化，同时将能够更好地识别出司法行业的专有名词。基于训练结果，本模块理想情况下识别率可达90%以上。本模块可离线使用，模型训练完毕后只需提供接口即可进行语音识别。

数据处理模块采用大数据技术针对法院特定业务进行数据标记、清洗、分析最终生成各类图示报表等，供用户进行决策。

智能隐私保护模块采用挂机、双通道音频控制单元实现智能语音切换，拿起挂机可以实现外放声音自动切换挂机，保护隐私；并采用雾化玻璃与红外感应单元，当使用人员进入亭子，红外感应感应到人体时，亭子雾化玻璃自动切换为雾化模式，以保证客户隐私。

智能安防硬件系统包括设置在亭内的视频监控模块、震动感应模块、烟雾感应报警模块和设置在亭外的监控模块。视频监控模块可对厅内人员行为做智能监控，对异常动作进行识别，如跌倒、撞击破坏设备等可对接警务系统，实现自动报警。当有外力冲击前门时，震动感应模块感受到震动会自动触发报警器响起，从而警示破坏人，如多次冲撞，模块将自动报警。亭外的监控摄像头能够对亭子周围环境做监控，可智能判定人群大规模聚集等异常情形，自动提醒后台管理平台监管人员。当发生火警异常时，烟雾感应报警模块自动响起，后台自动报警。

基于上述多功能司法服务应用集成系统的多功能司法服务应用集成方法包括如下步骤：

1) 登录时，用户前端点击人脸识别登录按钮，前端程序调用铉盈硬件中间件平台，中间件打开人脸识别摄像头，通过本系统中人脸识别模块的面部关键点定位和捕获单元进行人脸抓拍，采集人脸信息。

2) 前端程序把采集的人脸信息通过5G网络传给云端应用服务。

3) 云端服务调用本系统中人脸识别算法进行人脸特征对比和识别，校验成功，并把结果返回给前端。

4) 前端程序校验成功，完成登录。

5) 用户登录后根据自己需要选择需要的业务，在需要输入文字的交互过程中，会调用本系统中司法语音识别模块进行语音识别，该技术针对法院业务相关的词组进行了训练优化，可以提供更高的识别精度。

6) 在需要文字识别的业务中，用户会上传图片，业务的后端接口会调用司法语音识别模块对上传的图片进行ocr识别，ocr识别针对法院特殊的词组形式进行了训练优化，提高了识别的准确率。

7) 所有终端收集的数据会进行云端数据存储，之后会通过大数据技术针对法院特定业务进行数据标记、清洗、分析最终生成各类图示报表等，供用户进行决策。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。