基于跨模态笔迹的类协同训练方法、笔迹比对系统、设备及介质

摘要

本发明公开一种基于跨模态笔迹的类协同训练方法、系统、笔迹比对方法及介质，采集纸质版手写签名图像转化成二值化签名图像、电子签名序列正写数据及仿写数据回显为签名图像数据；对齐两种模态类型的签名图像，在通道维度进行拼接构建对应电子‑纸质签名图像对；对图像对数据集分为有标签数据集及无标签数据集；构建双塔式网络结构，对有标签数据集两次随机采样并依次输入不同网络，对无标签数据集进行单次随机采样依次输入不同网络，结合交叉网络输出的软标签对无标签数据进行像素扰动生成对抗样本数据，分别输入对应的非交叉网络，进行跨模态比对多任务联合分类训练；综合分类结果判别跨模态笔迹签署人身份。广泛用于需要进行识别跨模态签名的场所。