古农文语义检索模型构建及其应用研究

摘要

[目的/意义]构建能实现以白话文作为查询,系统自动返回与输入最相关的古农文段落的语义检索模型,为学者提供更加便利的古代农业知识检索方式和古代农业知识溯源方式。[方法/过程]使用基于四库全书作为训练语料的SikuBERT作为基础模型,基于对比学习的方法,使用自建的古农文数据集对模型进行继续训练,得到能够支持使用白话文作为查询,返回与查询语义最相似的古农文段落的语义检索模型。[结果/结论]古农文语义检索模型的Spearman系数在测试集上的表现能够达到86.51%,较基线模型在测试集上的表现83.69%有一定程度的提升,在自建的古农文检索测试集上的召回情况(recall@k)较基线模型有一定程度提升,模型在古农文上能够有比较好的检索效果。但受限于古农文训练语料规模,模型的训练效果还有很大提升空间。