大规模汉语词汇语义知识库的构建

摘要

文章提出了一种基于义项相似度的自动合并算法,用于整合以现代汉语语法信息词典、现代汉语虚词用法知识库和现代汉语词典（第5版）为核心,以现代汉语语义词典和同义词词林等其他19个词典为补充的多源词典和知识库,初步的构建了大规模汉语词汇语义知识库CLSKB。自动合并算法准确率达到32.9%,大幅度地提高了合并工作的效率。CLSKB共包括核心知识库CLSKBCore和扩展知识库CLSKBExtended。CLSKBCore由可信度高的资源合并得到,规模约16万条。CLSKBExtended是扩展知识库,主要资源来自网络,用于补充核心知识库,规模约33万条。该知识库可为自然语言处理中诸多领域提供丰富的词汇语义及关系信息。