基于分布式平台的构式提取和语料库管理

摘要

基于语料库的定量分析有助于发现语言现象,总结认知规律.通过自建英语标注语料库,在经典构式理论的基础上实现了利用分布式平台提取语式、验证抽象构式的工作;在Hadoop平台上为面向列的HBase数据库设计表结构,存储非结构化的语料数据;为提高构式检索的效率,使用了二级索引;最后测试比较该方案与文本和普通分布式存储的性能表现.