面向司法大数据的文本主题OLAP系统

摘要

随着大数据技术的发展,加强司法大数据应用成为推进司法现代化建设的重要手段,如何处理司法大数据中的非结构化数据亟待解决.为此,本文提出了面向司法大数据的文本主题OLAP系统.在离线数据处理模块中,设计了Span数据模型,并定义了多种针对该模型的操作符;设计了基于规则的文本行政区划归类方法,并构建了主题立方体.在线上查询模块中,实现了基于倒排索引的关键词搜索方法和最大独特主题范围查询,提供了上卷、下钻、切片等功能.通过在大规模的真实数据集上对系统进行测试,实验结果证明了该系统的合理性和实用性.