基于Map/Reduce框架实现的倒排索引文本检索

摘要

倒排索引在搜索引擎检索系统中有很广泛的应用前景.而随着互联网各种数据的不断聚集,单处理器早已无法满足对数据的处理.文章介绍了基于Map/Reduce框架下通过多节点实现多个文本的倒排索引技术,详细阐述了在多处理器下倒排索引实现的原理.并根据目前倒排索引在各大搜索引擎的应用状况,结合在试验中获得的相关数据,进一步探索了在Map/Reduce框架下倒排索引文本的有效性和效率.