一种基于Hadoop平台和分布式处理编程模型的TCP流重组方法

摘要

本发明公开了一种基于Hadoop平台和分布式处理编程模型的TCP流重组方法，Map的输入键值对为<偏移量，二进制数据包>，输出键值对为<五元组，时间戳+序列号+数据包有效净荷>。“+”操作表示将时间戳、序列号，数据包有效净荷部分拼成一个大的字节数组，并最终将“时间戳+序列号+数据包有效净荷”保存为Hadoop自带的BytesWritable数据类型。Map的输出经过Shuffle中间过程，完成对输出键值对的分区、排序、合并等过程。将Map输出中相同五元组的“时间戳+序列号+数据包有效净荷”聚集在一起形成键值对<五元组，list(时间戳+序列号+数据包有效净荷)>作为Reduce的输入。最终Reduce的输出键值对为<五元组，重组数据>。本发明提高了运行效率，减少了开销。