基于线程划分的数据采集方法、装置及数据采集设备

摘要

本发明提供了一种基于线程划分的数据采集方法、装置及数据采集设备，能够根据类别信息确定每个业务终端的第一数据格式，结合数据采集设备的第二数据格式生将生成的格式转换协议下发至对应的业务终端，业务终端可根据格式转换协议将业务数据包转换为目标数据包，将业务数据包中的冗余数据剔除，提高数据采集的效率。然后根据日志文件启动多个并行的第二数据采集线程，并为每个数据采集线程分配采集标识，基于每个第二数据采集线程的采集标识匹配到对应的业务终端以实现数据采集。综上，采集标识是基于第一数据格式的数据容量大小分配的，能够确保第二数据采集线程采集的目标数据包的数据容量大小与该线程的采集速率匹配，减少数据采集的耗时。