一种海量数据流应用并行优化模型

摘要

计算进入了多核时代，处理器的发展不再由更快的主频带动，而是依靠增加片上的多个核心。但是，对于高性能应用来说，多核平台的并行处理由于缺少适合的并行程序开发工具还处于初始阶段，对应用的优化需要对底层线程结构的深入了解和正确使用。本文从海量数据流应用的特点出发，提出了三级流水多线程模型，它的线程同步机制没有竞争，并且实现了不同特征数据流的差别服务。在遥感图像处理和骨干网网络入侵检测系统设计中，应用了海量数据流应用模型，并在多个多核平台下对后者进行了性能评价。