一种针对大数据任务处理的基于CPU多线程与GPU多粒度并行及协同优化的方法

摘要

本发明涉及一种针对大数据任务处理的基于CPU多线程与GPU多粒度并行及协同优化的方法，首先创建主线程，根据已知参数计算CPU_GPU最佳任务划分。启动n个线程，其中1个负责调度GPU，其余负责执行CPU计算任务。然后采用内存池技术降低数据从磁盘读入内存的通信开销；采用哈希表和信息摘要解决多线程访存中资源竞争的问题；采用流水线技术隐藏数据从内存读入CPU的通信时间。在主机端，CPU采用多核多线程方式执行分配到的任务；在设备端，GPU采用CUDA并行方式执行分配到的任务。全部任务完成后，主线程收回控制权直至退出。本发明可以在大数据任务处理中取得明显的加速效果，降低任务总的处理时间，提高处理效率。