基于多并发技术从数据库快速导出批量数据方法和系统

摘要

本发明公开了基于多并发技术从数据库快速导出批量数据方法和系统，该系统包括数据导出工具和注册到数据库服务器的数据导出插件，数据导出插件包括一个写文件进程和多个数据处理进程；该方法包括以下步骤：数据导出工具负责读取配置文件连接和调用数据导出插件进行导出工作；所述数据导出插件接收连接的进程为写文件进程，写文件进程创建多个数据处理进程；每个数据处理进程读取对应数据块的数据进行元组解析；将解析后的所述元组转化为目标格式数据后存入共享内存队列；写文件进程遍历所有所述共享内存队列，从中取出目标格式数据后批量写入目标数据文件。本发明有益效果：增强了扩展性，降低了与数据库服务器的耦合性，提高了导出效率。