一种处理实时大批量推送数据入库的方法

摘要

本发明公开了一种处理实时大批量推送数据入库的方法，涉及软件技术领域。包括：配置webSocket连接通道，初始化队列和连接池，推送数据使用webSocket方式连接推送源，接收数据；Websocket将接收到的数据写入队列；创建数据处理线程，所述数据处理线程接收队列参数和连接池参数并运行；从数据处理线程中取队列数据，通过根据业务定制的具体规则策略实现数据分组，并创建数据处理任务；数据处理任务实现加锁以及批量入库。本发明处理对象为实时推送的大批量数据，并为数据提供分类规则，减少入库IO操作，提高性能。实时处理了通过websocket连接接收的数据，推送时间和入库时间差控制在1分钟以内，大大提升了处理效率。