Kafka与HBase在健康监测大数据平台中的应用研究

摘要

越来越多的可穿戴传感器用于监测身体各种重要指标,但大规模健康监测数据的存储、管理和利用仍面临很多问题.为解决传统健康监测信息不能有效采集和存储从而形成数据孤岛等问题,基于Kafka的发布—订阅模式,实现健康监测大数据采集、传输、发布共享架构,使用HBase组件对数据进行持久化存储.通过Kafka集群测试以及建立HBase二级索引优化平台性能.实验结果表明,平台吞吐率达到27MB/s左右,查询效率比二级索引建立前提高近3倍,能有效满足健康监测大数据平台发展需要.