基于HBase的证券交易数据实时采集系统的应用研究

摘要

随着大数据时代的到来,数据逐步上升为一种战略资源,在大数据产业链中,数据采集作为整个产业链的源头,直接影响着后续各个环节的发展。试提出一种数据采集方案,专门用来采集WEB网页中通过Ajax动态产生的JSON数据,同时利用Quartz和TimerTask双重定时机制,实现在指定的时点,在指定的周期内,按照指定的频率进行数据采集,以适应证券交易数据实时动态产生的应用场景,动态产生的实时JSON数据被采集后,系统再对其进行解析处理,并存储到分布式数据库HBase中,为后续的大数据实时统计分析和挖掘提供数据源。