一种基于大数据分析的机顶盒收视方法及系统

摘要

本发明公开了一种基于大数据分析的机顶盒收视统计方法及系统，其特征方法包括步骤：实时接收及Flume程序收集客户端不断上传的海量日志文件；把采集到的数据存储到kafka分布式订阅系统中；对Kafka中的数据进行ETL数据清洗的操作，建立结构化数据后存储到hbase中；使用Hive关联Hbase中的数据，将结构化的数据文件映射为数据库表；使用Hive进行统计汇总，统计结果存储到Mysql中；web页面支撑实时查询hbase中的结构化数据以及Mysql的统计结果报表展示。系统包括数据采集单元，数据的预处理单元，数据清洗单元，数据分析处理单元，数据存储单元，数据统计汇总和呈现单元和可视化单元。本发明使大大的提高机顶盒收集统计数据的处理速度和能力，能支持多元化的信息收集。