一种大数据分析组件的自动化开发集成方法

摘要

随着大数据时代的到来,数据分析需求日趋多样化,大数据分析工具自带的算法库已无法满足个性化的数据分析需求,亟需开发或集成新的算法.但现有的大数据分析工具算法开发集成学习成本高,给新算法的开发集成带来一定困难.提出一种针对大数据分析工具自动化开发集成算法的方法,算法以组件的形式集成到分析工具中.首先定义组件模型,其次给出组件模型自动化生成流程,最后重点分析组件代码的自动生成和代码检测问题,给出基于元信息的代码生成方案和基于Soot控制流的静态代码检测方法.实验表明,该方法可以完成大数据分析组件的自动化开发集成.