非合约对地观测数据源的动态汇聚

摘要

互联网上存在的大量的免费、公开、有价值的非合约形式的对地观测数据源,这些数据源具有网页查询入口、海量数据隐藏在网络后台的大型数据库且数据共享平台多样、不同种类空间数据平台难以互联等特点,难以利用传统技术实现数据汇聚和共享.在阐述目前的遇到的问题后,提出了一种基于暗网爬虫架构的非合约异构分布式数据源被动汇聚架构,并设计出一套数据源识别标准、非合约式数据源发现机制、非合约式数据源搜索条件树构建模式、非合约式数据源索引机制以及数据源异步更新规则,成功汇聚了分布在国际上不同网络域的5个大型对地观测数据源,包括NASA、USGS、ASAR 等3个国际上使用较为广泛的运行性数据源,形成了对地观测数据资源自动化汇聚和更新工具集,最终使用户可以通过统一查询界面获取非合约对地观测数据资源信息.