整车大数据存储与计算优化实现

摘要

随着人民生活水平日益提高,汽车的保有量稳步增长,汽车采集的数据也呈爆炸性增长,每天产生的车辆数据都以TB为单位,海量数据存储会耗费大量存储空间,海量数据计算将会耗费大量算力,所以数据的存储、压缩和读取速度将尤为重要。本文将阐述常规整车大数据存储与计算方式的优缺点和应用场景,并阐述基于Parquet数据格式和压缩算法实现整车大数据存储与计算优化。