基于卷积和空洞卷积结构的融合网络驾驶环境感知模型

摘要

基于卷积和空洞卷积结构的融合网络驾驶环境感知模型，同时实现目标检测和语义分割。通过安装在车辆上的前视相机系统拍摄道路环境视频图像；采用残差网络模型得到图像底层特征图；设计融合网络，包括目标检测和语义分割2个子模块，这2个模块共享底层特征图。其中，目标检测模块负责预测目标框与类别置信度，语义分割模块负责对每个类别进行像素级预测。对两个模块分别选取合适的损失函数，先交替训练使感知模型在两个模块都趋于收敛；最后使用联合损失函数同时训练两个模块，得到最终感知模型。本发明可以用较小的运算量同时完成目标检测和语义分割，并且感知模型使用目标检测的大量数据辅助语义分割模块学习图像分布规律。