基于点云数据的渣土车土石方装载判断方法以及判断系统

摘要

本发明公开了基于点云数据的渣土车土石方装载判断方法，包括：采集渣土车的全车图像，输入第一神经网络模型，识别渣土车的类型，得到渣土车对应类型的标准载容；采集渣土车运载的渣土的图像，输入第二神经网络模型，识别渣土车运载的渣土的品类，得到渣土的密度；对渣土车装载的渣土进行扫描，得到渣土车装载的渣土的点云数据；对渣土的点云数据进行去噪、剪裁，得到渣土的三维图像；将三维图像识别的信息结果处理后得出装载体积；判断渣土车的装载情况是否合格；计算得到渣土车的载重，判断是否超重。本发明自动判断渣土车的类型，计算土石方的体积，自动判断渣土车的装载情况，检测效率高，省时省力，准确性好，方便实用。

说明书

技术领域

本发明属于工程项目土石方统计技术领域，具体涉及基于点云数据的渣土车土石方装载判断方法以及判断系统。

背景技术

土建项目普遍存在土石方的转运，渣土车运载土石方离开工地时需要对土石方数进行统计，目前大部分工地仍采取传统的人工计数方式进行统计，但传统计数模式易受限于管理人员学识和设备操作人员素质等因素影响造成各类逃票违规行为、缺乏规范化施工和计数误差等现象。渣土车运输过程中存有运载不够充足或者超载的现象存在，渣土车违规上路对城市的安全和环保都存在一定的影响。公开号为CN208795315U的实用新型“一种用于工程运输土石方计量的手持装置”公开了一种土石方计量装置，不能自动判断渣土车的装载情况。公开号为CN109002421A的发明专利“渣土车运输土方统计方法、系统及服务器、存储介质”公开了一种土方数统计方法和土方数统计系统，直接利用渣土车图像获得土方数，准确性成问题，土方数统计系统的地磅秤不易安装部署，且使用中易损坏而影响称重。现有技术缺乏准确、高效的渣土车土石方数自动统计方法、系统。

发明内容

本发明的目的是针对上述问题，提供基于点云数据的渣土车土石方装载判断方法以及判断系统，采集渣土车的全车图像和渣土的图像，自动识别出渣土车的类型和渣土的分类，对渣土车装载的土石方进行三维激光扫描，得到土石方的体积，并与渣土车的标准载容对比，自动判断渣土车的装载情况。

本发明采取的技术方案是基于点云数据的渣土车土石方装载判断方法，包括以下步骤：

步骤1：采集渣土车的全车图像，输入第一神经网络模型，利用第一神经网络模型识别渣土车的类型，得到渣土车对应类型的标准载容；

步骤2：采集渣土车运载的渣土的图像，输入第二神经网络模型，利用第二神经网络模型识别渣土车运载的渣土的品类，得到渣土的密度；

步骤3：利用三维激光扫描仪对渣土车装载的渣土进行扫描，得到渣土车装载的渣土的点云数据；

步骤4：对渣土的点云数据进行去噪、剪裁，得到渣土的三维图像；

步骤5：将三维图像识别的信息结果处理后得出装载体积；

步骤6：将渣土车的装载体积与步骤1得到的标准载容相比较，判断渣土车的装载情况是否合格；

步骤7：根据渣土车的装载体积和步骤2得到的渣土的密度，计算得到渣土车的载重，判断是否超重。

进一步地，步骤1还包括利用第一神经网络模型根据渣土车的全车图像识别渣土车的清洁程度。

优选地，第一神经网络模型采用Faster R-CNN神经网络，包括依次连接的卷积神经网络、RPN网络和全连接层。

优选地，第二神经网络模型采用BP神经网络，输入层包括10个神经元、隐含层包括11个神经元，输出层为1个神经元。

作为可替代的方案，步骤1也可以是采集渣土车的图像，识别出渣土车的车牌号，根据预先存储的车牌号、车型的对应关系，得到渣土车的类型以及对应类型的标准载容。

所述基于点云数据的渣土车土石方装载判断方法还包括对第一神经网络模型的预先训练，具体包括：

1) 对不同车型的渣土车，以车辆两侧挡板的最大装载限高设立基准面进行车辆标准载容测定；

2) 拍摄不同车型不同清洁程度的渣土车的全车图像，将渣土车的全车图像结合渣土车的清洁程度以及渣土车对应类型的标准载容数据形成渣土车数据集，并分为训练集和测试集；

3）利用渣土装载数据集对第一神经网络模型进行训练、测试。

所述基于点云数据的渣土车土石方装载判断方法还包括对第二神经网络模型的预先训练，具体包括：

1）采集各个工地的一定体积的渣土，进行分类，得到分类的渣土样本；

2）对每类渣土样本分别称重，根据渣土称重和渣土体积计算渣土样本的密度，并采集渣土样本的图像，形成渣土数据集，并分为训练集和测试集；

3）利用渣土数据集对第二神经网络模型进行训练、测试。

利用上述基于点云数据的渣土车土石方装载判断方法的渣土车装载识别判断系统，包括计算机以及分别与其连接的GPS接收机、相机、激光扫描仪、摄像头和显示屏。

优选地，渣土车装载识别判断系统还包括控制器以及喷淋清洗设备，喷淋清洗设备的控制端与控制器连接，控制器经数据线与计算机连接。

优选地，渣土车装载识别判断系统还包括与控制器连接的光照传感器。

相比现有技术，本发明的有益效果包括：

1)本发明根据渣土车的图像，自动判断渣土车的类型，利用三维激光扫描得到的渣土车装载的土石方的点云数据，计算土石方的体积，与渣土车的类型对应的标准载容对比，自动判断渣土车的装载情况，检测效率高，省时省力，准确性好，方便实用；

2）本发明根据渣土的图像，对渣土自动识别分类，得到渣土的密度，结合土石方的体积，得到渣土车的载重，并自动判断是否存在超重现象，代替人工，提高渣土车称重效率；

3）本发明根据渣土车的图像，自动判断渣土车的清洁程度以及是否对渣土车进行喷淋清洗，代替人工，有利于提高渣土车出场效率，使得渣土车外表的清洁程度更有保障，提高了渣土车管理水平。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1为本发明实施例的渣土车装载识别判断系统的结构示意图。

图2为本发明实施例的第一神经网络模型的示意图。

图3为本发明实施例的第二神经网络模型的示意图。

图4为本发明实施例对渣土车进行三维激光扫描的示意图。

图5为三维激光扫描的原理图。

图6为本发明实施例的三维激光扫描测量土石方体积的示意图。

具体实施方式

实施例一

实施例中，在土建项目工地出口划分驻车测量区，渣土车装载渣土后，进入驻车测量区，采集渣土车全车图像、渣土图像后，对装载的土石方进行激光扫描，进行装载情况的自动判断，如图4所示。

基于点云数据的渣土车土石方装载判断方法，包括依次执行的以下步骤，

步骤1：利用摄像头采集渣土车的全车图像，输入第一神经网络模型，利用第一神经网络模型识别渣土车的类型以及渣土车清洁程度，得到渣土车对应类型的标准载容；

步骤2：利用高清相机采集渣土车运载的渣土的图像，输入第二神经网络模型，利用第二神经网络模型识别渣土车运载的渣土的品类，得到渣土的密度；

步骤3：利用三维激光扫描仪对渣土车装载的渣土进行扫描，得到渣土车装载的渣土的点云数据；

步骤4：对渣土的点云数据进行去噪、剪裁，得到渣土的三维图像；

步骤5：将三维图像识别的信息结果处理后得出装载体积；

步骤6：将渣土车的装载体积与步骤1得到的标准载容相比较，判断渣土车的装载情况是否合格；

步骤7：根据渣土车的装载体积和步骤2得到的渣土的密度，计算得到渣土车的载重，判断是否超重；

步骤8：若判断的渣土车清洁程度的结果为尘土多，则启动喷淋清洗设备与渣土车车厢外侧和轮胎进行喷淋清洗，否则结束。

第一神经网络模型采用Faster R-CNN网络，如图2所示，包括依次连接的卷积神经网络、RPN网络和全连接层，卷积神经网络提取输入图片的特征，RPN网络推荐候选区域，利用RoI Pooling层将输出转换为固定大小。卷积神经网络包括13个conv层、13个relu层，4个Pooling层。使用前先进行预先训练，具体包括：

1）对不同车型的渣土车，以车辆两侧挡板的最大装载限高设立基准面进行车辆标准载容测定；

2）拍摄不同车型不同清洁程度的渣土车的全车图像，将渣土车的全车图像结合渣土车的清洁程度以及渣土车对应类型的标准载容数据形成渣土车数据集，并分为训练集和测试集；

3）利用渣土装载数据集对第一神经网络模型进行训练、测试。

第二神经网络模型采用BP网络，输入层包括10个神经元、隐含层包括11个神经元，输出层为1个神经元，如图3所示。

第二神经网络模型使用前先进行预先训练，具体包括：

1）采集各个工地的一定体积的渣土，进行分类，得到分类的渣土样本；

2）对每类渣土样本分别称重，根据渣土称重和渣土体积计算渣土样本的密度，并采集渣土样本的图像，形成渣土数据集，并分为训练集和测试集；

3）利用渣土数据集对第二神经网络模型进行训练、测试。

利用上述基于点云数据的渣土车土石方装载判断方法的渣土车装载识别判断系统，包括计算机以及分别与其连接的GPS接收机、CCD相机、激光扫描仪、摄像头和显示屏，控制器经数据线与计算机连接，喷淋清洗设备的控制端与控制器连接，如图1所示。实施例中，GPS接收机采用RTK载波相位差分技术，定位精度为厘米级。

系统运行过程中，激光扫描仪对渣土车装载的土石方进行激光扫描，CCD相机沿激光扫描仪相同的方向对渣土的纹理进行拍摄，通过GPS接收机提供精确的位置信息。在数据处理过程中，通过GPS测定的信息以及激光脉冲测定的倾斜距离和角度可求出每个激光脚点精确的三维空间直角坐标(X，Y，Z)，通过扫描，就可以获得具有一定宽度的装载物表面高程的三维坐标。

三维激光扫描仪是数据采集的主要设备，主要构造是一台高速精确的激光测距仪，通过反射棱镜对于所发射的激光进行引导，并以均匀角速度对检测物质进行扫描。其原理在于通过三维激光扫描仪发射器发射一个激光脉冲信号，经物体表面漫反射后，沿相同的路径反向传回到接收器，可以计算目标点C到扫描仪距离L，控制编码器同步测量每个激光脉冲纵向扫描角度观测值a和横向扫描角度观测值β，其原理如图5所示。对观测物质选取自定义高程，并建立坐标系。

通过对坐标点数据的整理快速准确获取装载物体表面每个采样点的空间位置三维坐标，得到一个实体的点集合，在计算机中重构出装载物质的三维模型，利用自带软件对建模数据进行各种后处理及应用工作。

激光扫描仪输出的原始数据是扫描点的距离值和角度值。以渣土车装载限高为三维激光识别的水平基准层，三维激光识别范围以该水平基准层建立坐标系，如图6所示，X轴在横向扫描面内，Y轴在横向扫描面内与X轴垂直，Z轴与横向扫描面垂直，通过三维激光扫描获得土石方表面点的坐标P（X，Y，Z）。

将所测点云坐标群数据导入三维扫描仪自带软件Riscan Pro中，对点云数据进行裁切、噪声点剔除，保留所需要信息。在实际数据扫描的过程中，由于扫描区域较为广泛，不可避免地产生了多余的数据，通过Riscan Pro自带的过滤功能去除噪声点，得到滤波点云数据，最终得到的三维模型。利用Riscan Pro分析可以计算得到模型到任意高程面的体积、横截面积以及表面积等。土方量计算的精确度与点高程精度和体积计算方法有关，通过提升拟合曲面与原始数据高程接近值，使得土方量计算的精度越高。

通过采集的GPS、CCD相机、激光扫描的原始数据，将整个数据通过事后处理的方式进行滤波与融合，最终生成三维“点云”数据，通过对三维激光扫描测量系统误差分析，对测量中存在的误差、计算误差进行校正后生成三维图像。

点云数据作为三维激光扫描所获取的主要数据，主要是由GPS确定的位置姿态数据与激光扫描的距离和角度数据融合后的产物。

在建立的土石方模型基础上，利用Riscan Pro软件体积计算功能，装载物方量的计算方法采取方格网法是在测量点基础上绘制格网，内插出格网点的高程来估算土方量，同样测量点的数量和精度也会影响土方量的计算精度，点数越多，精度越高，但是计算速度底，工期长。此外，扫描仪高效扫描速度，不仅大大提高了工作的效率，同时保证了物体详细的纹理特征，大大提高了土方量计算的精度。

以项目部数据库中配备的各型号渣土车允许装载的额定体积，对装载区域的土石料进行判定，超出的体积部分记为正值；不满足的体积部分记为负值应予以扣减。最终针对计算结果判定放行或超载卸料或未达到装载要求需要重新补载。

对判定合格的车辆放行后将扫描后的影像资料和体积数据上报云信息处理平台。

本发明的方法不光可以用于施工单位对渣土车运输土石料体积的方量计量，也可以用于业主方对渣土车现场管理。通过实时上传的运输体积数据，便于各单位及时明确工程状况，以便于对企业财务支出更好管控。在实际施工中，无法准确获取运载物质的精确体积、粗略采取计量车数来作为结算凭证的现象普遍存在。土石方工程占工程总造价份额较大，无法准确的预估体积对后期结算工程款容易造成纠纷。而采用本发明的方法，便于构建智能工地，精准获取的运输物质工程量对施工质量管控有极大的支持作用。

本发明的系统发展空间广，通过深层学习网络有利于建立智慧工地一体化系统，对于通过颜色识别的渣土车清渣出场以及是否搭设防尘布的检测的发展都有较大的应用空间。

对目标物体进行图像的识别首先是提取出拍照图像中目标物体的相关特征信息，然后根据机器学习、数字信号处理技术等技术把提取图像信号特征转化为机器能够识别的数据，从而达到人机交互。本发明通过对现场施工中工地土石物质、运输渣土车提取出有价值的特征，并根据这些特征采用分类器进行建模和识别。由于实际施工中渣土车型号不是很多，干扰因素单一，易于收录全实际工程施工装运土石方的渣土车类型、砂石料种类信息建立数据库，本发明的方法和系统可适用于所有的土石方施工场所，建立的神经网络模型鲁棒性较为稳定。

实施例二

实施例二的渣土车装载识别判断系统与实施例一的渣土车装载识别判断系统相同，实施例二中从渣土车的全车图像中自动识别出渣土车的车牌号，根据车牌号对应的车型，得到渣土车的标准载容，与实施例一的渣土车土石方装载情况判断方法不不一样。

基于点云数据的渣土车土石方装载判断方法，包括依次执行的以下步骤，

步骤1：采集渣土车的全车图像，识别出渣土车的车牌号，根据预先存储的车牌号、车型的对应关系，得到渣土车的类型以及对应类型的标准载容；

步骤2：采集渣土车运载的渣土的图像，输入第二神经网络模型，利用第二神经网络模型识别渣土车运载的渣土的品类，得到渣土的密度；

步骤3：利用三维激光扫描仪对渣土车装载的渣土进行扫描，得到渣土车装载的渣土的点云数据；

步骤4：对渣土的点云数据进行去噪、剪裁，得到渣土的三维图像；

步骤5：将三维图像识别的信息结果处理后得出装载体积；

步骤6：将渣土车的装载体积与步骤1得到的标准载容相比较，判断渣土车的装载情况是否合格；

步骤7：根据渣土车的装载体积和步骤2得到的渣土的密度，计算得到渣土车的载重，判断是否超重。

实施例二的第二神经网络模型与实施例一的第二神经网络模型相同，且采用相同的训练方法。

实施结果表明本发明能够实时、精准地测量运载物质的类型和体积，具有较高的量测准确率，解决传统计数方法效率低、结果不够准确的问题，对于智能工地系统的建立具有重要的意义。