一种生成全国道路画像的方法及系统

摘要

本发明提供了一种生成全国道路画像的方法及系统，基于海量货车轨迹点数据，包括：数据提取步骤，提取数据；数据清洗及预处理步骤，对上述数据进行清洗和预处理，筛选固定时间段的数据；统计分析步骤，按道路计算每辆车最大速度的均值、所经过货车的最大高度、最大长度、最大宽度、最大额定载重；打标签步骤，确定每条道路的限速、限高、限长、限宽、限重；存储标签步骤，将标签结果存储到数据库中；标签更新步骤，每月更新道路标签。本发明由于结合了海量的真实货车轨迹点数据，增加了分析数据的数量及维度，统计结果科学可靠；每月更新标签的工作，保证了标签的时效性。

说明书

技术领域

本发明涉及大数据、货运市场技术领域，尤其是涉及一种基于海量货车轨迹点数据生成全国道路画像的方法及系统。

背景技术

目前，面对当前从第三方购买的道路信息数据只包含道路基本属性，如道路ID，道路长度等，且基本属性中限速属性不准确，导致无法满足一些业务数据分析需求。

中国发明专利公开号CN102568195A提供一种能够准确预判车辆行驶轨迹和目的地的方法和系统。所述预判车辆行驶轨迹的方法包括如下步骤：为车辆安装定位终端；获取车辆的多个行驶轨迹历史记录；获取车辆当前行驶轨迹；将车辆当前行驶轨迹和行驶轨迹历史记录对比，从而对车辆下一时间段的行驶轨迹做出预先判断；发布判断结果。该发明通过统计车辆的以往行驶记录，并同车辆当前的运行轨迹对比，并对车辆后续的运行轨迹做出判断，使货主和货运公司可以准确找到合适车辆执行运输任务，也可以为车辆管理企业，例如危险品运输企业来管理所辖车辆的运行状态是否正常提供重要参考手段。

然而，当前拥有的道路数据中，道路的限速属性不准确，且没有限高、限宽、限长、限重的属性，无法满足实际的业务数据分析需求(如保险业务分析货车是否超速、是否超载)。

发明内容

为解决以上问题，本发明结合货车轨迹点数据与货车信息，来补充道路有关业务分析需求的属性。

具体的，本发明提供了一种生成全国道路画像的方法，基于海量货车轨迹点数据，包括：

数据提取步骤，提取数据；

数据清洗及预处理步骤，对上述数据进行清洗和预处理，筛选固定时间段的数据；

统计分析步骤，按道路计算每辆车最大速度的均值、所经过货车的最大高度、最大长度、最大宽度、最大额定载重；

打标签步骤，确定每条道路的限速、限高、限长、限宽、限重；

存储标签步骤，将标签结果存储到数据库中；

标签更新步骤，每月更新道路标签。

优选的，所述数据包括最近一年所有货车轨迹点数据和所有货车基本信息，所述基本信息包括车长、车宽、车高、额定载重。

优选的，所述数据清洗及预处理步骤包括以下步骤：

过滤夜间时段数据；

过滤错误数据及没有匹配到道路的轨迹点数据；

提取所述轨迹点数据中的相关信息，所述相关信息包括GPS速度、道路ID、货车车牌、货车车长、车宽、车高、额定载重；

按道路整理数据，把相同道路ID的数据排放在一起。

优选的，所述按道路计算每辆车最大速度的均值的方法为：将相同道路ID、相同车牌，但GPS速度小于该车在该道路上的最大速度的数据过滤掉，即在每条道路上，只保留每辆货车最大速度的数据，并计算每辆车最大速度的均值。

优选的，所述确定每条道路的限速、限高、限长、限宽、限重的方法为：

将所述每辆车最大速度的均值与国家道路限速标准进行比较，向下匹配与每辆车最大速度的均值最接近的国家标准值，作为限速值；

将道路所经过的最大车高与国家道路限高标准进行比较，如果某一国家道路限高标准大于最大车高值，则以该国家道路限高标准值作为限高值，否则以最大车高值作为限高值，同理，计算道路的限重值；

以所述统计分析步骤中得到最大长度和与最大宽度作为道路的限长值和限宽值。

优选的，所述将标签结果存储到数据库中包括，按照道路ID、限速值、限高值、限长值、限宽值、限重值的格式将数据存储到数据库中。

优选的，所述标签更新步骤包括以下步骤：

统计步骤，在每月初计算出新的限速值、限高值、限长值、限宽值、限重值；

更新步骤，将新计算的标签与之前存储的老标签进行对比，如果新老标签不一致，则用新标签替换老标签。

根据本发明的另一个方面，本发明还提供了一种生成全国道路画像的系统，基于海量货车轨迹点数据，包括顺序连接的如下模块：

数据提取模块，用于提取数据；

数据清洗及预处理模块，用于对上述数据进行清洗和预处理，筛选固定时间段的数据；

统计分析模块，用于按道路计算每辆车最大速度的均值、所经过货车的最大高度、最大长度、最大宽度、最大额定载重；

打标签模块，用于确定每条道路的限速、限高、限长、限宽、限重；

存储标签模块，用于将标签结果存储到数据库中；

标签更新模块，用于每月更新道路标签。

优选的，所述数据包括最近一年所有货车轨迹点数据和所有货车基本信息，所述基本信息包括车长、车宽、车高、额定载重。

优选的，所述数据清洗及预处理模块包括以下单元：

第一过滤单元，用于过滤夜间时段数据；

第二过滤单元，用于过滤错误数据及没有匹配到道路的轨迹点数据；

提取单元，用于提取所述轨迹点数据中的相关信息，所述相关信息包括GPS速度、道路ID、货车车牌、货车车长、车宽、车高、额定载重；

整理单元，用于按道路整理数据，把相同道路ID的数据排放在一起。

优选的，所述按道路计算每辆车最大速度的均值的方法为：将相同道路ID、相同车牌，但GPS速度小于该车在该道路上的最大速度的数据过滤掉，即在每条道路上，只保留每辆货车最大速度的数据，并计算每辆车最大速度的均值。

优选的，所述确定每条道路的限速、限高、限长、限宽、限重的方法为：

将所述每辆车最大速度的均值与国家道路限速标准进行比较，向下匹配与每辆车最大速度的均值最接近的国家标准值，作为限速值；

将道路所经过的最大车高与国家道路限高标准进行比较，如果某一国家道路限高标准大于最大车高值，则以该国家道路限高标准值作为限高值，否则以最大车高值作为限高值，同理，计算道路的限重值；

以所述统计分析步骤中得到最大长度和与最大宽度作为道路的限长值和限宽值。

优选的，所述将标签结果存储到数据库中包括，按照道路ID、限速值、限高值、限长值、限宽值、限重值的格式将数据存储到数据库中。

优选的，所述标签更新模块包括以下单元：

统计单元，用于在每月初计算出新的限速值、限高值、限长值、限宽值、限重值；

更新单元，用于将新计算的标签与之前存储的老标签进行对比，如果新老标签不一致，则用新标签替换老标签。

本发明由于结合了海量的真实货车轨迹点数据，增加了分析数据的数量及维度，统计结果科学可靠；每月更新标签的工作，保证了标签的时效性。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明基于海量货车轨迹点数据生成全国道路画像的方法流程图；

图2为本发明中数据清洗及预处理步骤流程图；

图3为本发明中打标签步骤流程图；

图4为本发明基于海量货车轨迹点数据生成全国道路画像的系统结构图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施方式。虽然附图中显示了本发明的示例性实施方式，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

图1为本发明基于海量货车轨迹点数据基于海量货车轨迹点数据生成全国道路画像的方法的匹配流程图，包括如下步骤：

A1.数据提取步骤：提取数据；

A2.数据清洗及预处理步骤：用于提高建模数据的质量、筛选固定时段的数据；

A3.统计分析步骤:用于按道路计算每辆车最大速度的均值、所经过货车的最大高度、最大长度、最大宽度、最大额定载重；

A4.打标签步骤：用于确定每条道路的限速、限高、限长、限宽、限重；

A5.存储标签步骤：用于将标签结果存储到数据库中；

A6.标签更新步骤：用于每月更新道路标签。

如此，由于结合了海量的真实货车轨迹点数据，增加了分析数据的数量及维度，统计结果科学可靠；每月更新标签的工作，保证了标签的时效性。

实施例1

如图1所示，基于海量货车轨迹点数据生成全国道路画像发明，包括：

1、数据提取。这个步骤需要提取两个数据：

提取最近一年所有货车轨迹点数据。提取来源可以是本领域公开的免费货车轨迹获取平台，也可以是半开源的例如中交货运平台的数据。

提取所有货车基本信息，包括车长、车宽、车高、额定载重等信息。提取来源可以是本领域公开的免费货车信息获取平台，也可以是半开源的例如中交货运平台的数据。

2、数据清洗及预处理。如图2所示，这个步骤具体包括以下四个步骤：

过滤夜间时段数据，例如过滤掉夜间10：00-凌晨6：00之间的数据；

过滤掉错误数据及没有匹配到道路的轨迹点数据；

提取轨迹点数据中的GPS速度、道路ID、货车车牌、货车车长、车宽、车高、额定载重等相关信息(如果有多个道路ID，则取最后一个，因为GPS速度是在最后一个道路上发生的)；

按道路整理数据，把相同道路ID的数据排放在一起。

3、统计分析。所述统计包括：

最大速度均值统计：将相同道路ID、相同车牌，但GPS速度小于该车在该道路上的最大速度的数据过滤掉，即在每条道路上，只保留每辆货车最大速度的数据，并计算每辆车最大速度的均值。

其他统计：按道路统计所经过货车的最大高度、最大长度、最大宽度、最大额定载重。

4、打标签。所述标签包括：

限速：将最大速度的均值与国家道路限速标准进行比较，向下匹配与最大速度的均值最接近的国家标准值，作为限速值；如图3所示，最大速度均值为105.77km/h，则向下匹配寻找到限速100km/h作为限速值。

限高与限重：将道路所经过的最大车高与国家道路限高标准进行比较，如果某一国家道路限高标准大于最大车高值，则以该国家道路限高标准值作为限高值，否则以最大车高值作为限高值。同理可以计算道路的限重值。

限长与限宽：由于国家没有限制货车长度及宽度的标准，故以之前统计的最大车长值与最大车宽值作为道路的限长值和限宽值。

5、标签存储。

按照道路ID、限速值、限高值、限长值、限宽值、限重值的格式将数据存储到数据库中。

6、标签更新。

统计：每月初可以按照步骤1-4的方法计算出新的限速值、限高值、限长值、限宽值、限重值。

更新：将新计算的标签与之前存储的老标签进行对比，如果新老标签不一致，则用新标签替换老标签。

如图4所示，根据本发明的另一个方面，本发明还提供了一种基于海量货车轨迹点数据生成全国道路画像的系统100，包括顺序连接的如下模块：

数据提取模块110，用于提取数据；所述数据包括最近一年所有货车轨迹点数据和所有货车基本信息，所述基本信息包括车长、车宽、车高、额定载重。

数据清洗及预处理模块120，用于对上述数据进行清洗和预处理，筛选固定时间段的数据；优选的，所述数据清洗及预处理模块120包括以下单元：第一过滤单元121，用于过滤夜间时段数据；第二过滤单元122，用于过滤错误数据及没有匹配到道路的轨迹点数据；提取单元123，用于提取所述轨迹点数据中的相关信息，所述相关信息包括GPS速度、道路ID、货车车牌、货车车长、车宽、车高、额定载重；整理单元124，用于按道路整理数据，把相同道路ID的数据排放在一起。

统计分析模块130，用于按道路计算每辆车最大速度的均值、所经过货车的最大高度、最大长度、最大宽度、最大额定载重。将相同道路ID、相同车牌，但GPS速度小于该车在该道路上的最大速度的数据过滤掉，即在每条道路上，只保留每辆货车最大速度的数据，并计算每辆车最大速度的均值。

打标签模块140，用于确定每条道路的限速、限高、限长、限宽、限重。限速：将最大速度的均值与国家道路限速标准进行比较，向下匹配与最大速度的均值最接近的国家标准值，作为限速值；如图3所示，最大速度均值为105.77km/h，则向下匹配寻找到限速100km/h作为限速值。限高与限重：将道路所经过的最大车高与国家道路限高标准进行比较，如果某一国家道路限高标准大于最大车高值，则以该国家道路限高标准值作为限高值，否则以最大车高值作为限高值。同理可以计算道路的限重值。限长与限宽：由于国家没有限制货车长度及宽度的标准，故以之前统计的最大车长值与最大车宽值作为道路的限长值和限宽值。

存储标签模块150，用于将标签结果存储到数据库中；按照道路ID、限速值、限高值、限长值、限宽值、限重值的格式将数据存储到数据库中。

标签更新模块160，用于每月更新道路标签。所述标签更新模块160包括以下单元：统计单元161，用于在每月初计算出新的限速值、限高值、限长值、限宽值、限重值；更新单元162，用于将新计算的标签与之前存储的老标签进行对比，如果新老标签不一致，则用新标签替换老标签。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。