数据处理时间计算方法、数据处理平台评价方法及系统

摘要

本发明提供一种数据处理时间计算方法、数据处理平台评价方法及系统，计算方法包括：统计目标区域的多个瓦片区域中每一个瓦片区域的多个影响因素和每一个瓦片区域的数据处理时间；建立多个影响因素与数据处理时间之间的多元线性回归模型；基于多元线性回归模型以及目标区域中的每一个瓦片区域的多个影响因素，计算每一个瓦片区域的数据处理时间；将目标区域中的所有瓦片区域的数据处理时间累积求和，得到目标区域的数据处理时间。本发明在计算将传统导航地图数据转换为DSM中精度地图数据的转换时间时，考虑了多个影响因素对数据处理时间的影响，使得计算出的数据处理时间更加精确。

说明书

技术领域

本发明数据处理领域，更具体地，涉及一种数据处理时间计算方法、数据处理平台评价方法及系统。

背景技术

在自动驾驶、高精度地图领域，需要将传统的导航地图数据自动转换为符合L2-L3自动驾驶功能的ADAS高精度地图数据(即DGM中精度地图数据)。在进行数据转换处理时，数据处理时间的长短是评价数据处理效率的关键。

目前常规的对数据处理时间计算方法为，在目标地区中选取部分区域比如，24个瓦片区域，通过统计24个瓦片区域的数据处理时间，计算出瓦片区域中单条道路的平均处理时间，来推测整个目标地区的数据处理时间。

但是，通过统计分析发现，区域内道路的复杂程度和数量对单条道路的处理时间有影响。道路网复杂的地区(道路密集，包含多种道路种别等)，同样长度的道路的处理时间却更长。那么，仅用部分瓦片区域内单条道路的平均处理时间来推算整体目标区域的数据处理时间就会误差很大，不够准确。

发明内容

本发明提供一种克服上述问题或者至少部分地解决上述问题的一种数据处理时间计算方法、数据处理平台评价方法及系统。

根据本发明实施例的第一方面，提供了一种数据处理时间计算方法，包括：

统计目标区域的多个瓦片区域中每一个瓦片区域的多个影响因素和每一个瓦片区域的数据处理时间；

根据每一个瓦片区域多个影响因素和每一个瓦片区域的数据处理时间，建立多个影响因素与数据处理时间之间的多元线性回归模型；

基于所述多元线性回归模型以及目标区域中的每一个瓦片区域的多个影响因素，计算每一个瓦片区域的数据处理时间；

将目标区域中的所有瓦片区域的数据处理时间累积求和，得到目标区域的数据处理时间；

其中，所述数据处理时间是指将传统导航地图数据转换为DSM中精度地图数据的转换时间。

在上述技术方案的基础上，本发明实施例还可以作出如下改进。

进一步的，所述根据每一个瓦片区域多个影响因素和每一个瓦片区域的数据处理时间，建立多个影响因素与数据处理时间之间的多元线性回归模型包括：

根据每一个瓦片区域的任一个影响因素和数据处理时间，建立所述任一个影响因素与数据处理时间之间的多项式方程；

根据所述任一个影响因素与数据处理时间之间的多项式方程，建立多个影响因素与数据处理时间之间的线性回归模型。

进一步的，所述多个影响因素为道路数量、每一条道路与其它道路的交叉点数量和每一条道路的长度。

进一步的，所述多项式方程为三次多项式方程；所述根据每一个瓦片区域的任一个影响因素和数据处理时间，建立所述任一个影响因素与数据处理时间之间的多项式方程包括：

y

y

y

其中，y1为道路数量与数据处理时间之间的三次多项式方程，y2为每一条道路与其它道路的交叉点数量与数据处理时间之间的三次多项式方程，y3为每一条道路长度与数据处理时间之间的三次多项式方程，a

进一步的，所述根据所述任一个影响因素与数据处理时间之间的多项式方程，建立多个影响因素与数据处理时间之间的线性回归模型包括：

建立多元线性回归模型：

T

其中，y1为道路数量与数据处理时间之间的三次多项式方程，y2为每一条道路与其它道路的交叉点数量与数据处理时间之间的三次多项式方程，y3为每一条道路长度与数据处理时间之间的三次多项式方程，θ1、θ2、θ3分别为道路数量、每一条道路与其它道路的交叉点数量和每一条道路的长度的权重系数，μ为截距；

根据每一个瓦片区域的道路数量、每一条道路与其它道路的交叉点数量、每一条道路的长度和对应的数据处理时间，求解得到θ1、θ2、θ3和μ。

进一步的，所述基于所述多元线性回归模型以及目标区域中的每一个瓦片区域的多个影响因素，计算每一个瓦片区域的数据处理时间包括：

获取目标区域内的每一个瓦片区域的道路数量、每一条道路与其它道路的交叉点数量和每一条道路的长度，基于建立的多元线性回归模型，计算得到每一个瓦片区域的数据处理时间。

根据本发明的第二方面，提供一种数据处理平台评价方法，包括：

基于数据处理时间计算方法计算在单机器单线程情况下的目标区域的数据处理时间；

根据数据处理平台的配置，计算利用所述数据处理平台处理目标区域的数据的处理时间；

根据数据处理平台处理目标区域的数据的处理时间，对所述数据处理平台的性能进行评价。

根据本发明实施例的第三方面，提供了一种数据处理时间的计算系统，包括：

统计模块，用于统计目标区域的多个瓦片区域中每一个瓦片区域的多个影响因素和每一个瓦片区域的数据处理时间；

建立模块，用于根据每一个瓦片区域多个影响因素和每一个瓦片区域的数据处理时间，建立多个影响因素与数据处理时间之间的多元线性回归模型；

第一计算模块，用于基于所述多元线性回归模型以及目标区域中的每一个瓦片区域的多个影响因素，计算每一个瓦片区域的数据处理时间；以及将目标区域中的所有瓦片区域的数据处理时间累积求和计算，得到目标区域的数据处理时间；

其中，所述数据处理时间是指将传统导航地图数据转换为DSM中精度地图数据的转换时间。

根据本发明实施例的第四方面，提供了一种数据处理平台的评价系统，包括：

第二计算模块，用于基于数据处理时间计算方法计算在单机器单线程情况下的目标区域的数据处理时间；

第三计算模块，用于根据数据处理平台的配置，计算利用所述数据处理平台处理目标区域的数据的处理时间；

评价模块，用于根据数据处理平台处理目标区域的数据的处理时间，对所述数据处理平台的性能进行评价。

根据本发明实施例的第五方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现数据处理时间计算方法和数据处理平台的平台方法的步骤。

根据本发明实施例的第六方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现数据处理时间计算方法和数据处理平台的平台方法的步骤。

本发明提供的一种数据处理时间计算方法、数据处理平台评价方法及系统，在计算将传统导航地图数据转换为DSM中精度地图数据的转换时间时，考虑了多个影响因素对数据处理时间的影响，解决了因目标地区内道路复杂情况不一，选取的局部区域不具备代表性而导致的误差大的难题，使得计算出的数据处理时间更加精确。

附图说明

图1是本发明实施例提供的一种数据处理时间计算方法流程图；

图2为建立的道路数量与数据处理时间之间的关系曲线图；

图3为道路的交叉点数量与数据处理时间之间的关系曲线图；

图4为道路的长度与数据处理时间之间的关系曲线图；

图5为本发明实施例提供的一种数据处理平台评价方法流程图；

图6为本发明实施例提供的一种数据处理时间计算系统结构图；

图7为本发明实施例提供的一种数据处理平台评价系统结构图；

图8为本发明实施例提供的一种可能的电子设备的硬件结构示意图；

图9为本发明实施例提供的一种可能的计算机可读存储介质的硬件结构示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

图1是本发明实施例提供的一种数据处理时间计算方法流程图，如图1所示，所述方法包括：101、统计目标区域的多个瓦片区域中每一个瓦片区域的多个影响因素和每一个瓦片区域的数据处理时间；102、根据每一个瓦片区域多个影响因素和每一个瓦片区域的数据处理时间，建立多个影响因素与数据处理时间之间的多元线性回归模型；103、基于所述多元线性回归模型以及目标区域中的每一个瓦片区域的多个影响因素，计算每一个瓦片区域的数据处理时间；将目标区域中的所有瓦片区域的数据处理时间累积求和，得到目标区域的数据处理时间；其中，所述数据处理时间是指将传统导航地图数据转换为DSM中精度地图数据的转换时间。

可以理解的是，在自动驾驶、高精度地图领域，需要将传统的导航地图数据自动转换为符合L2-L3自动驾驶功能的ADAS高精度地图数据，即DGM中精度地图数据。在进行数据转换处理时，数据处理时间的长短是评价数据处理效率的关键，对于数据处理时间的计算，目前传统的计算方法是统计出处理目标区域内的瓦片区域中的每一条道路所需要的时间，按照目标区域中道路的数量求取目标区域的数据处理时间。但是区域内道路的复杂程度和数量对单条道路的处理时间有影响。道路网复杂的地区(道路密集，包含多种道路种别等)，同样长度的道路link的处理时间却更长，因此，通过传统的方式计算整个目标区域的数据处理时间是不准确的。

基于此，本发明实施例提供了一种能够提高准确率的数据处理时间计算方法，首先，选取目标区域内的多个瓦片区域，其中，目标区域是指要计算处理该区域内的数据的时间的区域，也就是最终需要计算该目标区域内的数据处理时间。多个瓦片区域可以从目标区域中随机任意选取，作为目标内的代表区域。

由于区域内的多个因素均会对数据处理时间具有一定的影响，下面将对数据处理时间具有影响的因素称为影响因素，通常影响因素有多个。因此，对于选取的任一个瓦片区域，统计该任一个瓦片区域内的多个影响因素以及该任一个瓦片区域的数据处理时间。然后根据每一个瓦片区域多个影响因素和每一个瓦片区域的数据处理时间，建立多个影响因素与数据处理时间之间的多元线性回归模型。

基于建立的线性回归模块，根据目标区域内的每一个瓦片区域的多个影响因素，计算每一个瓦片区域的数据处理时间，将目标区域内所有的瓦片区域的数据处理时间累积求和计算，即可得到目标区域的数据处理时间。

本发明实施例对于数据处理时间计算方法的思路是，比如，目标区域内有100个瓦片区域，那么从中随机选取24个瓦片区域，根据24个瓦片区域内的多个影响因素和24个瓦片的数据处理时间，来计算瓦片区域中的多个影响因素和数据处理时间之间的多元线性回归模型。根据建立的多元线性回归模型计算目标区域内每一个瓦片区域的数据处理时间，然后将目标区域内所有的瓦片区域的数据处理时间求和，即可得到整个目标区域的数据处理时间。

在计算将传统导航地图数据转换为DSM中精度地图数据的转换时间时，考虑了多个影响因素对数据处理时间的影响，解决了因目标地区内道路复杂情况不一，选取的局部区域不具备代表性而导致的误差大的难题，使得计算出的数据处理时间更加精确。

在一种可能的实施例方式中，根据每一个瓦片区域多个影响因素和每一个瓦片区域的数据处理时间，建立多个影响因素与数据处理时间之间的多元线性回归模型包括：根据每一个瓦片区域的任一个影响因素和数据处理时间，建立任一个影响因素与数据处理时间之间的多项式方程；根据所述任一个影响因素与数据处理时间之间的多项式方程，建立多个影响因素与数据处理时间之间的线性回归模型。

可以理解的是，在建立多个影响因素与数据处理时间之间的多元线性回归模型时，首先是建立每一个影响因素与数据处理时间之间的关系，然后根据每一个影响因素和数据处理时间之间的关系式，建立所有影响因素与数据处理时间之间的关系式。其中，每一个影响因素与数据处理时间之间的关系式为多项式方程，多个影响因素与数据处理时间之间的关系式为多元线性回归模型的关系式。

在一种可能的实施例方式中，多个影响因素为道路数量、每一条道路与其它道路的交叉点数量和每一条道路的长度。

可以理解的是，在将传统的导航地图数据转换为DSM中精度地图数据的转换时间时，影响转换时间的多个影响因素主要包括区域内的道路数量，统计每一条道路与其它道路的交叉点数量，然后将每一条道路的交叉点数量相加可得到该瓦片区域内所有道路的交叉点数量，以及统计该瓦片区域内的每一条道路的长度。

在一种可能的实施例方式中，每一个影响因素与数据处理时间之间的多项式方程式关系为三次多项式方程。其中，根据每一个瓦片区域的任一个影响因素和数据处理时间，建立任一个影响因素与数据处理时间之间的多项式方程包括：

y

y

y

其中，y1为道路数量与数据处理时间之间的三次多项式方程，y2为每一条道路与其它道路的交叉点数量与数据处理时间之间的三次多项式方程，y3为每一条道路长度与数据处理时间之间的三次多项式方程，a

可以理解的是，首先建立每一个影响因素与数据处理时间之间的三次多项式方程，然后，根据统计的每一个瓦片区域的每一个影响因素和对应的数据梳理时间，求解得到每一个影响因素与数据处理时间之间的三次多项式方程中的各项系数，即可得到每一个影响因素与数据处理时间之间的三次多项式方程。

在一种可能的实施例方式中，根据任一个影响因素与数据处理时间之间的多项式方程，建立多个影响因素与数据处理时间之间的线性回归模型包括：建立多元线性回归模型：

T

其中，y1为道路数量与数据处理时间之间的三次多项式方程，y2为每一条道路与其它道路的交叉点数量与数据处理时间之间的三次多项式方程，y3为每一条道路长度与数据处理时间之间的三次多项式方程，θ1、θ2、θ3分别为道路数量、每一条道路与其它道路的交叉点数量和每一条道路的长度的权重系数，μ为截距；根据每一个瓦片区域的道路数量、每一条道路与其它道路的交叉点数量、每一条道路的长度和对应的数据处理时间，求解得到θ1、θ2、θ3和μ。

通过上述公式可建立多个影响因素与数据处理时间之间的多元线性回归模型，基于多元线性回归模型以及目标区域中的每一个瓦片区域的多个影响因素，计算每一个瓦片区域的数据处理时间时，获取目标区域内的每一个瓦片区域的道路数量、每一条道路与其它道路的交叉点数量和每一条道路的长度这多个影响因素。

对于目标区域的任一个瓦片区域，将该任一个瓦片区域的多个影响因素代入多元线性回归模型中，计算得到每一个瓦片区域的数据处理时间。将目标区域的所有的瓦片区域的数据处理时间累积相加，得到整个目标区域的数据处理时间。

下面以一个具体的例子对本发明实施例提供的建立多个影响因素与数据处理时间之间的多元线性回归模型进行详细介绍。以目标区域的24个瓦片区域建立每一个影响因素与数据处理时间之间的多项式方程，其中，参见图2，为根据每一个瓦片区域的道路数量，建立道路数量这个影响因素与数据处理时间之间的关系式，得到的方程式为：y

同样的，可参见图3，为根据每一个瓦片区域的道路的交叉点数量，建立道路交叉点这个影响因素与数据处理时间之间的关系式，得到的方程式为：y

同样的，可参见图4，为为根据每一个瓦片区域的每一条道路的长度，建立道路长度这个影响因素与数据处理时间之间的关系式，得到的方程式为：y

其中，可以看到三个影响因素的残差值相近，三个影响因素对瓦片区域的数据处理时间的影响相近，因此不能单独以其中一个因素进行判断。

根据三个影响因素与数据处理时间的关系方程式，建立三个影响因素与数据处理时间之间的多元线性回归模型。首先，建立三个影响因素与数据处理时间之间的多元线性回归模型：T

通过24个瓦片区域的数据计算得到：

求得θ1、θ2、θ3和截距μ的值，即可求得多元线性回归模型，后续可利用多元线性回归模型求得目标区域的每一个瓦片区域的数据处理时间，进而求得整个目标区域的数据处理时间。

参见图5，提供了本发明实施例的一种数据处理平台评价方法，包括：501、基于数据处理时间计算方法计算在单机器单线程情况下的目标区域的数据处理时间；502、根据数据处理平台的配置，计算利用所述数据处理平台处理目标区域的数据的处理时间；503、根据数据处理平台处理目标区域的数据的处理时间，对所述数据处理平台的性能进行评价。

可以理解的是，根据上述的数据处理时间计算方法计算得到在单机器单线程的情况下，目前区域的数据处理时间，在对数据处理平台的性能进行评价时，可根据数据处理平台的配置，比如数据处理平台有多少个机器，每个机器有多少个线程这些配置信息，计算利用数据处理平台处理目标区域的数据所需的时间。根据数据处理平台处理目标区域的数据的处理时间，对数据处理平台的性能进行评价，数据处理平台的数据处理时间越短，则表明数据处理平台处理数据的效率越高，数据处理平台的性能也越好；相反，数据处理平台的数据处理时间越长，则表明数据处理平台处理数据的效率越低，数据处理平台的性能也越差。

本发明实施例在计算将传统导航地图数据转换为DSM中精度地图数据的转换时间时，考虑了多个影响因素对数据处理时间的影响，解决了因目标地区内道路复杂情况不一，选取的局部区域不具备代表性而导致的误差大的难题，使得计算出的数据处理时间更加精确。进而根据数据处理平台处理数据所需的时间来评价数据处理平台的性能，对数据处理平台的性能评价也更准确。

图6是本发明实施例提供的一种数据处理时间的计算系统结构图，如图6所示，一种数据处理时间的计算系统，包括：统计模块601、建立模块602、第一计算模块603，其中：

统计模块601，用于统计目标区域的多个瓦片区域中每一个瓦片区域的多个影响因素和每一个瓦片区域的数据处理时间；建立模块602，用于根据每一个瓦片区域多个影响因素和每一个瓦片区域的数据处理时间，建立多个影响因素与数据处理时间之间的多元线性回归模型；第一计算模块603，用于基于所述多元线性回归模型以及目标区域中的每一个瓦片区域的多个影响因素，计算每一个瓦片区域的数据处理时间；以及将目标区域中的所有瓦片区域的数据处理时间累积求和计算，得到目标区域的数据处理时间；其中，所述数据处理时间是指将传统导航地图数据转换为DSM中精度地图数据的转换时间。

本发明实施例提供的数据处理时间计算系统与前述各实施例提供的数据处理时间计算方法相对应，数据处理时间计算系统的相关技术特征可参考前述各实施例提供的数据处理时间计算方法的相关技术特征，在此不再赘述。

图7是本发明实施例提供的一种数据处理平台的评价系统结构图，如图7所示，一种剧处理平台的评价系统，包括：第二计算模块701、第三计算模块702和评价模块703，其中：

第二计算模块701，用于基于数据处理时间计算方法计算在单机器单线程情况下的目标区域的数据处理时间；第三计算模块702，用于根据数据处理平台的配置，计算利用所述数据处理平台处理目标区域的数据的处理时间；评价模块703，用于根据数据处理平台处理目标区域的数据的处理时间，对所述数据处理平台的性能进行评价。

本发明实施例提供的数据处理平台评价系统与前述各实施例提供的数据处理平台评价方法相对应，数据处理平台评价系统的相关技术特征可参考前述各实施例提供的数据处理平台评价方法的相关技术特征，在此不再赘述。

请参阅图8，图8为本申请实施例提供的电子设备的实施例示意图。如图8所示，本申请实施例提了一种电子设备，包括存储器810、处理器820及存储在存储器820上并可在处理器820上运行的计算机程序811，处理器820执行计算机程序811时实现以下步骤：统计目标区域的多个瓦片区域中每一个瓦片区域的多个影响因素和每一个瓦片区域的数据处理时间；根据每一个瓦片区域多个影响因素和每一个瓦片区域的数据处理时间，建立多个影响因素与数据处理时间之间的多元线性回归模型；基于所述多元线性回归模型以及目标区域中的每一个瓦片区域的多个影响因素，计算每一个瓦片区域的数据处理时间；将目标区域中的所有瓦片区域的数据处理时间累积求和，得到目标区域的数据处理时间；其中，所述数据处理时间是指将传统导航地图数据转换为DSM中精度地图数据的转换时间。

请参阅图9，图9为本申请实施例提供的一种计算机可读存储介质的实施例示意图。如图9所示，本实施例提供了一种计算机可读存储介质900，其上存储有计算机程序911，该计算机程序911被处理器执行时实现如下步骤：统计目标区域的多个瓦片区域中每一个瓦片区域的多个影响因素和每一个瓦片区域的数据处理时间；根据每一个瓦片区域多个影响因素和每一个瓦片区域的数据处理时间，建立多个影响因素与数据处理时间之间的多元线性回归模型；基于所述多元线性回归模型以及目标区域中的每一个瓦片区域的多个影响因素，计算每一个瓦片区域的数据处理时间；将目标区域中的所有瓦片区域的数据处理时间累积求和，得到目标区域的数据处理时间；其中，所述数据处理时间是指将传统导航地图数据转换为DSM中精度地图数据的转换时间。

本发明实施例提供的一种数据处理时间计算方法、数据处理平台评价方法及系统，在计算将传统导航地图数据转换为DSM中精度地图数据的转换时间时，考虑了多个影响因素对数据处理时间的影响，解决了因目标地区内道路复杂情况不一，选取的局部区域不具备代表性而导致的误差大的难题，使得计算出的数据处理时间更加精确。进而根据数据处理平台处理数据所需的时间来评价数据处理平台的性能，对数据处理平台的性能评价也更准确。

需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包括这些改动和变型在内。