一种基于虚实演进的智能体生成方法及系统

摘要

本发明提供一种基于虚实演进的智能体生成方法及系统，该方法的具体实施方式包括：构建物理空间训练环境，得到智能体训练的初始环境；基于初始环境构建虚拟空间，在所述虚拟空间中对智能体进行训练；在物理空间中对训练的智能体进行校验，消除虚拟空间与物理空间的差异性，生成基于虚实演进的智能体，该方法强化虚实指导的过程，实现虚实智能体的相互演进，提高智能体的可靠性、可用性。

说明书

技术领域

本发明涉及自主学习技术领域，更具体的，涉及一种基于虚实演进的智能体生成方法及系统。

背景技术

近年来，以互联网、大数据、人工智能等为代表的现代信息技术日新月异、蓬勃发展，并伴随着计算能力的快速更迭，人工智能技术的应用范围、效用得到了快速的提升，智能产业的发展也迎来了新的契机，对经济的发展、社会的进步、生活质量的改善等方面产生了不可替代的巨大作用。并且随着市场需求的不断刺激，智能技术的演化方向正朝着自主学习、数据驱动、虚实融合的方向发展着，具备将高维数据空间抽象提炼形成专业解决方案的深度学习、深度强化学习等方法，能够实现对高维海量信息“快、准”的分析，帮助“智能体”逐步在众多领域实现对人类的快速超越，如智能技术在人脸识别、分拣系统、无人机、路线规划等领域的大规模应用。

然而，在自主学习技术的快速发展中，一些针对可用性、可靠性、适应性的工程性问题正持续发酵。主要体现在，随着人面对的问题的不断复杂化，问题的求解空间正逐步演化成一个具有非线性、时变性和模型不确定性的复杂系统，难以通过规则、机理描述清楚，虽然通过自主学习技术的应用可以有效地较低问题的求解难度，但是自主学习技术的成熟度主要取决于机理模型的映射精度、数据资源的体量/有效性、算法资源的求解效率等因素，并且随着任务的复杂性提升，面临着求解时效、求解有效性等问题，因此，以传统方法构建的智能体将很难实现对复杂问题的正确求解。

发明内容

为了解决上述问题中的至少一个，本发明第一方面提供一种基于虚实演进的智能体生成方法，包括：

构建物理空间训练环境，得到智能体训练的初始环境；

基于初始环境构建虚拟空间，在所述虚拟空间中对智能体进行训练；

在物理空间中对训练的智能体进行校验，消除虚拟空间与物理空间的差异性，生成基于虚实演进的智能体。

在可选的实施方式中，构建物理空间训练环境，得到智能体训练的初始环境，包括：

构建物理模型，构建物理空间中系统需要完成的具体目标；

构建虚拟模型，针对物理空间中需要完成的具体目标，在虚拟空间中建立一一对应的虚拟映射关系，进而可在虚拟空间中描述物理空间中的系统机理模型。

在可选的实施方式中，基于初始环境构建虚拟空间，在所述虚拟空间中对智能体进行训练，包括：

构建虚拟空间中的评价指标，纠正智能体的训练效果，使智能体收敛；

采用智能学习方法，演进所述智能体。

在可选的实施方式中，所述智能学习方法包括：监督学习、半监督学习、深度学习和深度强化学习。

在可选的实施方式中，在物理空间中对训练的智能体进行校验，消除虚拟空间与物理空间的差异性，生成基于虚实演进的智能体，包括：

根据一一对应的映射关系，在物理空间中，将智能体与物理模型结合；

将实际物理模型映射到虚拟空间中，在虚拟空间中调整智能体的演进方向；

对虚实演进的智能体进行验证。

本发明第二方面提供一种基于虚实演进的智能体生成系统，包括：

构建模块，构建物理空间训练环境，得到智能体训练的初始环境；

训练模块，基于初始环境构建虚拟空间，在所述虚拟空间中对智能体进行训练；

演进模块，在物理空间中对训练的智能体进行校验，消除虚拟空间与物理空间的差异性，生成基于虚实演进的智能体。

在可选的实施方式中，所述构建模块包括：

物理模型，将物理空间中系统需要完成的具体目标构建出来；

虚拟模型，针对物理空间中需要完成的具体目标，在虚拟空间中建立一一对应的虚拟映射关系，进而可在虚拟空间中描述物理空间中的系统机理模型。

在可选的实施方式中，所述训练模块包括：

评价指标单元，构建虚拟空间中的评价指标，纠正智能体的训练效果，使智能体收敛；

智能学习方法单元，采用智能学习，演进所述智能体。

在可选的实施方式中，智能学习方法单元包括：监督学习单元、半监督学习单元、深度学习单元和深度强化学习单元。

在可选的实施方式中，所述演进模块包括：

物理空间单元，根据一一对应的映射关系，在物理空间中，将智能体与物理模型结合；

虚拟空间单元，将实际物理模型映射到虚拟空间中，在虚拟空间中对智能体的演进方向作调整；

验证单元，对虚实演进的智能体进行验证。

本发明提供一种基于虚实演进的智能体生成方法及系统，该方法的具体实施方式包括：构建物理空间训练环境，得到智能体训练的初始环境；基于初始环境构建虚拟空间，在所述虚拟空间中对智能体进行训练；在物理空间中对训练的智能体进行校验，消除虚拟空间与物理空间的差异性，生成基于虚实演进的智能体，该方法强化虚实指导的过程，实现虚实智能体的相互演进，提高智能体的可靠性、可用性。

附图说明

为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施方式中一种基于虚实演进的智能体生成方法示意图。

具体实施方式

下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

目前，在自主学习技术的快速发展中，一些针对可用性、可靠性、适应性的工程性问题正持续发酵，主要体现在，随着人面对的问题的不断复杂化，问题的求解空间正逐步演化成一个具有非线性、时变性和模型不确定性的复杂系统，难以通过规则、机理描述清楚，虽然通过自主学习技术的应用可以有效地较低问题的求解难度，但是由于自主学习技术的成熟度主要取决于机理模型的映射精度、数据资源的体量/有效性、算法资源的求解效率等因素，并且随着任务的复杂性提升，面临着求解时效、求解有效性等问题。

基于此，本发明第一方面提供一种基于虚实演进的智能体生成方法，包括：

S1：构建物理空间训练环境，得到智能体训练的初始环境；

S2：基于初始环境构建虚拟空间，在所述虚拟空间中对智能体进行训练；

S3：在物理空间中对训练的智能体进行校验，消除虚拟空间与物理空间的差异性，生成基于虚实演进的智能体。

该方法强化虚实指导的过程，实现虚实智能体的相互演进，提高智能体的可靠性、可用性。

在本发明的实施方式中，构建物理空间训练环境，得到智能体训练的初始环境，包括：

构建物理模型，构建物理空间中系统需要完成的具体目标；

构建虚拟模型，针对物理空间中需要完成的具体目标，在虚拟空间中建立一一对应的虚拟映射关系，进而可在虚拟空间中描述物理空间中的系统机理模型。

在本发明的实施方式中，基于初始环境构建虚拟空间，在虚拟空间中对智能体进行训练，包括：

构建虚拟空间中的评价指标，纠正智能体的训练效果，使智能体收敛；

采用智能学习方法，演进智能体。

在本发明的实施方式中，智能学习方法包括：监督学习、半监督学习、深度学习和深度强化学习。

在本发明的实施方式中，在物理空间中对训练的智能体进行校验，消除虚拟空间与物理空间的差异性，生成基于虚实演进的智能体，包括：

根据一一对应的映射关系，在物理空间中，将智能体与物理模型结合；

将实际物理模型映射到虚拟空间中，在虚拟空间中调整智能体的演进方向；

对虚实演进的智能体进行验证。

请参阅图1，下面结合具体的实施方式，对本发明第一方面提供的智能体生成方法进行说明，

第一步、虚拟/物理环境构建

该步骤主要包括虚拟模型定义、物理模型定义等两个方面，在物理模型定义方面，针对具体的任务目标，构建具备容纳虚拟智能体的指令接受机制，实现虚拟智能体作用于物理被控对象的具体过程；在虚拟模型定义方面，针对物理空间各系统的机理模型，在虚拟空间中以“一比一”的虚拟映射关系抽离出来，并能够在一定差异性的约束下实现对物理空间各系统的机理的虚拟映射，进而确保物理空间中的系统机理模型能够在虚拟空间中描述出来，实现物理空间中的机理模型向虚拟空间的迁移，构建出智能体训练的初始环境。为了进一步消除虚拟空间与物理空间的差异性，将通过第三个步骤实现对差异性的消除。

第二步、虚拟空间中的智能体训练

该步骤主要包括充分运用第一步提出的相应框架，实现虚拟空间智能体的迭代演化，分三个子步骤实现虚拟空间中的智能体训练：(1)通过构建虚拟空间中基于KPI描述能力的评价机制，为智能体的训练效果产生指导性纠正，引导智能体快速收敛，并能够在既定指标要求下完成最要的决策方案，并给予物理模型的完成能力，实现评分机制的虚实融合，促进评分机制对智能体性能的正确描述；(2)采用监督/半监督学习、深度学习、深度强化学习等智能学习方法，在分布式的计算能力调用/集成框架的支撑下，实现分布式计算集群的高效利用，促进智能体的快速演进。

第三步、物理空间中的智能体演进

该步骤主要包括充分运用第二步成功训练出来的智能体，在物理空间中进行校验、演进。基于第二个步骤的训练过程，分三个步骤构建物理空间智能体的演进策略。(1)根据“一一映射”的关系，在物理空间中将智能体嵌入需要完成任务的被控目标之上；(2)由于虚实之间存在差异性，将实际物理空间模型实时映射至虚拟空间中，并针对物理模型的完成度，对智能体的演进方向作调整，实现评分机制的虚实融合，促进评分机制对智能体性能的正确描述(3)在多轮次的物理验证过程中，确保虚拟模型作用于物理空间后能够完美地完成相应指标任务，实现智能体对物理环境的充分适应、高可靠性验证。

本发明第二方面提供一种基于虚实演进的智能体生成系统，包括：

构建模块，构建物理空间训练环境，得到智能体训练的初始环境；

训练模块，基于初始环境构建虚拟空间，在虚拟空间中对智能体进行训练；

演进模块，在物理空间中对训练的智能体进行校验，消除虚拟空间与物理空间的差异性，生成基于虚实演进的智能体。

在本发明的实施方式中，构建模块包括：

物理模型，将物理空间中系统需要完成的具体目标构建出来；

虚拟模型，针对物理空间中需要完成的具体目标，在虚拟空间中建立一一对应的虚拟映射关系，进而可在虚拟空间中描述物理空间中的系统机理模型。

在本发明的实施方式中，训练模块包括：

评价指标单元，构建虚拟空间中的评价指标，纠正智能体的训练效果，使智能体收敛；

智能学习方法单元，采用智能学习，演进智能体。

在本发明的实施方式中，智能学习方法单元包括：监督学习单元、半监督学习单元、深度学习单元和深度强化学习单元。

在本发明的实施方式中，演进模块包括：

物理空间单元，根据一一对应的映射关系，在物理空间中，将智能体与物理模型结合；

虚拟空间单元，将实际物理模型映射到虚拟空间中，在虚拟空间中对智能体的演进方向作调整；

验证单元，对虚实演进的智能体进行验证。

本发明第二方面是基于第一方面实行的，效果与本发明第一方面相同，在此不再赘述。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施方式或示例描述的具体特征、结构、材料或者特点包含于本说明书实施方式的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施方式或示例。

此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施方式或示例以及不同实施方式或示例的特征进行结合和组合。以上所述仅为本说明书实施方式的实施方式而已，并不用于限制本说明书实施方式。对于本领域技术人员来说，本说明书实施方式可以有各种更改和变化。凡在本说明书实施方式的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书实施方式的权利要求范围之内。