基于大群体Delphi框架的仿真模型可信度评估方法

摘要

本发明属于仿真模型可信度评估领域，特别涉及一种基于大群体Delphi框架的仿真模型可信度评估方法，其步骤包括：确定评估问题和候选评估专家、设置初始化参数；收集评估专家的评估结果；过滤无效评估结果；将评估结果转换为正态云模型；判断并删除低质量的评估结果；为各位评估专家分配不同的权重；采用正态云模型的加权平均算法计算群体评估结果；计算群体共识度指标；反馈或输出。本发明能够提高专家观点表达的灵活性、大群体决策的效率以及反馈的直观性和启发性。

说明书

技术领域

本发明属于仿真模型可信度评估领域，特别涉及一种基于大群体Delphi框架的仿真模型可信度评估方法。

背景技术

仿真模型的可信度是指在预期应用背景下人们对仿真模型反映真实世界的信心大小。准确的可信度评估对于增强用户应用仿真模型和结果的信心至关重要，也为比较、优选和优化仿真模型提供依据。由于建模与仿真是一门艺术，可信度评估需要根据具体情况具体分析，在预期应用背景下对仿真模型进行优劣判断是非常主观的。因此，仿真模型的可信度评估不可避免地需要人工推理和解释，基于领域专家和同行评议的主观评估方法是解决可信度评估问题的有效方法。

在主观评估方法中，领域专家采用主观打分或语言描述给出仿真模型的可信度。为了克服单个专家的知识局限和偏见、提高评估结果的可靠性，群体决策技术被广泛应用。随着信息技术和社会需求的快速发展，如互联网、社交网络、公众参与，越来越多的评估人员参与群体决策过程。Delphi框架利用迭代的匿名调查和控制反馈收集群体智慧，在军事、商业、工业、护理、教育和卫生保健等领域成功地应用了60多年。

然而，由于耗时长、成本高、多样性、复杂性和需要人工调解员参与的缺陷，传统Delphi 框架无法管理大规模的评估专家。鉴于此，提出了一种基于大群体Delphi框架的仿真模型可信度评估方法。

发明内容

本发明的目的是：为了提高大群体决策的效率和灵活性、减少时间和资源的消耗，而提出一种基于大群体Delphi框架的仿真模型可信度评估方法。

为实现上述技术目的，本发明采用的技术方案如下：

基于大群体Delphi框架的仿真模型可信度评估方法，其步骤为：

步骤1，初始化：主持人确定评估问题和MaxP位候选评估专家P＝{e

步骤2，收集决策信息：主持人设置当前轮次需要收集的有效数据的最小数目MinP，在截止时间前，持续收集评估专家的评估结果

步骤3，无效数据过滤：过滤无效评估结果，剩余n

步骤4，数据转换：将步骤3之后保留的评估结果统一转换为正态云模型

步骤5，数据预处理：针对步骤4之后保留的评估结果，通过不良数据处理、异常值处理、容差极限处理删除低质量的评估结果；

步骤6，评估专家赋权：根据评估专家的动态行为和评估结果的质量，为当前轮次的各位评估专家分配不同的权重；

步骤7，计算群体决策结果：采用正态云模型的加权平均算法计算群体评估结果

步骤8，计算群体共识度指标：当t≥2时，计算群体评估结果的稳定度ΔEx和总体差异度Dis，否则，返回步骤2；

步骤9，反馈或输出：如果t≥MaxR，或者ΔEx≤δ且Dis≤σ，迭代结束，输出群体评估结果，否则，计算反馈给各位评估专家的反馈信息并返回步骤2。

进一步限定，所述步骤2中，评估专家e

所述集合H＝{t

所述上下文无关语法G

进一步限定，所述步骤3中，无效评估结果的过滤方法为：设V、I、C、T和L分别为精确值、区间数、正态云模型、语言术语和语言表达式的集合，如果

则保留

进一步限定，所述步骤4中，将精确值v、区间数I＝[I

其中，编码e将语言术语编码为云模型，转换函数f将上下文无关语法G

所述编码e，如表1所示：

表1

所述转换函数f定义如下：f(t

设t

进一步限定，所述步骤5中，不良数据处理方法为：如果评估结果

则保留

异常值处理方法为：采用Box-Whisker检测消除异常值，针对不良数据处理之后保留的数据集

则保留

容差极限处理方法为：

在100(1-γ)％的置信度下，保留100(1-α)％的数据，确定容差因子k；针对异常值处理之后保留的数据集

则保留

进一步限定，不失一般性，设论域为0～10，那么专家i在第t轮采用正态云模型表示的评估结果

子步骤6.1，计算专家i在第t轮的评估结果质量，包括不确定度

子步骤6.2，计算专家i在第t轮的行为演化质量

其中，

子步骤6.3，计算专家i在第t轮的权重为

其中，α、β、γ分别为不确定度

该步骤6中，p为参与当前轮次t的评估专家数量。

进一步限定，所述步骤7中，云模型的加权平均算法为

进一步限定，所述步骤8中，群体评估结果的稳定度ΔEx和总体差异度Dis的计算公式为：

其中，p为参与当前轮次t的评估专家数量。

进一步限定，所述步骤9中，反馈信息为群体评估结果和评估专家的评估结果的正态云模型的图形化展示。

本发明的有益效果：

1、本发明提出的基于大群体Delphi框架的仿真模型可信度评估方法，评估专家可以采用精确值、区间数、正态云模型、语言术语或语言表达式表示评估结果，提高了专家观点表达的灵活性；

2、本发明提出的基于大群体Delphi框架的仿真模型可信度评估方法，定义了群体共识度指标，减少了时间和资源消耗，提高了大群体决策的效率；

3、本发明提出的基于大群体Delphi框架的仿真模型可信度评估方法，以正态云模型的图形化方式展示反馈信息，能够提高反馈的直观性和启发性。

附图说明

图1为本发明一种基于大群体Delphi框架的仿真模型可信度评估方法的流程图。

图2为以正态云模型的图形化方式展示的反馈信息。

具体实施方式

为了使本领域的技术人员可以更好地理解本发明，下面结合附图和实施例对本发明技术方案进一步说明。

如图1所示，为本发明提出的基于大群体Delphi框架的仿真模型可信度评估方法应用于某电子装备仿真模型的可信度评估的实施例，包括如下步骤：

步骤1，初始化：主持人邀请某电子装备仿真模型的评估专家(包括用户、测试者和开发者)对模型可信度进行匿名评估，设置MaxP＝50、MaxR＝5、δ＝0.3％、σ＝0.8、t＝0、NoMoreInv

步骤1-2，收集决策信息：设置MinP＝40，每位评估专家通过web客户端以匿名ID提供一个精确值、区间数、正态云模型、语言术语或语言表达式表示的评估结果，截止时间后，共有47位评估专家提交了评估结果(数据过长，故省略)，3位评估专家未提供任何评估结果；

步骤1-3，无效数据过滤：过滤2位评估专家的无效评估结果后，剩余45≥MinP项数据，群体的迭代计数更新为t＝0+1；

步骤1-4，数据转换：将45位评估专家的有效评估结果转换为正态云模型；

步骤1-5，数据预处理：通过不良数据处理、异常值处理、容差极限处理后，剩余37位评估专家的评估结果；

步骤1-6，评估专家赋权：由于t<2，仅根据评估结果的质量，计算剩余的37位评估专家的重要性权重；

步骤1-7，计算群体决策结果：采用正态云模型的加权平均算子计算群体评估结果为

步骤1-8，计算群体共识度指标：由于t<2，不计算群体共识度指标；

步骤1-9，反馈：以正态云模型的图形化方式展示反馈信息，如图2所示为反馈给评估专家e

由于未达到终止条件，返回步骤2开始第2轮迭代过程；

步骤2-2：设置MinP＝35，共有42位评估专家提交了评估结果；

步骤2-3：过滤1位评估专家的无效评估结果后，剩余41≥MinP项有效数据，群体的迭代计数更新为t＝1+1；

步骤2-4：将41位评估专家的有效评估结果转换为正态云模型；

步骤2-5：数据预处理后，剩余35位评估专家的评估结果；

步骤2-6：由于t＝2，根据评估专家的动态行为和评估结果的质量，计算剩余的35位评估专家的重要性权重；

步骤2-7：采用正态云模型的加权平均算法计算群体评估结果为

步骤2-8：由于t＝2，计算群体共识度指标ΔEx＝0.3819％、Dis＝0.9496；

步骤2-9：由于tδ、Dis>σ，未达到终止条件，计算反馈给各位评估专家的反馈信息并返回步骤2，开始第3轮迭代；

步骤3-2：设置MinP＝30，共有40位评估专家提交了评估结果；

步骤3-3：剩余40≥MinP项有效数据，群体的迭代计数更新为t＝2+1；

步骤3-4：将40位评估专家的有效评估结果转换为正态云模型；

步骤3-5：数据预处理后，剩余35位评估专家的评估结果；

步骤3-6：由于t>2，根据评估专家的动态行为和评估结果的质量，计算剩余的35位评估专家的重要性权重；

步骤3-7：采用正态云模型的加权平均算法计算群体评估结果为

步骤3-8：由于t>2，计算群体共识度指标ΔEx＝0.2388％、Dis＝0.7293；

步骤3-9：虽然t

至此，通过3轮迭代完成了某电子装备仿真模型的可信度评估。

综上所述，在本发明提出的基于大群体Delphi框架的仿真模型可信度评估方法中，评估专家可以采用精确值、区间数、正态云模型、语言术语或语言表达式灵活表达其评估结果，定义的群体共识度指标减少了迭代轮数，提高了大群体决策的效率，正态云模型的图形化展示能够提高反馈的直观性和启发性。该方法还可以应用于其他领域评估与决策问题，例如方案评估、人才评价、项目评审等。

上述实施例仅示例性说明本发明的方法步骤及其核心思想，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。