系统解析装置、设计不当解析装置、故障模式解析装置、故障树解析装置、自主动作装置及自主动作控制系统

摘要

本发明的目的在于提供一种可对动态地确定输入输出关系的系统进行恰当的解析的系统解析装置。本发明以内部状态因输入而变化、且对应于输入的输出根据所述内部状态的变化而变化的系统为对象，且包括：状态转移模型构建单元，其根据所述系统的状态转移规则来构建状态转移模型，所述状态转移模型包含所述系统可取的多个状态值和各状态值间的转移路径；初始状态值设定单元，其从所述多个状态值中设定满足规定的开始时条件的初始状态值；最终状态值设定单元，其从所述多个状态值中设定满足规定的结束时条件的最终状态值；以及状态转移路径有无判定单元，其判定在所述状态转移模型中是否存在从所述最终状态值到达至所述初始状态值的状态转移路径。

说明书

技术领域

本发明涉及一种系统解析装置、设计不当解析装置、故障模式解析装置、故障树解析装置、自主动作装置及自主动作控制系统。

背景技术

近年来，被称为模型检查方法的动态性输入输出关系解析方法较为有效这一事实逐渐为人所知。该方法如下：引入因各子系统的响应时间的不确定性以及由内部状态动态地确定输入输出关系的构成，并网罗作为整个统合系统可取的动态行为，由此探索相当于违反功能要件及安全性要件的不良情况的状态的存在。

模型检查方法使用状态转移模型并从该状态转移模型中发现相当于不良情况的状态转移序列，在这个意义上，是一种动态性输入输出关系解析方法，所述状态转移模型是结合唯一地规定作为对象的统合系统的状态的状态值、以及与各子系统的输入输出关系相对应的状态转移规则来构建的。

在图1中，展示了如下例子：将针对作为对象的状态转移模型而发现违反功能要件及安全性要件的不良情况这一内容还原为如下问题，即，根据给出在处理开始时可取的状态值的集合的开始时条件、给出在处理结束时可取的状态值的集合的结束时条件，判定有无连结两个状态的集合的转移路径。

图2表示状态转移模型的构建方法。系统的状态转移模型由状态值和内部状态的状态转移规则构成，所述状态值是结合对系统的输入、内部状态以及来自系统的输出来定义的。此外，状态转移规则由根据输入和内部状态来确定输出值的函数、以及更新内部状态(即，运算下一内部状态)的函数构成。

图3为利用有向图来表现状态转移模型可取的各状态值及其转移可能性的状态转移图。使用该状态转移模型的动态性输入输出关系解析方法可看成如下问题：判定有无从满足适当的开始时条件的初始状态值的集合到达至满足相当于不良情况的结束时条件的最 终状态值的集合的状态转移序列。该例子具有如下特征：在取某一内部状态时，转移目的地状态因输入值而不同，因此状态转移图有多种转移目的地状态。

作为具体的运用例，可列举设计缺陷的解析、故障模式影响解析以及故障树解析这样的动态性输入输出关系解析方法。在该情况下，将对应于功能要件的应满足的正常时条件设定为开始时条件，此外，将根据系统的动作形态而定义的相当于功能要件及安全性要件的违反的危害条件设定为结束时条件。

并且，设计缺陷的解析为：发现即便从满足开始时条件的初始状态的集合开始任何故障模式都没有产生，但也存在到达至满足结束时条件的最终状态值的集合的状态转移路径。

此外，故障模式影响解析为：针对从满足开始时条件的初始状态的集合开始有可能在任意时刻产生的一种故障模式，判定到达至满足结束时条件的最终状态值的集合的状态转移路径的有无。

进而，故障树解析为：针对朝从满足开始时条件的初始状态值开始有可能在任意时刻产生的一种或多种故障模式的转移的组合，判定存在到达至满足指定的结束时条件的最终状态值的集合的状态转移路径这样的故障模式的组合的有无。

图4表示具体的状态转移序列的探索程序。在该方法中，从满足开始时条件的初始状态值的集合中适当地选择一个初始状态值，网罗性地探索以对应于输入值的自由度的数目存在的多个可到达的转移目的地状态值。然后，以图5所示的树的形式展开各状态转移路径，判定是否存在可到达至违反结束时条件的最终状态值的集合的状态转移路径。

在如上程序中，代替引入作为改变各子系统的输入输出关系的动态因素的内部状态，使用故障模式影响解析及故障树解析来进行的工序的方法就是模型检查方法。在本说明书中，将其称为正向状态转移路径探索法。再者，这是一种静态性输入输出解析方法，类似的方法在专利文献1中有记载。

以往技术文献

专利文献

专利文献1：日本专利特开平06-095881号公报

发明内容

发明要解决的问题

但是，例如，如图6所示，在系统可取的状态值的数量极大、满足结束时条件的状态值的数量相对于可取的所有状态值而言极少的情况下，如图5所示的状态转移路径树的规模将变得较大。

此外，模型检查方法需要大量的计算机资源，尤其需要网罗性地评价可到达的状态值的高速计算能力、以及存储所述所有状态值的大容量存储器。因此，在利用模型检查方法时，能够实际加以运用并在有限时间内解析的系统的规模受到限定。

计算量增加的原因在于：网罗状态转移路径所需设定的初始状态值的数量庞大，必须单独设定初始状态值来构建状态转移路径；以及，从适当地选择的一个初始状态值起展开的状态转移路径的数量也对应于与探索的深度相当的状态转移的步数而呈指数函数增加这样的探索方式的问题。

此外，在系统设计的最终阶段，为了保证满足安全性要件，必须验证没有所期望的状态转移路径这一情况。必须使用正向状态转移路径探索法来网罗所有状态转移路径，验证其中的状态转移路径均未到达至满足结束时条件的最终状态的集合这一情况。因而，结果就需要网罗并存储所有状态转移路径的巨大量的大容量存储器。

再者，作为导入动态因素而进行同样的解析的尝试，还有模拟。该模拟以排除模型检查方法中所导入的不确定性的方式逐一设定对应于不确定因素的参数，单独评价一条状态转移路径。不过，由于网罗设定该参数所需的计算量与正向状态转移路径探索法所需的计算量大致一致，因此与模型检查方法一样，模拟在计算资源量的制约下难以运用于实用级规模的系统。

此外，在对动态地确定输入输出关系的系统运用静态性输入输出关系解析方法的情况下，有可能发生如下检测不当：因动态因素而导致误检测到实际不会发生的不良情况，或者因动态因素而导致检测不到实际会发生的不良情况而发生漏检、留下潜在的不良情况。

因此，本发明的目的在于提供一种能够对动态地确定输入输出关系的系统进行恰当的解析的系统解析装置。

解决问题的技术手段

本发明以内部状态因输入而变化、且对应于输入的输出根据所述内部状态的变化而变化的系统为对象，且包括：状态转移模型构建单元，其根据所述系统的状态转移规则来构建状态转移模型，所述状态转移模型包含所述系统可取的多个状态值和各状态值间的转移路径；初始状态值设定单元，其从所述多个状态值中设定满足规定的开始时条件的初始状态值；最终状态值设定单元，其从所述多个状态值中设定满足规定的结束时条件的最终状 态值；以及状态转移路径有无判定单元，其判定在所述状态转移模型中是否存在从所述最终状态值到达至所述初始状态值的状态转移路径。

发明的效果

本发明能够对动态地确定输入输出关系的系统进行恰当的解析。

附图说明

图1为表示制约条件下的状态转移路径的探索的图。

图2为表示具有动态性输入输出关系的系统的图。

图3为表示利用有向图加以表现的状态转移模型的图。

图4为表示正向状态转移路径探索法的图。

图5为表示正向状态转移路径探索法结果所获得的探索树的图。

图6为表示大规模的状态转移模型的图。

图7为表示反向状态转移路径探索法结果所获得的探索树的图。

图8为表示反向状态转移路径探索法的图。

图9为表示转换成SAT的反向状态转移路径探索法的图。

图10为表示表现在状态转移模型上的状态转移规则的图。

图11为表示从状态转移规则到逻辑式的转换的图。

图12为表示将多个子系统相互连接而构成的统合系统的图。

图13为表示统合系统的输入输出信号一览的图。

图14为表示子系统的输入输出信号一览和子系统的连接信号名的图。

图15为表示每一子系统的状态转移规则的图。

图16为表示整个统合系统的状态值的构成的图。

图17为表示可运用于不同步动作的多个子系统的反向状态转移路径探索法的图。

图18为表示统合系统的一例的图。

图19为表示操作者所希望的统合系统的启动-结束序列的图。

图20为表示违背操作者意图的统合系统的启动-结束的不良的图。

图21为表示搭载有自动恢复功能的自主系统的状态转移模型的图。

图22为表示子系统的故障后的自动恢复可能性的判定处理流程的图。

图23为表示启动可能性的判定处理流程的图。

图24为表示停止可能性的判定处理流程的图。

图25为表示正常动作时的危害发生可能性的判定处理流程的图。

图26为表示继续动作可能性的判定处理流程的图。

图27为表示自主动作控制系统的图。

图28为表示操作者与自主系统的协作的图。

图29为表示系统故障时的自主系统的动作的图。

图30为表示系统解析装置的图。

具体实施方式

下面，对使用本发明的系统解析装置的实施例进行说明。

实施例1

在说明本实施例之前，对其概念进行说明。

首先，当使用状态转移模型时，可统一地描述功能要件及安全性要件。也就是说，功能要件主要可视为针对处于无硬件故障的正常动作状态的整个系统的输入输出关系的制约条件。此外，通过如此以状态转移模型的形式加以抽象化，就无须区分功能要件的实现单元是硬件还是软件。尤其是由于软件在各时刻只能实现一个处理，因此软件处理本身直接就是状态转移模型。

另一方面，安全性要件可视为针对发生了硬件故障的情况下的整个系统的输入输出关系及状态值的制约条件。例如，当以一种来自外部的输入信号的形式取得切换按每一硬件而定义的故障模式的信号时，可将故障时的输入输出关系追加至正常动作时的输入输出关系。若注意到这一点，则安全性要件可统一地描述为与追加有用以选择性地产生故障模式的外部输入的系统的输入输出响应相关的制约条件。如此一来，可理解故障模式解析装置、故障树解析装置为系统解析装置的一实现形态。

若如此进行统一，则所谓违反以输入输出响应的形式表现的功能要件及安全性要件的不良情况，就是指在从处理开始时到处理结束时为止的过程中不满足这些制约条件的情况。因而，这种不良情况的发现可重新定义为规定的制约条件下的状态转移路径的探索问题。

表现了系统的状态转移模型具有如下特征：相对于满足在处于可继续动作的状态时成立的开始时条件的状态值的数量，满足根据系统的动作形态而设定的各结束时条件的状态值的数量极少。

实际上，系统可取的所有状态值当中，能够从满足开始时条件的初始状态值的集合转移的转移目的地的状态值的数量大至能够在满足输入值的自由度和开始时条件的范围内变化的内部状态的自由度的数量。因而，满足开始时条件的状态值的数量较大。

另一方面，关于可从满足结束时条件的状态值转移的转移目的地状态值的数量，由于不论输入值如何，均无法实现伴有内部状态的更新的继续动作，因此转移目的地状态值保持相同状态值的状态，或者留在满足结束时条件的少量状态值的集合内部。因而，满足结束时条件的状态值的数量停留在少量。

在该情况下，使用反向状态转移路径探索方法代替模型检查方法中所使用的正向状态转移路径探索方法，将使得状态转移路径树的规模变得极小。通过利用该性质，可降低反向探索所期望的状态转移路径所需的计算资源量。

实际上，如图7所示，逆序前进的状态转移路径的数量取决于满足结束时条件的少量状态值的数量、以及逆序前进而到达至满足开始时条件的状态值为止的转移步数。在状态转移图中，若从满足结束时条件的最终状态值的集合的内部脱离至外部而到达至满足开始时条件的初始状态值的集合的内部的步数较少，则转移步数较少。因此，在满足开始时条件的初始状态值的数量占据可取的所有状态值的空间的大部分、且满足结束时条件的最终状态值的数量极少的情况下，转移步数极少，其结果，能以较少的计算资源量反向探索所期望的状态转移路径。

下面，对遵循这种概念而制成的系统解析装置进行具体说明。在本实施例中，以仅由一个包含输入输出及内部状态的系统构成的系统为解析对象。该系统中，内部状态因输入而变化，且对应于输入的输出根据所述内部状态的变化而变化。

并且，本实施例的系统解析装置包括：状态转移模型构建单元(相当于图30的解析部)，其根据系统的状态转移规则来构建状态转移模型，所述状态转移模型包括系统可取的多个状态值和各状态值间的转移路径；初始状态值设定单元，其从多个状态值中设定满足规定的开始时条件的初始状态值；最终状态值设定单元，其从多个状态值中设定满足规定的结束时条件的最终状态值；以及状态转移路径有无判定单元，其判定在状态转移模型中是否存在从最终状态值到达至初始状态值的状态转移路径。这些系统的状态转移规则、开始时条件、结束时条件、任意的制约条件是从图30所示的设定部输入的。

另外，作为从满足结束时条件的状态值的集合起沿状态转移路径逆序前进而探索满足开始时条件的初始状态值的集合的方法，还有利用正向状态转移路径探索方法中所使用的图3那样的状态转移模型而归于图形探索方法的方法。但是，在该方法中，依然存在需要 大量计算资源的情况。其原因在于，所给的状态转移规则虽然在正向上唯一地规定转移目的地状态，但在反向上并不会唯一地给出转移源状态。因此，当将生成状态转移图来反向探索转移源状态的问题归于图形探索问题时，在系统可取的所有状态值的数量极大的情况下，以图形的形式存储该状态转移模型时所需的计算机的存储器的量与状态值的数量、以及表示2状态间的转移可否的界值的数量成正比而较为巨大。

若代之而将状态转移规则和结束时条件、开始时条件设定为作为解而期待的状态转移序列应满足的逻辑式形式的制约条件，且使用可高效地探索满足这些制约条件的解的SAT解算器，则以较少的计算资源量即可判定有无该状态转移序列。

出于该情况，实施例的系统解析装置构成为进行援用SAT解算器的反向状态转移路径探索的装置，其包括将系统的状态转移规则转换为逻辑式的单元，使用SAT解算器来算出将逻辑式、开始时条件及结束时条件作为制约条件来构建的可满足性判定问题的满足解，并将满足解作为状态转移路径输出。上述逻辑式转换单元、SAT解算器配备在解析部中。图8表示如下方法的一例：使用所给的状态转移模型、开始时条件、结束时条件，从满足结束时条件的任意状态值起反向探索状态转移路径，判定到达至满足开始时条件的状态值的状态转移路径的有无。

本方法以明确地保持构成状态转移路径的各状态值这样的图形探索问题为基础。也就是说，设定满足结束时条件的最终状态值作为状态转移路径的起点，以递推的方式反向探索能1步到达至该最终状态的转移源状态，并网罗展开状态转移序列直至发现满足开始时条件的转移源状态为止。

如前文所述，由于图形探索法需要大量的计算资源，因此将与其同等的处理转换为可满足性判定问题来降低计算资源量，图9表示这种代替法。

在步骤901中，结合输入输出信号值及内部状态来定义状态值。在步骤902中，设定进行反向探索的范围。作为一例，可列举指定从最终状态起进行反向探索的状态转移步数的上限的方法。此外，还可列举以不探索特定的状态值的集合的方式对状态转移序列追加制约条件的方法。

在步骤903中，在步骤902中所指定的探索范围内，于未定义值的状态下声明所期望的状态转移序列。在后文叙述的步骤910中，利用SAT解算器算出该状态转移序列。

在步骤904至步骤905中，根据相当于系统的输入输出关系的状态转移规则，从t＝1到t＝T分别设定构成所述于未定义值的状态下声明过的状态转移序列的连续的两个状态值x[t]与x[t+1]之间的制约条件。

图11表示在如图10所示的给出了状态值及转移条件的状态转移图中相当于状态转移规则的制约条件。图11以逻辑式的形式例示了根据当前的状态值x[t]与转移条件的组合而给出转移目的地状态值x[t+1]的关系。通常而言，步骤910中所使用的大量SAT解算器大多接受图11中所例示的逻辑式形式下的输入。

在步骤906至步骤907中，对所述状态转移序列的各状态值x[t＝1…T]设定相当于系统的功能要件以及动作上的极限的制约条件。作为制约条件的设定方法，通常可列举：对作为状态值的一构成要素的输入值追加设定容许范围，或像步骤902中所例示的那样，将用以限定反向探索的范围的制约设定为状态转移序列的各状态值。

在步骤908中，对所述状态转移序列的初始状态设定满足开始时条件这一内容作为制约条件。在步骤909中，对所述状态转移序列的最终状态设定满足结束时条件这一内容作为制约条件。

在步骤910中，使用SAT解算器来探索有无满足到本步骤为止所设定的所有制约条件、且在步骤903中于未定义值的状态下声明过的状态转移序列。

在SAT解算器判定没有这种状态转移序列、也就是说无法满足制约条件的情况下，进入至步骤911。在该情况下，由于没有到达至满足规定的结束时条件的状态值的集合的状态转移序列，因此可验证如下情况：在步骤902中所指定的探索范围内，从满足开始时条件的任意初始条件开始未到达至满足结束时条件的状态值(也就是说，未发生满足结束时条件的现象)。

相反，在SAT解算器发现满足全部的所述制约条件的状态转移序列的情况下，进入至步骤912。在该情况下，可验证如下情况：从满足开始时条件的任意状态值开始到达了满足结束时条件的状态值，也就是说，发生了满足结束时条件的不良现象。为了返回903中所声明的未定义值的具体值，SAT解算器以按每一转移步而显示有状态值的时序图等形式报告不良现象。

如上所述，根据本实施方式，能够对动态地确定输入输出关系的系统进行恰当的解析。

尤其是一种导入了用以切换规定各输入输出关系的动作模式的内部状态的动态性输入输出关系解析方法，能以比正向状态转移路径探索法所需的计算资源量少的计算资源量判定可从满足指定的开始时条件的初始状态的集合到达至满足指定的结束时条件的最终状态的集合的状态转移路径的有无，并且，若存在这样的状态转移路径，可输出具体的状态转移路径。

实施例2

在本实施例中，展示如下例子：在将包含输入输出及内部状态的多个子系统相互连接而构成的统合系统中运用反向状态转移路径探索法。

此处，所谓子系统，意指内部状态因输入而变化、且对应于输入的输出根据所述内部状态的变化而变化的系统。此外，所谓统合系统，意指未必保证相互同步动作的子系统相互连接而成的系统。

在这种统合系统的情况下，上述问题更为显著。即，在动态性统合系统的情况下，可从各状态值起以1个状态转移步进行转移的转移目的地状态值的数量进一步增加，状态转移路径的树的规模进一步扩大。此外，在各子系统的响应时间及输入输出关系为静态的情况下、也就是说在能以对满足规定的功能要件的子系统的输入唯一地规定满足规定的功能要件的输出为前提的情况下，静态性输入输出关系解析方法较为有效，但在动态性统合系统中，该前提不成立。因而，对动态性统合系统运用静态性输入输出关系解析方法并不实用，检测不当的问题更为显著。

根据以上内容可知，对于由并行动作的多个子系统构成这样的统合系统，可降低如现有的模型检查方法所需的庞大的计算资源量、可抑制检测不当的方法也较为有效。

在说明本实施例之前，对其概念进行说明。

图12表示将n个子系统相互连接而成的统合系统。图13表示作为整个统合系统所具有的输入输出信号一览、以及与统合系统内的内部信号一览的连接关系。

图14表示各子系统的输入输出信号的一览、以及与统合系统内的内部信号值的连接关系。对整个统合系统的输入必定为对某一子系统的输入，同时，来自统合系统的输出必定为来自某一子系统的输出。

图15表示各子系统的输入输出关系。按每一子系统设置好对输入值与内部状态的组合唯一地给出输出信号值和转移目的地内部状态值的状态转移规则(传递函数)。如步骤901所示，图12的统合系统的内部状态值可像图16那样进行定义。

接着，对统合系统的状态转移模型可表现为具有这多个子系统不同步地并行动作的自由度的模型这一情况进行说明。

关于对实际的统合系统定义的状态值，由于原本会实时变化，因此不会无条件地与离散时间下的状态转移模型相关联。但是，若以数字值来表现与各子系统相关联的状态值，则通过仅提取与各子系统相关联的状态值的更新顺序，而将实际上会实时变化的统合系统的状态值转移路径与状态值在离散时间下发生变化的离散时间状态转移模型中的状态转移路径一一对应起来。

再者，状态值也可以是为模拟值的连续值。实际上，可通过对连续的状态空间进行区间分割并对各区间分配离散值来使所述连续值与离散值一一对应。

在系统由单个子系统构成、或者所有子系统以相同程度的输入输出响应时间同步更新状态值的情况下，像实施例1中所展示的那样，仅考虑作为状态值的一部分的输入值的不确定性即可。此外，通过硬件来实现相当于输入输出关系的状态转移规则的子系统组中，由于以相对于输入值的更新而言极短的时间唯一地规定输出值，因此输入输出响应时间极短，并且，这些子系统组在各离散时间内必定会更新状态值，所以以在各离散时间同步更新状态值的方式被关联起来。

另一方面，在通过软件来实现相当于输入输出关系的状态转移规则的情况下，各软件的输入输出响应时间虽然有限，但即使比实时进行输入输出响应的子系统的输入输出响应时间相同程度地短，也并不固定，在这个意义上是不确定的。这种与子系统组相关联的状态值并非在所有离散时间步中得到更新，在这个意义上是不同步的，必须引入该与状态值的更新时间相关的不确定性、也就是说更新顺序的自由度。

再者，在通过软件来实现状态转移规则的子系统的输入输出响应时间的上下限值已知或者被指定的情况下，对与各子系统相关联的状态值的更新时间相关的自由度追加制约条件。在该输入输出响应时间的制约下，仅限定于可调度的更新顺序即可。

将图9所示的状态转移序列的算出流程扩充后，就相当于图17。

步骤1701～1703对应于步骤901～903。

在步骤1704中，为了与离散时间的状态转移模型相关联，以网罗与各子系统的状态值的更新顺序相关的自由度的方式构建同步执行集合。此处，所谓同步执行集合，是指构成统合系统的n个子系统内，在各离散时间内同步更新状态值的子系统的集合。然后，网罗选择同步执行集合并追加至同步执行列表。

关于在各离散时间内应包含在同步执行集合中的子系统的一览，以进行实时的输入输出响应的子系统的响应时间为基准，考虑各子系统的输入输出响应时间的相对长度及不确定性来确定。

在步骤1705中，针对各离散时间t，选择同步执行列表中所登记的一个同步执行集合，在步骤1706中，与同步执行集合中所登记的子系统相关联的状态值进行更新，而与未登记的子系统相关联的状态值则不更新，保持相同状态值。如此，根据离散时刻t下的状态转移规则和同步执行集合来设定转移源状态值与转移目的地状态值之间的制约条件的逻辑式表现W。

对与离散时刻t相对应的同步执行列表的所有同步执行列表进行步骤1706、1707，并取所生成的这些制约条件的逻辑式表现W的逻辑和。对所有离散时刻t设定逻辑和。

在步骤1708中，将针对同步执行列表的每一表列值而获得的逻辑式的逻辑和设定为制约条件。在步骤1709中，从同步执行列表中选择一个同步执行集合。

步骤1710相当于步骤906，步骤1711相当于步骤907。步骤1711相当于步骤908，步骤1712相当于步骤909。步骤1714相当于步骤910，设定步骤1707、1709、1710～1713中所设定的逻辑式的逻辑积，并使用SAT解算器来探索有无满足所有制约条件的、在步骤1703中于未定义值的状态下声明过的状态转移序列。步骤1715相当于步骤911，步骤1716相当于步骤912。

实施例3

在本实施例中，展示以如图18所示的统合系统1801为对象，应用反向状态转移路径探索法来解析设计缺陷的方法。

在说明本实施例之前，对其背景进行说明。

以往，存在通过将具有高度的信息处理功能以及各种各样的功能的子系统组相互连接而构成的统合系统。在设计这种统合系统时，存在在单独定义各子系统的功能要件的阶段无法轻易发现，到了系统统合的阶段，在将子系统组相互连接并使其运转时才开始显露出来的不良情况。该不良情况大致分为不满足分派给该系统的功能要件的情况、以及有损安全性要件的情况。

导致这种不良情况的系统设计上的复杂性不仅发端于系统的规模，还发端于将硬件通用化、并使用以实现规定的功能要件及安全性要件的机理汇集在软件中的设计思想。

虽说如此，通过采取在对已通用化的硬件进行再利用而构建的平台上利用软件实现各种功能要件来代替针对各种各样的功能而分别设计专用硬件的架构而获得的成本削减效果较好，使得该倾向在今后也会持续下去。

为了看到设计信息的再利用而在短时间内设计大规模的系统，较为有效的是通过每一子系统的分工来并行地进行设计作业。为此，以往采取的是将分割后的功能要件分配至各子系统，并经由适当的接口而相互连接的设计方法。但是，存在如下情况：由于在将整个统合系统的功能要件分解为各子系统的功能要件时还不明确的多个功能要件间的竞争、或者经由将连接源子系统及连接目的地子系统连结的接口而实现的处理内容的统合时失配，导致了前文所述的不良情况。

在实现主要功能要件的手段一直依赖于专用硬件的现有系统的设计中，分配至各硬件子系统的功能要件的数量为一个或较少，此外，各子系统的输入输出关系、响应时间以及子系统间的接口的输入输出规格均有明确规定。因此，由于仅进行确定的响应时间、可预测的输入输出响应动作，所以由功能要件间的竞争以及接口的失配所引起的不良情况难以显现出来。

但是，在将主要的功能要件大量集聚至软件的过程中，由于将大量功能要件分割并分配至多个子系统，因此在一个子系统中要通过软件来实现多个功能要件。此时，需要考虑了软件可实现的处理的性质的设计。

第一性质为，一次只能进行一个输入输出处理动作。因此，在无法同时执行分配给各子系统的多个功能要件的情况下，不良情况就会以功能要件间的形式的形式显现出来，而规定外的输入输出则以输入输出接口的失配的形式显现出不良情况。

第二性质为，响应时间不确定。尤其是，统合系统的功能要件虽然使由软件实现的多个子系统组进行并行动作来实现，但由于各子系统的响应时间不确定，因此存在如下情况：在系统统合时，应以各子系统的行为的总体的形式实现的整个统合系统的动作变得不确定。这也可能导致不良情况。

第三性质为，对于软件本身的不良情况或者规定外的输入，软件实现部的输出变得无法预测。尤其在进行系统化后的统合系统的测试来验证对功能要件或安全性要件的违反时，有可能使这些不良情况的发现变得困难。

实际上，即便发现了这些不良情况，因各子系统的响应时间的预测性，大多数情况下也难以再现不良情况。

在要求高安全性的统合系统中确认没有这种不良情况是高可靠性系统设计上的课题之一。在这种系统中，具备内部冗余性以应对硬件故障，在发生故障时留在安全状态，或者将可继续动作设定为安全性要件，并通过软件加以实现。在以冗余化的硬件对硬件故障有效地发挥功能的方式实现软件处理的情况下，优选发现并应对违反与容错功能有关的安全性要件的不良情况而没有上述那样的伴随软件实现的副作用。

本实施例的设计不当解析装置对上述情况有效，下面将进行具体说明。

本实施例的设计不当解析装置以多个系统相互连接而成的统合系统为对象，将统合系统在正常时应满足的功能要件设定为开始时条件，将统合系统的异常状态设为结束时条件，状态转移路径有无判定单元判定在状态转移模型中是否存在从最终状态值到达至初始 状态值的状态转移路径，在经状态转移路径有无判定单元判定存在从最终状态值到达至初始状态值的状态转移路径的情况下，判定为存在统合系统的设计不当。

首先，对成为本实施例的设计不当解析装置的解析对象的图18的统合系统1801进行说明。统合系统1801是将控制器1803、执行器1804、控制对象1806、传感器1807及安全监视器1805相互连接而构成的，该统合系统1801由操作装置1802加以操作。再者，关于操作装置1802，存在根据来自操作者的输入来确定操作内容的情况、以及根据操作装置1802内的处理来确定操作内容的情况。

操作装置1802与统合系统1801经由所图示的接口而不同步地连接。操作装置1802中，因操作者按照规定的操作程序来进行输入、操作装置1802内的处理而使得动作顺序发生变化，因此可表现为将按每一动作顺序分配的内部状态转移的状态转移模型。

对操作装置1802与统合系统之间的接口进行说明。boot信号为控制统合系统的启动/停止的电平信号。grant信号为指示启动后的动作开始和结束的脉冲信号，command信号为在动作开始后发出控制命令的脉冲信号。当从操作装置1802对控制器输入command信号时，收到该信号的控制器对执行器输出控制指令Control input信号。error信号是在统合系统内发生了错误的情况下，操作装置1802所接收的与错误信息有关的脉冲信号。

构成统合系统的各子系统按每一动作模式而具有内部状态。此外，由于执行器、控制对象、传感器的输入输出响应时间极短，因此可视为实时地同步动作。

另一方面，由于控制器、安全监视器的输入输出响应是通过软件来实现的，因此输入输出响应时间不确定。因此，这两个子系统与同步动作的所述3个子系统以相互不同步地动作的状态相互连接。

操作装置1802具有与规定的操作程序相对应的内部状态，状态值从Off转移至状态值Boot，将boot信号设置为1。然后转移至状态值Grant，在将boot信号设为1的状态下对作为脉冲信号的grant信号设置1。在将状态值转移至Operate的期间，对command信号值持续设定适当的控制命令。在希望停止统合系统1805的情况下，转移至状态值Shutdown，再次对作为脉冲信号的grant信号设置1，最后转移至状态值Off而将boot信号值清除为0。若在状态值处于Operate时经由error信号而接收作为脉冲信号的错误信息，则转移至状态值Error_handling，并且，对作为脉冲信号的grant信号值设置1，然后转移至状态值Shutdown，以结束统合系统的动作。

控制器1803若在内部状态处于停止状态(Off)时从操作装置1802接收boot信号，则将内部状态值更新为Idle。此时，输出信号Control_input、monitor_enable均设为0。 若在内部状态处于Idle时从操作装置1802接收grant信号，则使内部状态值转移至Operate，将monitor_enable信号设置为1。

安全监视器1805从控制器1803接收作为指示动作开始/结束的电平信号的monitor_enable信号，使内部状态值从Off转移至On。为了仅在内部状态值为On时允许执行器的动作，将作为电平信号的actuator_enable信号设置为1。

执行器1804仅在作为来自安全监视器的电平信号的actuator_enable被设置成1时使内部状态值转移至On，接收来自控制器的输入信号Control_input并输出Physical_effect信号。

只要控制器的内部状态值处于Operate，就将接收自操作装置1802的command信号值设置为Control_input。对于该Control_input信号，执行器对控制对象输入Physical_effect信号，传感器测量控制对象的状态，并将Y_out信号值输出至安全监视器。安全监视器适当处理接收自传感器的值，并将Y_out_mon信号输出至控制器。

在安全监视器接收自传感器的测量值异常的情况下，使内部状态值转移至Stop，将作为电平信号的actuator_enable信号清除为0，并对控制器输出通知异常值的Y_out_mon信号。同时，将内部状态值更新为Off，使执行器无法继续动作，谋求整个统合系统的安全。

若Y_out_mon信号值无异常，则控制器将内部状态值维持于Operate状态而继续动作，若Y_out_mon信号值为异常值，则控制器将内部状态值更新为Error_handling值。此外，在内部状态值为Operate时从操作装置1802收到作为脉冲信号的grant信号的情况下，控制器将内部状态值更新为Idle而结束动作。接着，在作为电平信号的boot信号值被设置成0的情况下，控制器将内部状态值更新为Off而停止动作，从而停止整个统合系统。

针对如此设计的统合系统1801，对由本实施例的系统解析装置进行的系统解析进行说明。验证者设定如下安全性要件并希望验证其实现：即便发生传感器故障，整个统合系统也是安全的。具体而言，验证者希望验证如下情况：当安全监视器伴随传感器故障而检测到异常值时，操作者从统合系统接收error信号值，并按照规定的操作程序将boot信号值清除为0而停止统合系统，由此，统合系统是安全的。

图19表示设计时所设想的满足该安全性要件这样的动作顺序的时序图。根据图19可知，设想设计成：操作者的内部状态State_Operator值以Off、Boot、Grant、Operate进行转移，经过统合系统动作中发生的传感器故障，转移至Error_handling、Shutdown、Off而结束。

但是，该统合系统有时不会进行遵循如此设想的动作，该情况可通过本系统解析装置来发现，这在图20中有展示。

在该验证例中，验证者将取在无故障的正常动作时可取的所有内部状态中的某一种这一内容设为开始时条件，此外，将操作者的内部状态State_Operator处于Off状态且统合系统处于继续动作状态、也就是说控制器的内部状态值State_Control为Operate这一内容设定为结束时条件。

当验证者使用输入装置将这种条件的设定输入至系统解析装置时，系统解析装置便按照图17所示的程序进行解析。

再者，对图17的步骤1704中的同步执行集合及同步执行列表进行说明。首先，操作装置1802、控制器1803及安全监视器1805为可各自不同步地进行动作的子系统。此外，执行器、传感器(有时为控制对象)等实时响应的系统也可视为一个模拟的子系统(实时响应子系统)。因而，在图18所示的统合系统1801中，作为子系统，包括控制器1803、安全监视器1805及上述实时响应子系统。

再者，虽然操作装置1802并非统合系统1801中所包括的子系统，但在操作者的操作与统合系统1801不同步这一点上，可视为不同步地动作的子系统。

并且，这4个子系统存在动作相互同步的情况和不同步的情况，在同步动作的情况下，将其囊括为一个同步执行集合。作为这种同步执行集合的模式，如表1所示有8种，登记在同步执行列表中。

[表1]

并且，系统解析装置以图20所示的时序图的形式将结果输出至输出装置。图20以时序图的形式展示了到达至满足结束时条件的最终状态的状态转移路径。

此处，统合系统1801中，子系统及统合系统可取的状态值极多，若以例如图8所示那样的有向图来表示这些状态值，则会变得复杂，因此采用的是时序图的形式。其中，有向图和时序图在显示状态值及状态转移路径这个意义上本质上是一样的，例如，将时序图按每一离散时间进行竖切而获得的一列各信号值的集表示一个状态值。此外，该时序图是在指定的开始时条件、结束时条件下进行反向状态转移路径探索而结果获得的状态转移路径之一，在SAT解算器使用同样的检索条件而发现了多条状态转移路径的情况下，将输出与各状态转移路径相对应的时序图。

在图20中可发现：为了由操作装置1802结束统合系统的动作而将作为脉冲信号的grant信号设置为1的时间点、以及为了在统合系统内部发生传感器故障之后对操作装置1802传递错误信息而将error信号值设置为1的时间点与像图19那样设想的更新顺序不一样。

导致该不良情况的原因在于，操作装置1802与统合系统相互不同步地动作，虽然操作装置1802在获取错误信息之前会试行统合系统的结束处理，但此时，控制器从操作装置1802接收grant信号的处理和将错误信息发送至操作装置1802的处理的更新顺序具有自由度。

尤其是，尽管控制控制器的输入输出关系的内部状态会在将error信号值设置为1之后立刻接收来自操作装置1802的grant信号值，但却接收不到，从而转移至状态值Idle。

这是由如下软件实现上的性质所引起的：更新控制器的内部状态值的软件在执行将error信号值设置为1的处理的中途，同时获取接收自操作装置1802的grant信号值为1这一内容，从而无法转移至恰当的状态值。

因此，此时所接收的脉冲信号grant值使控制器的内部状态值从Idle转移至Operate。

另一方面，操作装置1802或操作者无法知晓这一情况，从而使控制器的状态值State_Control从Operate转移至Idle，并将boot信号值清除为0，由此来停止。但是，状态值State_Control已转移至Operate的控制器即便获取作为来自操作装置1802的电平信号的boot信号为0这一内容，也仍然无法转移至状态值Off，从而继续维持状态值Operate。根据所生成的时序图可知，的确违反了前文所述的安全性要件。

导致该设计上的不良情况的一个因素在于连接操作装置1802与统合系统的接口的设计，尤其在于，为了控制统合系统的动作开始和结束，以脉冲信号的形式来实现grant信号值。

实施例4

在本实施例中，展示具有如下功能的自主动作装置：使用如实施例3中所说明的设计缺陷的解析方法，在构成统合系统的子系统发生故障之后，判定除故障部位之外的统合系统的继续动作可能性，并尽可能使其自动恢复。

本实施例的自主动作装置包括如其他实施例中所说明的系统解析装置，且包括：统合系统，其为多个系统相互连接而成；故障检测单元，其在统合系统的动作中检测系统的故障；制约条件追加单元，其将发生了故障的系统的排除追加为制约条件；以及继续动作可能性判定单元，其通过系统解析装置来判定排除了发生故障的系统的状态下的继续动作可能性，将统合系统在正常时满足的功能要件设定为开始时条件，将因系统的故障而产生的统合系统的异常状态设为结束时条件，在经状态转移路径有无判定单元判定存在从最终状态值到达至初始状态值的状态转移路径的情况下，继续动作可能性判定单元判定可继续动作。

图21表示包含从停止状态经过启动处理到正常动作时的状态转移为止的过程、进而包含因子系统的故障而满足相当于危害的结束时条件END1、END2的状态的、整个统合系统的状态转移图。

经过实施例3所展示的不良情况解析，验证了在设计时所设想的子系统的故障的组合中，没有到达至满足结束时条件END1、END2的状态的状态转移路径。

此时，希望实现如下功能：从检测到构成该统合系统的子系统发生某些故障而进行了无法预测的动作这一情况的时刻起，去除故障因素，自主判定可否继续动作。

可在设计阶段验证如下情况：至少在产生了所设想的故障模式的中任一种的情况下，不会到达至危害状态。但是，因故障的形态以及发生了故障的子系统的组合的不同，该统合系统是否可继续动作并不清楚。

在事先未引入明确的故障恢复处理的程序的情况下，即便有实际可继续动作的系统的再构成方法，也不得不停止动作以满足安全性要件，其结果，有无法充分提高该统合系统的运转率之虞。

但是，若能在对发生了故障的子系统实施恰当的处理、例如功能停止之后验证“必定可从停止状态到达至正常动作状态”、“可从正常动作状态到达至停止状态”、“在将发 生了故障的子系统的内部状态指定为功能停止状态之后，不存在从正常动作状态到达至相当于结束时条件END1、END2的状态的状态转移路径，所述结束时条件END1、END2相当于危害条件”(已确认在权利要求中删掉的启动可能性等的引用)这些情况，则不论该子系统的故障如何，均可在满足安全性要件的情况下继续动作。因而，若可使统合系统自行判断，就可自行恢复并动作而无须经由操作者、设计者的手动操作。

图22表示具体的判定程序。

在步骤2201中，首先确定发生了故障的子系统k。然后，在步骤2202、步骤2203中，设定指定为可排除发生了故障的子系统k的影响的状态(例如停止状态)的制约条件REMOVE_FAULT。继而，判定在之后的处理中是否可在排除了子系统k的影响的状态下继续动作。

在步骤2204中，判定启动可能性。也就是说，判定是否存在从停止状态起、满足启动处理开始条件、且无法转移至正常动作状态的状态在持续这样的状态转移序列X(t)。详细的处理程序见图23中的记载。在存在满足步骤2204中所记载的制约条件的状态转移序列的情况下，意味着存在无法启动的情况，因此可判定无法继续动作，所以转移至步骤2208而结束处理。相反，在不存在满足步骤2204中所记载的制约条件的状态转移序列的情况下，可知至少必定可从停止状态开始启动处理。

在该情况下，接着在步骤2205中判定停止可能性。也就是说，判定是否存在从正常动作状态起、满足停止处理开始条件、且无法转移至停止状态的状态在持续这样的状态转移序列X(t)。

详细的处理程序见图24中的记载。在存在满足步骤2205中所记载的制约条件的状态转移序列的情况下，意味着存在无法安全地停止的情况，因此转移至步骤2208而结束处理。

相反，在不存在满足步骤2205中所记载的制约条件的状态转移序列的情况下，可知至少必定可从正常动作状态完成停止处理。在该情况下，接着在步骤2206中判定有无导致相当于危害条件1、2的安全性要件违反的状态转移序列。

详细的处理程序见图25中的记载。在存在满足步骤2206中所记载的制约条件的状态转移序列的情况下，由于有时会在正常动作中转移至危害状态，因此可判定为无法继续动作，所以转移至步骤2208而结束处理。

相反，在不存在满足步骤2206中所记载的制约条件的状态转移序列的情况下，可知至少在正常动作中不会产生危害。

在该情况下，接着在步骤2207中判定正常动作的继续可能性。

详细的处理程序见图26中的记载。在存在满足步骤2207中所记载的制约条件的状态转移序列的情况下，可知有时会在动作中以脱离正常动作状态的形式发生正常动作的中断，因此转移至步骤2208而结束处理。

相反，在不存在满足步骤2207中所记载的制约条件的状态转移序列的情况下，可继续正常动作，因此转移至步骤2209而开始重开动作的过程即一系列启动处理，并在到达了正常动作状态时结束自动恢复。

图23表示构建在步骤2204中成为评价对象的制约条件的具体程序。

在步骤2301中，设定指示统合系统的启动的制约条件。

在步骤2302中，设定定义停止状态的制约条件NORM2和定义启动处理状态的制约条件NORM3。

在步骤2303中，进一步追加排除发生了故障的子系统k的制约条件，并使用SAT解算器来判定有无满足该制约条件的状态转移序列。若无满足解，则转移至步骤2306而结束处理。

相反，在有满足解的情况下，可知至少可从停止状态开始启动处理，因此进入至步骤2304。

在步骤2304中，排除发生了故障的子系统k，结合不满足与危害条件1、2相对应的制约条件这一情况以及给出正常动作状态的制约条件，使用SAT解算器来判定是否存在一个以上的状态值。

在不存在满足步骤2304中所记载的制约条件的状态值的情况下，转移至步骤2306而结束处理。

相反，在存在的情况下，由于存在不满足危害条件1、2而可继续动作的状态，因此转移至步骤2305。

在步骤2305中，在排除发生了故障的子系统k之后，判定有无在启动之后无法转移至正常动作状态的状态在持续这样的状态转移序列。

在存在这种状态转移序列的情况下，可知即便脱离停止状态而开始启动处理，也无法持续维持继续动作状态，因此转移至步骤2306而结束处理。

相反，在不存在这种状态转移序列的情况下，可知必定可在启动后到达至正常动作状态，因此转移至步骤2307而结束处理。

图24表示构建在步骤2205中成为评价对象的制约条件的具体程序。

在步骤2401中，设定指示统合系统的停止的制约条件。

在步骤2402中，在排除发生了故障的子系统k的情况下判定有无相当于不满足与危害条件1、2相对应的制约条件的正常动作状态的状态值。

在不存在这种状态值的情况下，可知会在正常动作中导致危害1或2，因此转移至步骤2405而结束处理。

相反，在存在这种状态值的情况下，可知存在至少一个以上不满足危害条件1、2而可继续动作的状态值，因此转移至步骤2403。

在步骤2403中，在排除发生了故障的子系统k的情况下判定有无相当于不满足危害条件1、2的停止状态的状态值。

在不存在这种状态值的情况下，可知无法安全地停止，因此转移至步骤2405而结束处理。

相反，在存在这种状态值的情况下，可知存在至少一种以上不满足危害条件1、2的停止状态，因此转移至步骤2404。

在步骤2404中，在排除发生了故障的子系统k的情况下判定有无从不满足危害条件1、2的正常动作状态未到达至同样不满足危害条件1、2的安全的停止状态而停留的状态转移序列。

在存在这种状态转移序列的情况下，可知即便脱离正常动作状态，也无法到达至停止状态，在这个意义上，并不能安全地停止，因此转移至步骤2405而结束处理。

相反，在不存在这种状态转移序列的情况下，可知只要开始停止处理，就必定可安全地到达至停止状态，因此转移至步骤2406而结束处理。

图25表示构建在步骤2206中成为评价对象的制约条件的具体程序。

在步骤2501中，在排除发生了故障的子系统k的情况下判定有无为正常动作状态且不满足危害条件1、2的状态值。

在不存在这种状态值的情况下，转移至步骤2504而结束处理。

相反，在存在这种状态值的情况下，可知存在至少一种以上不满足危害条件1、2而可继续动作的状态，因此转移至步骤2502。

在步骤2502中，在排除发生了故障的子系统k的情况下判定有无非正常动作状态且满足危害条件1或2的状态值。

在不存在这种状态值的情况下，在根本上就不存在满足危害状态的状态，因此转移至步骤2505而结束处理。

相反，在存在这种状态值的情况下，可知存在在正常动作时到达至相当于危害条件1或2的状态的状态转移序列，因此转移至步骤2504而结束处理。

图26表示构建在步骤2207中成为评价对象的制约条件的具体程序。

在步骤2601中，在排除发生了故障的子系统k的情况下判定有无相当于不满足危害条件1、2的正常动作状态的状态值。

在不存在这种状态值的情况下，转移至步骤2603而结束处理。

相反，在存在这种状态值的情况下，转移至步骤2602。

在步骤2602中，在排除发生了故障的子系统k的情况下判定有无在不设置输入这样的追加条件下脱离不满足危害条件1、2的正常动作状态这样的状态转移路径，上述输入指示停止处理的开始。

在存在这种状态转移路径的情况下，可知存在因危害1或2而导致正常动作中断的情况，因此转移至步骤2603而结束处理。

相反，在不存在这种状态转移路径的情况下，可知不会到达至相当于危害条件1、2的状态而可持续继续正常动作，因此转移至步骤2604而结束处理。

如此，根据本实施例，通过将按每一子系统定义的故障模式追加至动作模式，可进行统合系统的设计缺陷的解析、故障模式影响解析或故障树解析，而不会有静态性输入输出关系解析方法中成为问题的不良情况的误检/漏检。

实施例5

在本实施例中，展示实现如下与操作者的协作功能的自主动作控制系统：由操作者经由操作装置来操作实施例4中所记载的自主动作装置，操作者与自主动作装置进行协作而在子系统的故障时使动作继续，或者进行手动操作来安全地停止。

如图27所示，本实施例的自主动作控制系统包括自主动作装置和操作自主动作装置的操作装置，在经继续动作可能性判定单元判定为无法继续动作的情况下，自主动作装置对操作装置发送错误信号，在经继续动作可能性判定单元判定为可继续动作的情况下，自主动作装置对操作装置发送警告信号，并继续自主动作。

作为一例，可将具有自动行驶功能的车辆设为自主动作装置，将乘客设为操作者。此外，在另一例子中，可将经由远程控制用通信线路而动作的建筑作业机械设为自主动作装置，将在远方的作业人员设为操作者。

图28表示操作者及统合系统的动作模式。

统合系统具有自主动作模式、手动操作模式及停止状态这3种动作模式作为内部状态的一部分。操作装置在内部状态为自主动作模式时进行统合系统的监视，在停止状态的情况下待机，在手动操作模式时转移至手动操作模式，将来自操作者的恰当的控制内容输入至统合系统。操作装置还可视需要加入指示停止的输入，使统合系统的内部状态转移至停止状态。

在统合系统处于自主动作模式时发生了子系统的故障的情况下，如图29中所记载，使用第4实施例中所记载的自主动作装置的自动恢复功能来判定操作装置是否因构成统合系统的子系统的故障而导致无法继续自主动作。在无法继续动作的情况下，自主动作装置以错误信息的一形态传递停止请求，使得处于待机或监视状态的操作装置开始手动操作而停止统合系统。

相反，在可继续动作的情况下，自主动作装置完成自动恢复处理，并对操作装置发送警告信息，之后继续自主动作。操作者也可视需要停止统合系统。

工业上的可利用性

本发明可用于将具备容错功能的高可靠性冗余化计算机系统以及电气/机械/信息控制系统统合而得的大规模控制系统的安全性解析。此外，也可在硬件、软件统合设计环境中用于导致不良情况的根源因素的确定，尤其是设计不当的解析。进而，也可用于如下功能：在构成自主动作装置的子系统发生规定外的故障后，自主诊断并处置故障因素，自动恢复至可继续动作的系统状态。

符号说明

1801 统合系统

1802 统合系统的操作者

1803 控制器

1804 执行器

1805 安全监视器

1806 作为统合系统的一部分的控制对象

1807 传感器。