模型生成装置、模型生成方法、模型生成程序、模型生成系统、检查系统以及监视系统

摘要

提供用于构建能够生成多种数据的生成模型的技术。本发明的一个方面涉及的模型生成装置具备：生成部，使用生成模型生成数据；发送部，将生成的数据分别发送至多个学习完毕的识别模型，使各识别模型对数据执行识别，多个学习完毕的识别模型分别通过使用本地学习数据的机器学习获得了识别被提供的数据是否为本地学习数据的能力；接收部，接收各识别模型对被发送的数据进行识别的结果；以及学习处理部，通过使用接收到的识别的结果的机器学习来训练生成模型，以生成使多个识别模型中的至少任意一个识别模型的识别性能降低这样的数据。

说明书

技术领域

本发明涉及模型生成装置、模型生成方法、模型生成程序、模型生成系统、检查系统以及监视系统。

背景技术

目前，在生产线等制造产品的场景下，利用如下技术：通过拍摄装置拍摄所制造的产品，并根据所得到的图像数据检查产品的好坏。例如，专利文献1中提出了如下检查装置：根据学习完毕的第一神经网络来判定图像中拍摄到的检查对象物是正常还是异常，并在判定为检查对象物异常时，根据学习完毕的第二神经网络对该异常的种类进行分类。

在先技术文献

专利文献

专利文献1：日本特开2012-026982号公报

非专利文献

非专利文献1：Ian J.Goodfellow，Jean Pouget-Abadie，Mehdi Mirza，Bing Xu，David Warde-Farley，Sherjil Ozair，Aaron Courville，Yoshua Bengio，“GenerativeAdversarial Networks”，Advances in neural information processing systems，2672-2680，2014

发明内容

发明所要解决的技术问题

如上所述，通过使用包含拍摄到产品的图像数据的学习数据进行机器学习，能够使学习模型获得推断图像数据中拍到的产品的状态的能力。因此，通过将学习完毕的学习模型用作推断器(识别器)，能够判定对象图像数据中拍到的检查对象的产品的好坏。

另外，即使不利用这样的学习模型，也可以根据拍到作为学习数据收集的正常或异常的产品的图像数据组与对象图像数据之间的比较，判定对象图像数据中拍到的检查对象的产品的好坏。例如，将拍摄到正常产品的图像数据组与对象图像数据进行比较，当结果是对象图像数据沿着图像数据组的分布(即，对象图像数据与图像数据组类似)时，可以判定为对象图像数据中拍到的产品正常。另一方面，当对象图像数据偏离图像数据组的分布时，可以判定为对象图像数据中拍到的产品异常。此外，以下将为了这样的好坏判定等推论的学习而收集的学习数据也称为“推论用学习数据”。在使用于推断器的机器学习的情况下，也可以特别将为了推论的学习而收集的学习数据称为“推断器用学习数据”。

本申请发明人发现利用图像数据的这些现有的检查方法中存在如下问题。即，为了利用图像数据高精度地实施产品的外观检查，期望收集足够量且多种多样的图像数据作为外观检查的学习中使用的推论用学习数据。例如，在上述机器学习中使用的推论用学习数据的量少的情况下，利用学习完毕的推断器的外观检查的精度不够充分。因此，为了提高推断器的外观检查的能力，期望收集足够量的推论用学习数据。然而，收集足够量的推论用学习数据耗费成本。

因此，本申请发明人对于利用生成模型，从准备的图像批量生产多个不同的图像，从而增加推论用学习数据的量进行了研究。例如，在非专利文献1中，提出了通过机器学习，根据作为学习数据准备的图像数据构建生成模型的方法。该生成模型通过机器学习被训练为生成与学习数据的分布相符的图像数据。也就是说，如果利用拍摄到产品的图像数据作为学习数据，则生成模型被训练为生成拍摄到产品的图像数据。因此，如果利用该生成模型，则能够生成拍摄到产品的图像数据。因此，能够适当地增加可用于外观检查的学习中的推论用学习数据的量，由此，能够降低为了提高外观检查的精度而收集足够量的推论用学习数据所花费的成本。

但是，本申请发明人发现，即使利用这样的生成模型也存在如下问题。即，在各现场，由于收集学习数据存在极限，因此，难以在短时间内收集大量对检查能力的提高有价值的学习数据(例如，产品发生异常时的图像数据)。除此之外，由于场所、环境、条件等原因，作为学习数据得到的图像数据可能产生偏差。因此，在各现场，难以收集到多种图像数据。因此，即使在各现场构建生成模型，在得到的生成模型中也难以生成多种图像数据。

因此，为了解决该问题，本申请发明人研究了通过将多个现场得到的图像数据进行集结，并使用集结的图像数据实施机器学习，从而构建能够生成多种图像数据的生成模型。例如，存在实施相同产品的外观检查的不同工厂，在各工厂中，相机的配置、照明等的拍摄条件不同。该情况下，通过集结在各工厂得到的图像数据，能够得到拍摄条件不同的多种图像数据作为学习数据。另外，能够得到表示在各工厂发生的有价值的事件的学习数据(例如，产品发生异常时的图像数据)。

然而，各现场根据各自的情况独自运营。各现场基本上与其他现场无关地收集学习数据。因此，各现场得到的学习数据例如在拍摄条件等方面不均匀。另外，原本各现场并不一定实施相同目的的检查。因此，各现场得到的图像数据有可能不能直接用于共同的机器学习。除此之外，若将各现场得到的大量学习数据集结于服务器，则服务器所需的通信成本增大。另外，通过使用了集结到的不均匀且大量的学习数据的机器学习来构建生成模型所需的计算成本增大。因此，计算处理中利用的存储器有可能产生不足、计算处理的时间有可能变长、有可能发生计算处理未在规定时间内完成等不良情况。进而，有时各现场得到的学习数据中包含有隐秘性高的学习数据。该情况下，若将各现场得到的学习数据集结于共同的网络上的服务器，则会损害该学习数据的隐秘性。

这样，为了实施生成模型的机器学习而集结各现场得到的学习数据存在各种的技术障碍。因此，通过收集该学习数据的方法提高通过生成模型生成的图像数据的多样性并不现实。因此，本申请发明人发现，现有方法中存在难以构建能够生成多种图像数据的生成模型这一问题。基于该原因，在现有方法中，难以利用图像数据实现高精度的产品的外观检查。

此外，该问题并非构建被训练为生成推断产品状态(好坏)的学习中可利用的图像数据的生成模型的场景中特有的。在构建被训练为生成规定的数据、特别是规定的推论学习中可利用的数据的生成模型的所有场景中会产生同样的问题。通过生成模型生成规定的推论学习中可利用的数据的场景例如为：根据与植物的栽培状况相关的数据推断该植物的状态的场景、根据通过观察驾驶员得到的数据推断该驾驶员的状态的场景、根据与气象相关的数据预测发电装置的发电量的场景、根据对象者的生命数据推断该对象者的健康状态的场景，等等。这些场景中的规定的学习数据例如是图像数据、声音数据、数值数据、文本数据、以及通过传感器得到的测定数据等。在这些场景下，也难以在各现场收集用于训练生成模型的多种学习数据。另外，为了实施生成模型的机器学习而集结各现场得到的学习数据存在各种技术障碍。因此，在现有方法中，存在难以构建能够生成多种数据的生成模型这一问题。基于该原因，在现有方法中，难以利用规定的数据实现高精度的推论。

本发明的一方面是鉴于上述实际情况而完成的，其目的在于，提供用于构建能够生成多种数据的生成模型的技术。

用于解决问题的技术方案

本发明为了解决上述问题而采用以下的构成。

即，本发明的一方面涉及的模型生成装置具备：生成部，使用生成模型生成数据；发送部，将生成的所述数据分别发送至多个学习完毕的识别模型，使各所述识别模型对所述数据执行识别，所述多个学习完毕的识别模型分别通过使用本地学习数据的机器学习获得了识别被提供的数据是否为该本地学习数据的能力；接收部，接收各所述识别模型对被发送的所述数据进行的识别的结果；以及学习处理部，通过使用接收到的所述识别的结果的机器学习来训练所述生成模型，以生成使多个所述识别模型中的至少任意一个识别模型的识别性能降低这样的数据。

该构成涉及的模型生成装置将由生成模型生成的数据(以下，也记载为“生成数据”)发送至各识别模型，使各识别模型对该数据执行识别。各识别模型通过机器学习来构建为识别被提供的数据是否为本地学习数据中包含的数据。并且，该构成涉及的模型生成装置收集各识别模型对被发送的生成数据识别的结果，并使用收集到的识别的结果执行生成模型的机器学习。

因此，在该构成中，为了实施生成模型的机器学习，并非收集本地学习数据本身，而是收集各识别模型的识别结果。由此，在本地学习数据及各识别模型被配置于不同的装置的场合下，能够抑制模型生成装置所需的通信成本。另外，由于本地学习数据本身也可以不使用于生成模型的机器学习中，因而能够抑制模型生成装置所需的计算成本。进而，由于可以不将本地学习数据本身集结在模型生成装置中，因而能够防止本地学习数据的内容直接变得明确。也就是说，能够某种程度地保证本地学习数据的隐匿性。因此，根据该构成，能够解决在集结学习数据的上述方法中可能产生的各种问题。

除此之外，该构成涉及的模型生成装置通过使用收集到的识别的结果的机器学习训练生成模型，以使其生成使多个识别模型中的至少任意一个识别模型的识别性能降低这样的数据。也就是说，通过该机器学习，生成模型被训练为生成使至少任意一个识别模型进行的识别错误(即，欺骗)这样的数据。由此，能够构建可生成与各识别模型的机器学习中使用的不均匀的本地学习数据中的任意一个分布相符的数据的生成模型。因此，通过该机器学习进行训练的结果是，生成模型可以学会生成包含在各识别模型的机器学习中使用的本地学习数据的逻辑和的分布中这样的数据。因此，根据该构成，能够实现构建可生成多种数据的生成模型的环境。通过构建的生成模型生成的数据也可以用于学习规定的推论。

此外，生成模型及多个识别模型分别是能够通过机器学习获得各能力的学习模型，其种类也可以无特别限定，可以根据实施方式适当地选择。生成模型及多个识别模型分别可以使用例如神经网络等。生成模型可以被称为生成器，识别模型可以被称为识别器。此外，在上述机器学习中，通过将被赋予追加条件(例如标签)的数据用作本地学习数据，能够构建可生成与追加条件相应的数据的有条件生成模型。生成模型也可以是这样的有条件生成模型。追加条件只要是与通过生成模型生成的数据的种类相关的条件即可，例如，也可以根据生成的数据的属性、生成的数据所表现的特征的属性等赋予。在生成的数据是图像数据的情况下，生成的数据的属性例如可以是图像数据的分辨率、像素数、有无缺损等。另外，生成的数据所表现的特征的属性例如可以是作为推论对象的对象物的属性、对象物的种类等。

本地学习数据是在识别模型的机器学习中使用的学习数据，但本地学习数据的利用并不限于识别模型的机器学习。本地学习数据可以为了各种利用目的而收集。例如，可以为了用于学习外观检查(即，用作推论用学习数据)，而收集拍到产品的图像数据作为本地学习数据。本地学习数据中包含的数据的种类也可以无特别限定，可以根据实施方式适当地选择。本地学习数据例如可以由图像数据、声音数据、数值数据、文本数据、以及其他通过传感器得到的测定数据等构成。所有的本地学习数据最终确定由生成模型生成的数据的分布。生成模型被构成为生成与本地学习数据同种的数据。学习完毕的生成模型可以用于量产与本地学习数据同种的数据。

在上述一方面涉及的模型生成装置中，各所述识别模型可以被保持在各学习装置中；所述发送部可以通过将生成的所述数据发送至各所述学习装置，使各所述识别模型对所述数据执行识别；所述接收部可以从各所述学习装置接收各所述识别模型进行的识别的结果。根据该构成，能够构建无需集结各学习装置的各识别模型的机器学习中使用的本地学习数据便能够生成多种数据的生成模型。

在上述一方面涉及的模型生成装置中，各所述识别模型进行的识别的结果可以通过秘密计算被统合；所述学习处理部可以通过使用被统合的所述识别的结果的机器学习来训练所述生成模型。根据该构成，能够进一步提高保持在各学习装置中的各识别模型的机器学习中使用的本地学习数据的隐匿性。

上述一方面涉及的模型生成装置，也可以还具备分组部，所述分组部将各所述学习装置分配给多个组中的至少任意一个，并按照所述组保持生成模型。并且，所述接收部也可以按照所述组从各所述学习装置接收各所述识别模型进行的识别的结果；所述学习处理部也可以按照所述组通过使用接收到的所述识别的结果的机器学习来训练所述生成模型，以生成使多个所述识别模型中的至少任意一个识别模型进行的识别错误的数据。根据该构成，能够对各学习装置进行分组，并按组构建能够生成多种数据的生成模型。

在上述一方面涉及的模型生成装置中，所述分组部也可以将表示所述多个组的列表分发给各所述学习装置，使各所述学习装置从所述列表所示的所述多个组中选择一个以上的组，并将各所述学习装置分配至所选择的所述一个以上的组。根据该构成，能够通过简单的方法将各学习装置分组。

在上述一方面涉及的模型生成装置中，所述分组部也可以从各所述学习装置获取与所述本地学习数据相关的属性数据，对从各所述学习装置取得的所述属性数据进行聚类，根据所述聚类的结果将所述多个学习装置分别分配给所述多个组中的至少任意一个。根据该构成，能够根据本地学习数据的属性对各学习装置进行分组。

此外，属性数据也可以包含与本地学习数据相关的所有信息，例如，也可以包含表示本地学习数据所包含的数据的种类的信息、表示数据所表现的特征的信息、表示数据的利用目的的信息等。数据所表现的特征可以包括可从该数据推论的所有要素。在本地学习数据包含拍到产品的图像数据的情况下，数据所表现的特征例如可以是产品中有无包含缺陷、产品中包含的缺陷的种类等。数据的利用目的可以根据实施方式适当地决定。本地学习数据中包含的数据可以用于学习例如外观检查、栽培状况的监视等规定的推论。

作为上述各方式涉及的模型生成装置的其他方式，本发明的一方面既可以是实现以上各构成的信息处理方法，也可以是程序，还可以是存储这样的程序的计算机等可读的存储介质。在此，计算机等可读的存储介质是指通过电、磁、光学、机械或化学作用存储程序等信息的介质。另外，本发明的一方面涉及的模型生成系统可以由上述任一方式涉及的模型生成装置以及多个学习装置构成。

例如，本发明的一方面涉及的模型生成系统具备多个学习装置和模型生成装置。各所述学习装置被构成为执行如下步骤：收集本地学习数据；和通过使用本地学习数据的机器学习来构建学习完毕的识别模型，该学习完毕的识别模型获得了识别被提供的数据是否为该本地学习数据的能力。所述模型生成装置被构成为执行如下步骤：使用生成模型生成数据；通过将生成的所述数据发送至各所述学习装置，使各所述学习装置的所述识别模型对所述数据执行识别；从各所述学习装置接收各所述学习装置的所述识别模型进行的识别的结果；以及通过使用接收到的所述识别的结果的机器学习来训练所述生成模型，以生成使多个所述识别模型中的至少任意一个识别模型的识别性能降低这样的数据。

另外，例如，本发明的一方面涉及的模型生成系统具备多个学习装置和模型生成装置。各所述学习装置被构成为执行如下步骤：收集本地学习数据；和通过使用本地学习数据的机器学习来构建学习完毕的识别模型，该学习完毕的识别模型获得了识别被提供的数据是否为该本地学习数据的能力。所述模型生成装置被构成为执行如下步骤：使用生成模型生成数据；通过将生成的所述数据发送至各所述学习装置，使各所述学习装置的所述识别模型对所述数据执行识别；从各所述学习装置接收各所述学习装置的所述识别模型进行的识别的结果；以及通过使用接收到的所述识别的结果的机器学习来训练所述生成模型，以生成使多个所述识别模型中的至少任意一个识别模型的识别性能降低这样的数据。进而，各学习装置被构成为执行如下步骤：获取对象数据；获取作为用于推论特征的推论用学习数据而收集到的数据组，该数据组包含由学习完毕的生成模型生成的数据；根据数据组与对象数据的比较来推论对象数据所表现的特征；以及输出与特征的推论结果相关的信息。

另外，例如，本发明的一方面涉及的模型生成系统具备多个学习装置和模型生成装置。各所述学习装置被构成为执行如下步骤：收集本地学习数据；和通过使用本地学习数据的机器学习来构建学习完毕的识别模型，该学习完毕的识别模型获得了识别被提供的数据是否为该本地学习数据的能力。所述模型生成装置被构成为执行如下步骤：使用生成模型生成数据；通过将生成的所述数据发送至各所述学习装置，使各所述学习装置的所述识别模型对所述数据执行识别；从各所述学习装置接收各所述学习装置的所述识别模型进行的识别的结果；以及通过使用接收到的所述识别的结果的机器学习来训练所述生成模型，以生成使多个所述识别模型中的至少任意一个识别模型的识别性能降低这样的数据。进而，各学习装置被构成为执行如下步骤：收集用于通过机器学习获得推论特征的能力的推论用本地学习数据，该推论用本地学习数据包含通过学习完毕的生成模型生成的数据；通过使用了收集到的推论用本地学习数据的机器学习来构建获得了推论数据所表现的特征的能力的学习完毕的推断器；获取对象数据；利用学习完毕的推断器推断对象数据所表现的特征；以及输出与特征的推断结果相关的信息。

另外，例如，本发明的一方面涉及的模型生成方法是由计算机执行如下步骤的信息处理方法：使用生成模型生成数据；将生成的所述数据分别发送至多个学习完毕的识别模型，使各所述识别模型对所述数据执行识别，所述多个学习完毕的识别模型分别通过使用本地学习数据的机器学习获得了识别被提供的数据是否为该本地学习数据的能力；接收各所述识别模型对被发送的所述数据进行的识别的结果；以及通过使用接收到的所述识别的结果的机器学习来训练所述生成模型，以生成使多个所述识别模型中的至少任意一个识别模型的识别性能降低这样的数据。

另外，例如，本发明的一方面涉及的模型生成程序用于使计算机执行如下步骤：使用生成模型生成数据；将生成的所述数据分别发送至多个学习完毕的识别模型，使各所述识别模型对所述数据执行识别，所述多个学习完毕的识别模型分别通过使用本地学习数据的机器学习获得了识别被提供的数据是否为该本地学习数据的能力；接收各所述识别模型对被发送的所述数据进行的识别的结果；以及通过使用接收到的所述识别的结果的机器学习来训练所述生成模型，以生成使多个所述识别模型中的至少任意一个识别模型的识别性能降低这样的数据。

上述各方式能够应用于构建被训练为生成规定的数据、特别是可用于学习规定的推论的数据的生成模型的所有场景中。上述各方式例如可以应用于根据与植物的栽培状况相关的数据推断该植物的状态的场景、根据通过观察驾驶员得到的数据推断该驾驶员的状态的场景、根据与气象相关的数据预测发电装置的发电量的场景、根据对象者的生命数据推断该对象者的健康状态的场景，等等。规定的数据例如可以是图像数据、声音数据、数值数据、文本数据、以及通过传感器得到的测定数据等。

例如，本发明的一方面涉及的图像生成系统具备多个学习装置和模型生成装置。各所述学习装置被构成为执行如下步骤：收集包含图像数据的本地学习数据；和通过使用本地学习数据的机器学习来构建学习完毕的识别模型，该学习完毕的识别模型获得了识别被提供的数据是否为该本地学习数据中包含的所述图像数据的能力。所述模型生成装置被构成为执行如下步骤：使用生成模型生成图像数据；通过将生成的所述图像数据发送至各所述学习装置，使各所述学习装置的所述识别模型对所述图像数据执行识别；从各所述学习装置接收各所述学习装置的所述识别模型进行的识别的结果；以及通过使用接收到的所述识别的结果的机器学习来训练所述生成模型，以生成使多个所述识别模型中的至少任意一个识别模型的识别性能降低这样的图像数据。

例如，本发明的一方面涉及的感测数据的生成系统具备多个学习装置和模型生成装置。各所述学习装置被构成为执行如下步骤：收集包含通过传感器得到的感测数据的本地学习数据；和通过使用本地学习数据的机器学习来构建学习完毕的识别模型，该学习完毕的识别模型获得了识别被提供的数据是否为该本地学习数据中包含的所述感测数据的能力。所述模型生成装置被构成为执行如下步骤：使用生成模型生成感测数据；通过将生成的所述感测数据发送至各所述学习装置，使各所述学习装置的所述识别模型对所述感测数据执行识别；从各所述学习装置接收各所述学习装置的所述识别模型进行的识别的结果；以及通过使用接收到的所述识别的结果的机器学习来训练所述生成模型，以生成使多个所述识别模型中的至少任意一个识别模型的识别性能降低这样的感测数据。

例如，本发明的一方面涉及的检查系统具备多个检查装置和模型生成装置。各所述检查装置被构成为执行如下步骤：收集包含拍到产品的产品图像数据的本地学习数据；和通过使用本地学习数据的机器学习来构建学习完毕的识别模型，该学习完毕的识别模型获得了识别被提供的数据是否为该本地学习数据中包含的所述产品图像数据的能力。所述模型生成装置被构成为执行如下步骤：使用生成模型生成图像数据；通过将生成的所述图像数据发送至各所述学习装置，使各所述学习装置的所述识别模型对所述图像数据执行识别；从各所述学习装置接收各所述学习装置的所述识别模型进行的识别的结果；以及通过使用接收到的所述识别的结果的机器学习来训练所述生成模型，以生成使多个所述识别模型中的至少任意一个识别模型的识别性能降低这样的图像数据。

另外，例如，本发明的一方面涉及的监视系统具备分别监视植物的栽培状况的多个监视装置和模型生成装置。各所述监视装置被构成为执行如下步骤：收集包含与所述植物的栽培状况相关的状况数据的本地学习数据；和通过使用本地学习数据的机器学习来构建学习完毕的识别模型，该学习完毕的识别模型获得了识别被提供的数据是否为该本地学习数据中包含的所述状况数据的能力。所述模型生成装置被构成为执行如下步骤：使用生成模型生成疑似状况数据；通过将生成的所述疑似状况数据发送至各所述学习装置，使各所述学习装置的所述识别模型对所述疑似状况数据执行识别；从各所述学习装置接收各所述学习装置的所述识别模型进行的识别的结果；以及通过使用接收到的所述识别的结果的机器学习来训练所述生成模型，以生成使多个所述识别模型中的至少任意一个识别模型的识别性能降低这样的疑似状况数据。

(发明效果)

根据本发明，能够构建可生成多种数据的生成模型。

附图说明

图1示意性地例示本发明的应用场景的一例。

图2A是用于说明通过比较例涉及的模型生成方法构建的学习完毕的生成模型的问题点的图。

图2B是用于说明通过实施方式涉及的模型生成装置构建的学习完毕的生成模型的特征的图。

图3示意性地例示出实施方式涉及的模型生成装置的硬件构成的一例。

图4示意性地例示出实施方式涉及的学习装置的硬件构成的一例。

图5示意性地例示出实施方式涉及的模型生成装置的软件构成的一例。

图6示意性地例示出实施方式涉及的分配信息的构成的一例。

图7A示意性地例示出实施方式涉及的学习装置的机器学习相关的软件构成的一例。

图7B示意性地例示出实施方式涉及的学习装置的推论处理相关的软件构成的一例。

图8例示实施方式涉及的学习装置进行的识别模型的机器学习的处理步骤的一例。

图9例示实施方式涉及的模型生成装置进行的生成模型的机器学习的处理步骤的一例。

图10例示实施方式涉及的学习装置进行的规定的推论相关的处理步骤的一例。

图11示意性地例示出实施方式涉及的分组处理。

图12例示实施方式涉及的模型生成装置进行的学习装置的分组相关的处理步骤的一例。

图13例示实施方式涉及的模型生成装置进行的学习装置的分组相关的处理步骤的一例。

图14示出为了生成识别模型和生成模型而提供的本地学习数据。

图15A示出利用通过比较例的方法生成的学习完毕的生成模型生成数据的结果。

图15B示出利用通过实施例的方法生成的学习完毕的生成模型生成数据的结果。

图16示意性地例示出本发明的另一应用场景的一例。

图17示意性地例示出另一方式涉及的检查装置的硬件构成的一例。

图18A示意性地例示出与另一方式涉及的检查装置的机器学习相关的软件构成的一例。

图18B示意性地例示出与另一方式涉及的检查装置的检查处理相关的软件构成的一例。

图19示意性地例示出本发明的另一应用场景的一例。

图20示意性地例示出另一方式涉及的监视装置的硬件构成的一例。

图21A示意性地例示出与另一方式涉及的监视装置的机器学习相关的软件构成的一例。

图21B示意性地例示出与另一方式涉及的监视装置的监视处理相关的软件构成的一例。

图22示意性地例示出本发明的另一应用场景的一例。

图23示意性地例示出另一方式涉及的监视装置的硬件构成的一例。

图24A示意性地例示出与另一方式涉及的监视装置的机器学习相关的软件构成的一例。

图24B示意性地例示出与另一方式涉及的监视装置的监视处理相关的软件构成的一例。

图25示意性地例示出本发明的另一应用场景的一例。

图26示意性地例示出另一方式涉及的预测装置的硬件构成的一例。

图27A示意性地例示出与另一方式涉及的预测装置的机器学习相关的软件构成的一例。

图27B示意性地例示出与另一方式涉及的预测装置的预测处理相关的软件构成的一例。

图28示意性地例示出本发明的另一应用场景的一例。

图29示意性地例示出另一方式涉及的诊断装置的硬件构成的一例。

图30A示意性地例示出与另一方式涉及的诊断装置的机器学习相关的软件构成的一例。

图30B示意性地例示出与另一方式涉及的诊断装置的诊断处理相关的软件构成的一例。

图31示意性地例示出变形例涉及的学习装置的硬件构成的一例。

图32A示意性地例示出与变形例涉及的学习装置的进一步机器学习相关的软件构成的一例。

图32B例示变形例涉及的学习装置的进一步机器学习的处理步骤的一例。

图33示意性地例示出与变形例涉及的学习装置的推论处理相关的软件构成的一例。

图34示意性地例示出变形例涉及的学习装置的构成的一例。

图35A示意性地例示出在变形例中实施秘密计算的场景的一例。

图35B示意性地例示出在变形例中实施秘密计算的场景的一例。

具体实施方式

以下，根据附图对本发明的一方面涉及的实施方式(以下，也表述为“本实施方式”)进行说明。但是，以下说明的本实施方式在所有方面都仅为本发明的例示。当然，能够在不脱离本发明的范围的情况下进行各种改良和变形。即，在实施本发明时，也可以适当地采用符合实施方式的具体构成。需要说明的是，本实施方式中利用自然语言来说明出现的数据，但是，更为具体而言，利用计算机可识别的模拟语言、命令、参数、机器语言等来指定。

§1应用例

首先，使用图1对本发明的应用场景的一例进行说明。图1示意性地例示出本发明的应用场景的一例。如图1所示，本实施方式涉及的模型生成系统100具备模型生成装置1和多个学习装置2。模型生成装置1和各学习装置2可以经由网络相互连接。网络的种类可以从例如因特网、无线通信网、移动通信网、电话网、专用网等中适当地进行选择。

本实施方式涉及的各学习装置2是构成为使用本地学习数据3执行识别模型40的机器学习的计算机。具体而言，本实施方式涉及的各学习装置2收集本地学习数据3。然后，各学习装置2通过使用本地学习数据3的机器学习来构建学习完毕的识别模型40，该学习完毕的识别模型40已获得了识别被提供的数据是否包含在该本地学习数据3中的能力。

这样，本地学习数据3是在识别模型40的机器学习中使用的学习数据，但本地学习数据3的利用并不限于识别模型40的机器学习。本地学习数据3可以为了各种利用目的进行收集。例如，可以收集拍到产品的图像数据作为本地学习数据3，以便用于外观检查的学习。各学习装置2可以将为了别的利用目的而收集到的数据作为本地学习数据3进行处理。

在本实施方式中，各学习装置2与传感器S连接。由此，各学习装置2被构成为能够执行推论由传感器S得到的感测数据所表现的特征的处理。因此，本地学习数据3可以为了利用于推论通过传感器S得到的感测数据中包含的某种特征的目的收集。也就是说，本地学习数据3可以由通过传感器S或与其相同种类的传感器得到的数据的组构成。

此外，传感器S只要能够获得某些数据，则其种类也可以不特别限定，可以根据实施方式适当选择。传感器S例如可以是相机、麦克风、光度计、温度计、湿度计、生命传感器等。相机例如可以是构成为获取RGB图像的普通的数码相机、构成为获取深度图像的深度相机、构成为将红外线量图像化的红外线相机等。作为一例，可以采用拍摄产品的外观的相机作为传感器S。该情况下，感测数据可以是拍到产品的图像数据，推论某种特征可以是推断图像数据中拍到的产品的状态。

各学习装置2例如可以配置在各现场，由不同的利用者进行利用。各学习装置2也可以为了基于各种情况的推论的目的而收集推论用学习数据。该情况下，各学习装置2也可以利用收集到的推论用学习数据作为本地学习数据3。但是，各学习装置2的配置及利用者并无特别限定，也可以根据实施方式适当地选择。例如，至少一部分的学习装置2也可以配置于同一现场，由同一利用者利用。

另一方面，本实施方式涉及的模型生成装置1是构成为构建能够生成与本地学习数据3相同种类的数据的生成模型41的计算机。具体而言，本实施方式涉及的模型生成装置1使用生成模型41生成数据50。接着，模型生成装置1通过将生成的数据50发送至各学习装置2，从而使各学习装置2的识别模型40执行对数据50的识别。各学习装置2通过识别模型40识别数据50是否包含在本地学习数据3中。

本实施方式涉及的模型生成装置1从各学习装置2接收各学习装置2的识别模型40识别的结果51。并且，模型生成装置1通过使用接收到的识别的结果51的机器学习训练生成模型41，以使其生成使多个识别模型40中的至少任意一个识别模型的识别性能降低这样的数据。

此外，本地学习数据3所包含的数据的种类并无特别限定，也可以根据实施方式适当地选择。本地学习数据3例如可以由图像数据、声音数据、数值数据、文本数据、以及其他通过传感器得到的测定数据等构成。所有的本地学习数据3最终确定由生成模型41生成的数据的分布。生成模型41构成为生成与本地学习数据3相同种类的数据。学习完毕的生成模型41可以用于量产与本地学习数据3相同种类的数据。例如，为了增加用于使推断器学会进行规定推论的能力的推论用学习数据的件数，也可以为了增加与作为进行规定推论的对象的对象数据相比较的数据的件数而进行相同种类数据的量产。

在图1的例子中，存在三个学习装置2a～2c。以下，为了便于说明，在区分各学习装置的情况下，进一步标注a、b、c等的符号，否则如“学习装置2”等这样省略它们的符号。各学习装置2a～2c收集本地学习数据3a～3c，使用所得到的各自的本地学习数据3a～3c执行各识别模型40a～40c的机器学习。由此，各学习装置2a～2c构建获得了识别被提供的数据是否包含在自身的本地学习数据3a～3c中的能力的学习完毕的识别模型40a～40c。

更为详细而言，在本实施方式中，各学习装置2a～2c进一步从模型生成装置1取得由生成模型41生成的数据(后述的数据53)。然后，各学习装置2a～2c使用各自的本地学习数据3a～3c以及由生成模型41生成的数据，执行各识别模型40a～40c的机器学习。由此，各学习装置2a～2c使各识别模型40a～40c学会识别被提供的数据是源自自身的本地学习数据3a～3c还是源自生成模型41的能力。

相对于此，模型生成装置1通过生成模型41生成数据50，并将生成的数据50发送至各学习装置2a～2c。各学习装置2a～2c通过自身的识别模型40a～40c来识别数据50是否包含在自身的本地学习数据3a～3c中。然后，各学习装置2a～2c将自身的识别模型40a～40c识别的结果51a～51c返回给模型生成装置1。

模型生成装置1接收各学习装置2a～2c的识别模型40a～40c识别的结果51a～51c。并且，模型生成装置1通过使用了接收到的识别的结果51a～51c的机器学习，以生成使多个识别模型40a～40c中的至少任意一个的识别性能降低这样的数据的方式训练生成模型41。换言之，模型生成装置1以生成多个识别模型40a～40c中的至少任意一个识别为包含在自身的本地学习数据3a～3c中这样的数据的方式训练生成模型41。此外，学习装置2的数量不限定于图1的例子，可以根据实施方式适当地决定。学习装置2的数量可以是两个，也可以是四个以上。

如上所述，在本实施方式中，为了实施生成模型41的机器学习，并非收集本地学习数据3本身，而是收集各识别模型40识别的结果51。由此，能够抑制模型生成装置1所需的通信成本。另外，由于生成模型41的机器学习也可以不使用本地学习数据3本身，因而能够抑制模型生成装置1所需的计算成本。进而，由于可以不将本地学习数据3本身集结于模型生成装置1中，因而能够防止本地学习数据3的内容直接变得明确。因此，能够某种程度地保证本地学习数据3的隐匿性。

除此之外，在本实施方式中，生成模型41通过使用了收集到的识别的结果51的机器学习，被训练为生成使多个识别模型40中的至少任意一个识别模型40的识别性能降低这样的数据。也就是说，通过该机器学习，使生成模型41被训练为生成使至少任意一个识别模型40的识别错误这样的数据。由此，能够构建可生成与各识别模型40的机器学习中使用的本地学习数据3的任意一个的分布相符的数据的生成模型41。

进一步使用图2A和图2B，对该效果详细进行说明。作为与本实施方式相对的学习方法，设想以生成使所有识别模型40的识别性能降低这样的数据的方式训练生成模型的方法。图2A示意性地示出能够通过利用该相对的方法构建的学习完毕的生成模型生成的数据的分布。另一方面，图2B示意性地示出能够通过根据本实施方式构建的学习完毕的生成模型41生成的数据的分布。

为了使所有识别模型40的识别性能降低，生成所有本地学习数据3通用的数据。也就是说，在以生成使所有识别模型40的识别性能降低这样的数据的方式训练了生成模型的情况下，能够通过所构建的学习完毕的生成模型生成的数据成为包含在各学习装置2的本地学习数据3的逻辑积中这样的数据。如果通过各学习装置2收集到的本地学习数据3的分布相同，则根据该方法构建的学习完毕的生成模型能够生成与各学习装置2的本地学习数据3的分布相符的数据。

然而，通过各学习装置2收集到的本地学习数据3的分布并不一定相同。特别是，在各学习装置2根据各自的情况独自运营的情况下，基本上是与其他的学习装置2的本地学习数据3无关地收集本地学习数据3。因此，通过各学习装置2收集到的本地学习数据3不均匀，其分布可能大不相同。例如，如图2A所示，通过各学习装置2a～2c收集到的本地学习数据3a～3c的分布可能不同。

如果通过各学习装置2收集到的本地学习数据3的分布大不相同，则如图2A的阴影所示，其通用的部分(即逻辑积)成为极小的范围。在通过各学习装置2收集到的本地学习数据3的分布中不存在通用的部分的情况下，生成模型会被构建为生成任何分布中都不包含这样的数据。因此，在以生成使所有识别模型40的识别性能降低这样的数据的方式训练了生成模型的情况下，能够通过所构建的学习完毕的生成模型生成的数据非常有限。

相对于此，在使多个识别模型40中的至少任意一个识别模型40的识别性能降低的情况下，只要生成与各识别模型40的机器学习中使用的本地学习数据3的至少任意一个的分布相符的数据即可。因此，在如本实施方式那样，以生成使多个识别模型40中的至少任意一个的识别性能降低这样的数据的方式训练了生成模型41的情况下，生成模型41能够学会生成与各识别模型40的机器学习中使用的本地学习数据3的逻辑和的分布相符的数据的能力。

因此，即使通过各学习装置2收集到的本地学习数据3的分布不同，学习完毕的生成模型41也能够生成各分布中可能包含的数据。例如，如图2B的阴影所示，即使本地学习数据3a～3c的分布不同，该机器学习的结果也是生成模型41能够学会生成包含在本地学习数据3a～3c的逻辑和的分布中这样的数据的能力。因此，根据本实施方式，能够构建可生成多种数据的生成模型41。

多个识别模型40和生成模型41分别是能够通过机器学习获得各能力的学习模型，其种类并没有特别限定，可以根据实施方式适当地选择。在本实施方式中，如之后所述，多个识别模型40和生成模型41分别由神经网络构成。各识别模型40可以被称为识别器，生成模型41可以被称为生成器。

此外，本实施方式涉及的各学习装置2执行推论由传感器S得到的数据(后述的对象数据223)所表现的特征的处理。在本实施方式中，各学习装置2获取作为用于推论特征的推论用学习数据而收集到的数据组。此时，各学习装置2也可以获取利用学习完毕的生成模型41生成的数据。通过学习完毕的生成模型41生成数据既可以由各学习装置2执行，也可以由其他的计算机执行。由此，各学习装置2也可以获取包含由学习完毕的生成模型41生成的数据的数据组。另外，各学习装置2获取对象数据。并且，各学习装置2根据对象数据与数据组的比较来推论对象数据所表现的特征。各学习装置2输出与推论特征的结果相关的信息。

如上所述，根据学习完毕的生成模型41，能够生成多种数据。特别是，学习完毕的生成模型41被构成为：各学习装置2单独难以进行收集，但能够生成其他学习装置2中能够得到的数据。因此，各学习装置2不仅能够通过上述生成模型41生成的数据增加推论中利用的数据组所包含的数据的件数，而且能够丰富数据的变化。由此，各学习装置2能够提高基于与数据组的比较的推论的精度。

§2构成例

[硬件构成]

＜模型生成装置＞

接着，使用图3对本实施方式涉及的模型生成装置1的硬件构成的一例进行说明。图3示意性地例示出本实施方式涉及的模型生成装置1的硬件构成的一例。

如图3所示，本实施方式涉及的模型生成装置1是与控制部11、存储部12、通信接口13、输入装置14、输出装置15以及驱动器16电连接的计算机。需要说明的是，在图3中，将通信接口记载为“通信I/F”。

控制部11构成为包含作为硬件处理器的CPU(Central Processing Unit：中央处理器)、RAM(Random Access Memory：随机存取存储器)、ROM(Read Only Memory：只读存储器)等，并根据程序和各种数据执行信息处理。存储部12是存储器的一例，例如由硬盘驱动器、固态驱动器等构成。在本实施方式中，存储部12存储模型生成程序81、学习结果数据121、组列表123、分配信息124等的各种信息。

模型生成程序81是用于使模型生成装置1执行与生成模型41的机器学习相关的后述信息处理(图9)的程序。模型生成程序81包含该信息处理的一系列的命令。学习结果数据121表示与通过机器学习来构建的生成模型41相关的信息。学习结果数据121作为执行模型生成程序81的结果而得到。组列表123表示作为分配各学习装置2的候补的多个组的一览。分配信息124表示各学习装置2与各组的对应关系。之后详细进行叙述。

通信接口13例如为有线LAN(Local Area Network：局域网)模块、无线LAN模块等，且是用于经由网络进行有线或无线通信的接口。模型生成装置1通过利用该通信接口13，能够经由网络与其他的信息处理装置(例如学习装置2)进行数据通信。

输入装置14例如是鼠标、键盘等用于进行输入的装置。另外，输出装置15例如是显示器、扬声器等用于进行输出的装置。操作者能够利用输入装置14和输出装置15来操作模型生成装置1。

驱动器16例如是CD驱动器、DVD驱动器等，且是用于读入存储介质91中存储的程序的驱动装置。驱动器16的种类可以根据存储介质91的种类适当地选择。上述模型生成程序81、组列表123以及分配信息124的至少任意一个也可以存储在该存储介质91中。

存储介质91是以计算机及其他装置、机械等能够读取所记录的程序等信息的方式，通过电、磁、光学、机械或化学作用存储该程序等信息的介质。模型生成装置1可以从该存储介质91取得上述模型生成程序81、组列表123以及分配信息124的至少任意一个。

在此，在图3中，作为存储介质91的一例，例示出CD、DVD等的盘式存储介质。但是，存储介质91的种类并不限定于盘式，也可以是盘式以外的类型。作为盘式以外的存储介质，例如可以举出闪存等的半导体存储器。

此外，关于模型生成装置1的具体的硬件构成，可以根据实施方式适当地省略、替换以及追加构成要素。例如，控制部11也可以包含多个硬件处理器。硬件处理器可以由微处理器、FPGA(field-programmable gate array：现场可编程门阵列)、DSP(digital signalprocessor：数字信号处理器)等构成。存储部12也可以由控制部11所包含的RAM及ROM构成。也可以省略通信接口13、输入装置14、输出装置15以及驱动器16中的至少任意一个。模型生成装置1也可以由多台计算机构成。该情况下，各计算机的硬件构成既可以一致，也可以不一致。另外，模型生成装置1除了被设计为所提供的服务专用的信息处理装置之外，也可以是通用的服务器装置、PC(Personal Computer：个人计算机)等。

＜学习装置＞

接着，使用图4对本实施方式涉及的各学习装置2的硬件构成的一例进行说明。图4示意性地例示出本实施方式涉及的各学习装置2的硬件构成的一例。

如图4所示，本实施方式涉及的学习装置2是与控制部21、存储部22、通信接口23、输入装置24、输出装置25、驱动器26以及外部接口27电连接的计算机。此外，在图4中，通信接口和外部接口分别记载为“通信I/F”和“外部I/F”。

各学习装置2的控制部21～驱动器26分别可以与上述模型生成装置1的控制部11～驱动器16同样地构成。即，控制部21构成为包括作为硬件处理器的CPU、RAM、ROM等，并根据程序及数据来执行各种信息处理。存储部22例如由硬盘驱动器、固态驱动器等构成。存储部22存储学习程序82、推论程序83、本地学习数据3、学习结果数据221等的各种信息。

学习程序82是用于使学习装置2执行与识别模型40的机器学习相关的后述信息处理(图8)的程序。学习程序82包含该信息处理的一系列的命令。学习结果数据221表示与通过机器学习来构建的识别模型40相关的信息。学习结果数据221作为执行学习程序82的结果而得到。另外，推论程序83是用于使学习装置2执行与针对由传感器S得到的数据的规定推论相关的后述信息处理(图10)的程序。推论程序83包含该信息处理的一系列的命令。本地学习数据3被利用于识别模型40的机器学习。之后详细进行叙述。

通信接口23例如是有线LAN模块、无线LAN模块等，且是用于经由网络进行有线或无线通信的接口。各学习装置2通过利用该通信接口23，能够经由网络与其他的信息处理装置(例如模型生成装置1)进行数据通信。

输入装置24例如是鼠标、键盘等用于进行输入的装置。另外，输出装置25例如是显示器、扬声器等用于进行输出的装置。操作者能够利用输入装置24和输出装置25来操作各学习装置2。

驱动器26例如是CD驱动器、DVD驱动器等，且是用于读入存储介质92中存储的程序的驱动装置。上述学习程序82、推论程序83以及本地学习数据3中的至少任意一个也可以存储于存储介质92中。另外，各学习装置2也可以从存储介质92获取上述学习程序82、推论程序83以及本地学习数据3中的至少任意一个。

外部接口27例如是USB(Universal Serial Bus：通用串行总线)端口、专用端口等，且是用于与外部装置连接的接口。外部接口27的种类及数量可以根据所连接的外部装置的种类及数量适当地选择。在本实施方式中，各学习装置2经由外部接口27与传感器S连接。由此，各学习装置2被构成为能够从传感器S获取作为执行规定推论的对象的感测数据。但是，用于获取感测数据的构成并不限定于这样的例子，也可以根据实施方式适当地决定。例如，在传感器S具备通信接口的情况下，各学习装置2也可以不经由外部接口27而是经由通信接口23与传感器S连接。

此外，关于学习装置2的具体的硬件构成，可以根据实施方式适当地省略、替换以及追加构成要素。例如，控制部21也可以包含多个硬件处理器。硬件处理器可以由微处理器、FPGA、DSP等构成。存储部22也可以由控制部21所包含的RAM及ROM构成。也可以省略通信接口23、输入装置24、输出装置25、驱动器26以及外部接口27中的至少任意一个。各学习装置2也可以由多台计算机构成。该情况下，各计算机的硬件构成既可以一致，也可以不一致。在本实施方式中，各学习装置2的硬件构成相同。然而，各学习装置2的硬件构成的关系并不限定于这样的例子。也可以使一个学习装置2和其他的学习装置2的硬件构成互不相同。另外，各学习装置2除了被设计为所提供的服务专用的信息处理装置以外，也可以是通用的服务器装置、通用的PC等。

[软件构成]

＜模型生成装置＞

接着，使用图5对本实施方式涉及的模型生成装置1的软件构成的一例进行说明。图5示意性地例示出本实施方式涉及的模型生成装置1的软件构成的一例。

模型生成装置1的控制部11将存储在存储部12中的模型生成程序81加载至RAM中。然后，控制部11通过CPU对加载至RAM中的模型生成程序81进行解释和执行，从而控制各构成要素。由此，如图5所示，本实施方式涉及的模型生成装置1作为以软件模块的形式具备生成部111、发送部112、接收部113、学习处理部114、保存处理部115以及分组部116的计算机进行动作。即，在本实施方式中，模型生成装置1的各软件模块通过控制部11(CPU)实现。

生成部111使用生成模型41生成数据50。在本实施方式中，从规定的概率分布取得噪声(潜在变量)。规定的概率分布并无特别限定，可以根据实施方式适当地选择。规定的概率分布例如可以是高斯分布等。生成部111将取得的噪声输入生成模型41，执行生成模型41的运算处理。由此，生成部111从生成模型41取得数据50。

发送部112将生成的数据50发送至各识别模型40，使各识别模型40执行对数据50的识别。接收部113接收各识别模型40对被发送的数据50进行识别的结果51。在本实施方式中，各识别模型40被保存在各学习装置2中。因此，发送部112通过将生成的数据50发送至各学习装置2，从而使各识别模型40执行对数据50的识别。另外，接收部113从各学习装置2接收各识别模型40识别的结果51。

学习处理部114通过使用接收到的识别的结果51的机器学习训练生成模型41，以使生成使多个识别模型40中的至少任意一个识别模型40的识别性能降低这样的数据。保存处理部115将与通过机器学习来构建的学习完毕的生成模型41相关的信息保存于规定的存储区域中。

分组部116将各学习装置2分配给多个组中的至少任意一个组。与之对应地，模型生成装置1也可以按组保持生成模型41。发送部112可以按组将由对应的生成模型41生成的数据50发送至各学习装置2，从而使各识别模型40执行对数据50的识别。接收部113也可以按组从各学习装置2接收各识别模型40识别的结果51。并且，学习处理部114也可以按组通过使用接收到的识别的结果51的机器学习训练生成模型41，以生成使多个识别模型40中的至少任意一个识别模型40的识别性能降低这样的数据。在本实施方式中，分组部116将相对于各学习装置2的组的分配结果存储在分配信息124中。

图6示意性地例示出本实施方式涉及的分配信息124的数据构成的一例。在本实施方式中，分配信息124具有表格形式的结构，各记录(行数据)具有“用户ID”栏和“组ID”栏。“用户ID”栏中存储有用于识别各学习装置2的信息，“组ID”栏中存储有用于识别分配了对象的学习装置2的组的信息。一个记录表示一个分配结果。但是，分配信息124的数据构成并不限定于上述例子，也可以根据实施方式适当地决定。

(生成模型)

接着，对生成模型41的一例进行说明。如图5所示，在本实施方式中，生成模型41由神经网络构成。具体而言，生成模型41由三层结构的神经网络构成，从输入侧起依次具备输入层411、中间(隐藏)层412以及输出层413。但是，生成模型41的结构并不限定于上述例子，也可以根据实施方式适当地决定。例如，生成模型41所具备的中间层的数量不限定于一个，也可以是两个以上。

各层411～413所包含的神经元(接点)的数量可以根据实施方式适当地选择。相邻层的神经元彼此适当地连接，各连接设定有权重(连接权)。在图5的例子中，各神经元与相邻层的所有神经元连接。然而，神经元的连接也可以不限定于上述例子，也可以根据实施方式适当地设定。各神经元中设定有阈值，基本来说，根据各输入与各权重之积的和是否超过阈值来决定各神经元的输出。各层411～413所包含的各神经元间的连接的权重以及各神经元的阈值是运算处理中利用的生成模型41的运算参数的一例。

在本实施方式中，由于生成模型41如此构成，因而生成部111将从规定的概率分布得到的噪声输入至输入层411，并执行神经网络的运算处理。由此，作为来自输出层413的输出，生成部111取得由噪声生成的数据50。

另外，学习处理部114根据通过机器学习以使任意一个识别模型40的识别性能降低的方式计算出的误差，调整生成模型41的运算参数的值。保存处理部115生成表示通过机器学习来构建的学习完毕的生成模型41的结构及运算参数的信息作为学习结果数据121，并将生成的学习结果数据121保存在规定的存储区域中。

＜学习装置＞

(A)学习处理

接着，使用图7A对与本实施方式涉及的各学习装置2的学习处理相关的软件构成的一例进行说明。图7A示意性地例示出与本实施方式涉及的各学习装置2的学习处理相关的软件构成的一例。

各学习装置2的控制部21将存储于存储部22中的学习程序82加载至RAM中。然后，控制部21通过CPU解释和执行加载至RAM中的学习程序82，从而控制各构成要素。由此，如图7A所示，本实施方式涉及的各学习装置2作为以软件模块的形式具备学习数据收集部211、学习处理部212以及保存处理部213的计算机进行动作。即，在本实施方式中，与学习处理相关的各学习装置2的各软件模块通过控制部21(CPU)实现。

学习数据收集部211收集识别模型40的机器学习中使用的本地学习数据3。学习数据收集部211例如也可以将为了在后述推论处理中利用等其他的利用目的而收集到的数据作为本地学习数据3进行处理。学习处理部212通过使用收集到的本地学习数据3的机器学习，构建获得了识别被提供的数据是否包含在本地学习数据3中的能力的学习完毕的识别模型40。保存处理部213将与通过机器学习来构建的学习完毕的识别模型40相关的信息保存在规定的存储区域中。

(识别模型)

接着，对识别模型40的一例进行说明。如图7A所示，在本实施方式中，识别模型40由神经网络构成。具体而言，与上述生成模型41同样，识别模型40由三层结构的神经网络构成，从输入侧开始依次具备输入层401、中间(隐藏)层402以及输出层403。但是，识别模型40的结构并不限定于上述例子，也可以根据实施方式适当地决定。例如，识别模型40所具备的中间层的数量并不限定于一个，也可以是两个以上。

与上述生成模型41同样地，识别模型40的各层401～403所包含的神经元(节点)的数量也可以根据实施方式适当地选择。在图7A的例子中，各神经元与相邻层的所有神经元连接。然而，神经元的连接也可以不限定于上述例子，也可以根据实施方式适当地设定。各层401～403所包含的各神经元间的连接的权重以及各神经元的阈值是运算处理中利用的识别模型40的运算参数的一例。

在本实施方式中，学习处理部212通过机器学习训练识别模型40，以使其识别输入至识别模型40的数据是由生成模型41生成的数据还是本地学习数据3中包含的数据。也就是说，识别模型40被训练为识别被提供的数据是源自生成模型41还是源自本地学习数据3。此外，在图7A中，将源自本地学习数据3的情况表现为“真”，将源自生成模型41的情况表现为“假”。但是，表现各来源的方法并不限定于上述例子，也可以根据实施方式适当地选择。

作为该机器学习的处理的一例，学习处理部212首先获取收集到的本地学习数据3，除此之外还获取由生成模型41生成的数据53。与数据50同样地，数据53通过将从规定的概率分布提取的噪声输入生成模型41的输入层411，并执行生成模型41的运算处理而生成。接着，学习处理部212利用本地学习数据3及数据53，执行识别模型40的机器学习。

相对于由生成模型41生成的数据53的识别的正确数据是“假”。另一方面，相对于本地学习数据3所包含的数据的识别的正确数据是“真”。因此，通过将表示“假”的正确数据与数据53建立关联，能够生成专门参与学会识别被提供的数据源自生成模型41的能力的学习用数据集。另外，通过将本地学习数据3所包含的数据与表示“真”的正确数据建立关联，能够生成专门参与学会识别被提供的数据源自本地学习数据3的能力的学习用数据集。此外，“真”可以表达为“1”，“假”可以表达为“0”。学习处理部212进行的识别模型40的机器学习可以视为使用了各学习用数据集的监督学习。

即，学习处理部212将由生成模型41生成的数据53输入识别模型40的输入层401，并执行识别模型40的运算处理。由此，学习处理部212从输出层403取得与输入的数据源自本地学习数据3还是源自生成模型41的识别结果对应的输出值。在该场景中，由于输入的数据是由生成模型41生成的数据53，因而识别模型40识别为“假”是正确。学习处理部212针对由生成模型41生成的数据53，算出从输出层403得到的输出值与该正确的误差。

另外，学习处理部212将本地学习数据3所包含的数据输入识别模型40的输入层401，并执行识别模型40的运算处理。由此，学习处理部212从输出层403取得与所输入的数据源自本地学习数据3还是源自生成模型41的识别结果对应的输出值。在该场景中，由于输入的数据是本地学习数据3所包含的数据，因而识别模型40识别为“真”是正确。学习处理部212针对本地学习数据3所包含的数据，算出从输出层403得到的输出值与该正确的误差。

然后，学习处理部212调节识别模型40的运算参数的值，以使计算出的误差之和变小。学习处理部212重复通过上述一系列处理调节识别模型40的运算参数的值，直到从输出层403得到的输出值与真伪的正确的误差之和变为阈值以下为止。由此，学习处理部212能够训练识别模型40以使其获得识别被提供的数据是由生成模型41生成的数据还是本地学习数据3所包含的数据的能力。保存处理部213生成表示通过机器学习来构建的学习完毕的识别模型40的结构及运算参数的信息作为学习结果数据221，并将生成的学习结果数据221保存在规定的存储区域中。

(B)推论处理

接着，使用图7B对与本实施方式涉及的各学习装置2的推论处理相关的软件构成的一例进行说明。图7B示意性地例示出与本实施方式涉及的各学习装置2的推论处理相关的软件构成的一例。

各学习装置2的控制部21将存储于存储部22中的推论程序83加载至RAM中。然后，控制部21通过CPU对加载至RAM中的推论程序83进行解释和执行，从而对各构成要素进行控制。由此，如图7B所示，本实施方式涉及的各学习装置2作为以软件模块的形式具备对象数据获取部216、推论部217以及输出部218的计算机进行动作。即，在本实施方式中，与推论处理相关的各学习装置2的各软件模块通过控制部21(CPU)实现。

对象数据获取部216获取作为推论的处理对象的对象数据223。在本实施方式中，对象数据获取部216从传感器S获取对象数据223。推论部217获取作为用于推论特征的推论用学习数据收集的数据组225。数据组225由与所推论的特征相关的多件数据2251构成。数据组225中包含的数据2251例如可以是本地学习数据3中包含的数据、由生成模型41生成的数据等。推论部217也可以获取利用学习完毕的生成模型41生成的数据。利用学习完毕的生成模型41生成数据既可以由各学习装置2执行，也可以由其他的计算机执行。在由各学习装置2执行利用学习完毕的生成模型41生成数据的情况下，推论部217通过保持学习结果数据121而包含学习完毕的生成模型41。推论部217利用学习完毕的生成模型41生成数据。由此，推论部217也可以获取包含由学习完毕的生成模型41生成的数据的数据组225。然后，推论部217根据数据组225与对象数据223的比较，推论对象数据223所表现的特征。此外，该“推论”例如可以是通过分组(分类、识别)导出离散值(例如与特定的特征对应的类别)、以及通过回归导出连续值(例如出现特定的特征的概率)中的任意一个。输出部218输出与特征的推论结果相关的信息。

＜其他＞

关于模型生成装置1及各学习装置2的各软件模块，在后述的动作例中详细进行说明。此外，在本实施方式中，对模型生成装置1及各学习装置2的各软件模块均由通用的CPU实现的例子进行说明。但是，以上的软件模块的一部分或全部也可以通过一个或多个专用的处理器实现。另外，关于模型生成装置1及各学习装置2各自的软件构成，也可以根据实施方式适当地省略、替换以及追加软件模块。

§3动作例

[学习处理]

在本实施方式中，各学习装置2进行的该识别模型40的机器学习和模型生成装置1进行的生成模型41的机器学习可以交替地重复执行。该重复的次数并无特别限定，可以根据实施方式适当地选择。由此，能够提高识别模型40的识别精度和生成模型41的数据生成的精度。即，能够使识别模型40学会适当地识别被提供的数据是否为本地学习数据3的能力。另外，能够使生成模型41学会根据从规定的概率分布提取的噪声适当地生成可能包含在任意一个本地学习数据3的分布中的数据的能力。以下，对与各学习装置2及模型生成装置1的机器学习相关的动作例进行说明。

(A)各学习装置

首先，使用图8对与识别模型40的机器学习相关的各学习装置2的动作例进行说明。图8是表示与各学习装置2进行的识别模型40的机器学习相关的处理步骤的一例的流程图。但是，以下说明的各处理步骤仅为一例，各处理也可以在可能的范围内进行变更。进而，对于以下说明的各处理步骤，可以根据实施方式适当地省略、替换以及追加步骤。

(步骤S101)

在步骤S101中，控制部21作为学习数据收集部211进行动作，收集本地学习数据3。

生成本地学习数据3的方法并无特别限定，可以根据实施方式适当地选择。在本实施方式中，本地学习数据3能够用于推论由传感器S得到的数据所表现的特征。因此，例如，通过准备与传感器S同种的传感器，并利用所准备的传感器在各种条件下进行观察，从而获取表现出或未表现出规定特征的多件数据。本地学习数据3可以由如此取得的多件数据构成。此外，也可以对各件数据赋予表示该各件数据所表现的特征的标签。

本地学习数据3既可以通过计算机的动作自动生成，也可以通过操作员的操作手动生成。另外，本地学习数据3的生成既可以由各学习装置2进行，也可以由各学习装置2以外的其他计算机进行。在由各学习装置2生成本地学习数据3的情况下，控制部21也可以自动地、或者通过经由输入装置24的操作员的操作手动地执行上述处理，从而收集本地学习数据3。另一方面，在其他计算机生成本地学习数据3的情况下，控制部21例如也可以经由网络、存储介质92等收集由其他计算机生成的本地学习数据3。也可以是本地学习数据3的一部分由各学习装置2生成，其他部分由其他的计算机生成。

构成本地学习数据3的数据的件数并无特别限定，可以根据实施方式适当地选择。另外，控制部21也可以利用推论中使用的数据组225所包含的数据2251作为本地学习数据3。当收集了本地学习数据3时，控制部21使处理进入下一步骤S102。

(步骤S102)

在步骤S102中，控制部21作为学习处理部212进行动作，获取由生成模型41生成的数据53。

在本实施方式中，模型生成装置1的控制部11从规定的概率分布提取噪声，将提取出的噪声输入生成模型41的输入层411，并执行生成模型41的运算处理。即，控制部11将噪声输入生成模型41的输入层411，从输入侧起依次进行各层411～413中包含的各神经元的点火判定。由此，控制部11作为来自输出层413的输出而取得根据噪声生成的数据53。控制部21获取由生成模型41如此生成的数据53。在本实施方式中，生成的数据53是疑似性的感测数据。

数据53的获取路径并无特别限定，可以根据实施方式适当地选择。例如，控制部21也可以经由网络访问模型生成装置1，由此从该模型生成装置1直接获取数据53。该情况下，模型生成装置1的控制部11也可以根据来自各学习装置2的请求，通过生成模型41生成数据53。然后，控制部11也可以将生成的数据53适当地发送至各学习装置2。由此，控制部21也可以从模型生成装置1获取数据53。另外，例如，模型生成装置1的控制部11也可以将由生成模型41生成的数据53保存至数据服务器等的外部存储装置中。数据服务器例如也可以是NAS(Network Attached Storage、网络连接存储)等。该情况下，控制部21也可以访问外部存储装置并从该外部存储装置获取数据53，由此从模型生成装置1间接地获取数据53。

获取的数据53的件数并无特别限定，可以根据实施方式适当地选择。当获取了由生成模型41生成的数据53时，控制部21使处理进入下一步骤S103。此外，本步骤S102也可以在步骤S101之前执行。

(步骤S103)

在步骤S103中，控制部21作为学习处理部212进行动作，通过使用收集到的本地学习数据3的机器学习来构建学习完毕的识别模型40，该学习完毕的识别模型40获得了识别被提供的数据是否包含在本地学习数据3中的能力。在本实施方式中，控制部21使用本地学习数据3和由生成模型41生成的数据53训练识别模型40，以使其识别被提供的数据是源自本地学习数据3还是源自生成模型41。在该机器学习的处理中，可以使用随机梯度下降法、小批量梯度下降法等。

具体而言，控制部21将由生成模型41生成的数据53输入识别模型40的输入层401，从输入侧起依次进行各层401～403中包含的各神经元的点火判定。由此，控制部21从输出层403获取与输入的数据是源自本地学习数据3还是源自生成模型41的识别结果对应的输出值。在该场景中，由于输入的数据是由生成模型41生成的数据53，因而识别模型40识别为“假”是正确。控制部21针对由生成模型41生成的数据53，算出从输出层403得到的输出值与该正确的误差。

另外，控制部21将本地学习数据3中包含的数据输入识别模型40的输入层401，从输入侧起依次进行各层401～403中包含的各神经元的点火判定。由此，控制部21从输出层403获取与输入的数据是源自本地学习数据3还是源自生成模型41的识别结果对应的输出值。在该场景中，由于输入的数据是本地学习数据3所包含的数据，因而识别模型40识别为“真”是正确。控制部21针对本地学习数据3中包含的数据，算出从输出层403得到的输出值与该正确的误差。

【数学式1】

各误差例如可以通过式1的损失函数来计算。式1的X

控制部21利用误差反向传播法(Back propagation)法，并使用算出的输出值的误差的梯度，算出识别模型40中的各神经元间的连接的权重以及各神经元的阈值各自的误差。控制部21根据算出的各误差，进行各神经元间的连接的权重以及各神经元的阈值各自的值的更新。例如，控制部21分别从本地学习数据3和由生成模型41生成的数据53提取样本，使用所提取的样本通过上述处理调节运算参数的值。控制部21将该调节重复进行规定次数。调节的重复次数并无特别限定，可以根据实施方式适当地选择。由此，控制部21能够构建被训练为针对本地学习数据3和由生成模型41生成的数据53，能够适当地识别被提供的数据是源自本地学习数据3还是源自生成模型41的识别模型40。当该识别模型40的机器学习完成时，控制部21使处理进入下一步骤S104。

(步骤S104)

在步骤S104中，控制部21作为保存处理部213进行动作，将与通过机器学习来构建的学习完毕的识别模型40相关的信息保存至规定的存储区域。在本实施方式中，控制部21生成表示通过步骤S103的机器学习来构建的学习完毕的神经网络(识别模型40)的结构和运算参数的信息作为学习结果数据221。然后，控制部21将所生成的学习结果数据221保存至规定的存储区域。

规定的存储区域可以是例如控制部21内的RAM、存储部22、外部存储装置、存储介质或者它们的组合。存储介质可以是例如CD、DVD等，控制部21也可以经由驱动器26将学习结果数据221存储至存储介质中。外部存储装置可以是例如NAS等的数据服务器。该情况下，控制部21也可以使用通信接口23经由网络将学习结果数据221存储至数据服务器中。另外，外部存储装置也可以是例如与学习装置2连接的外置的存储装置。

由此，当学习结果数据221的保存完成时，控制部21结束与识别模型40的机器学习相关的一系列的处理。

此外，如上所述，也可以重复交替执行利用各学习装置2进行的该识别模型40的机器学习和利用模型生成装置1进行的生成模型41的机器学习。在该重复的过程中，控制部21也可以省略步骤S104，将暂定的学习完毕的识别模型40相关的信息暂时保存至RAM中。或者，控制部21也可以不省略本步骤S104，而将暂定的学习完毕的识别模型40相关的信息作为学习结果数据221保存至规定的存储区域。另外，在重复的过程中，控制部21也可以省略步骤S101的处理。

(B)模型生成装置

接着，使用图9对与生成模型41的机器学习相关的模型生成装置1的动作例进行说明。图9是表示与由模型生成装置1进行的生成模型41的机器学习相关的处理步骤的一例的流程图。以下说明的处理步骤是本发明的“模型生成方法”的一例。但是，以下说明的各处理步骤仅为一例，各步骤也可以在可能的范围内进行变更。进而，对于以下说明的各处理步骤，可以根据实施方式适当地省略、替换以及追加步骤。

(步骤S201)

在步骤S201中，控制部11作为生成部111进行动作，使用生成模型41生成数据50。在初始阶段中，生成模型41既可以通过模板提供，也可以通过操作员经由输入装置14指定而提供。在识别模型40的机器学习和生成模型41的机器学习的重复过程中，生成模型41可以根据通过上次机器学习得到的学习结果提供。

在本实施方式中，控制部11根据这些进行生成模型41的设定。接着，控制部11从高斯分布等规定的概率分布中提取多个噪声。提取的噪声的件数可以根据实施方式适当地选择。然后，控制部11将提取出的各噪声输入生成模型41的输入层411，从输入侧起依次进行各层411～413中包含的各神经元的点火判定。由此，控制部11从输出层413取得与各噪声对应地生成的数据50。当生成了数据50时，控制部11使处理进入下一步骤S202。

(步骤S202和步骤S203)

在步骤S202中，控制部11作为发送部112进行动作，将生成的数据50发送至各识别模型40，使各识别模型40对数据50执行识别。在步骤S203中，控制部11作为接收部113进行动作，接收各识别模型40对被发送的数据50识别的结果51。

在本实施方式中，控制部11利用通信接口13，经由网络将数据50发送至各学习装置2。由此，控制部11使各识别模型40对数据50执行识别。另外，控制部11经由网络从各学习装置2获取各识别模型40识别的结果51。当从各学习装置2获取了识别的结果51时，控制部11使处理进入下一步骤S204。

此外，数据50的发送路径和识别的结果51的接收路径分别可以无特别限定，可以根据实施方式适当地选择。例如，控制部11也可以经由网络将数据50直接发送至各学习装置2。另外，例如，控制部11也可以将生成的数据50发送至数据服务器等的外部存储装置，并使各学习装置2获取存储在外部存储装置中的数据50。由此，控制部11也可以将生成的数据50间接发送至各学习装置2。识别的结果51的接收路径也是同样的。

(步骤S204)

在步骤S204中，控制部11作为学习处理部114进行动作，通过使用接收到的识别的结果51的机器学习训练生成模型41，以使其生成使多个识别模型40中的至少任意一个识别模型40的识别性能降低这样的数据。也就是说，控制部11训练生成模型41，以使其生成多个识别模型40中的至少任意一个识别模型40识别为“真”(即，识别为源自本地学习数据3)这样的数据。以使多个识别模型40中的至少任意一个的识别性能降低的方式计算误差的方法，可以根据实施方式适当地选择。在本实施方式中，如下所述，该误差的计算中利用Softmax函数。

【数学式2】

y

具体而言，在上述步骤S202中，各学习装置2的控制部21利用各识别模型40对由生成模型41生成的数据50执行识别。第i个识别模型40的输出值y

【数学式3】

首先，控制部21计算exp(ly

【数学式4】

Y＝∑

【数学式5】

F(Y)＝E((Y-1)

接着，控制部21计算上述式4的y

【数学式6】

然后，控制部21根据算出的F(Y)计算上述式6的V

【数学式7】

V＝∑

在本步骤S204中，控制部11计算从各学习装置2获取到的V

由此，将生成模型41的运算参数的值调节为使多个识别模型40中的至少任意一个的识别性能降低。即，控制部11能够构建被训练为生成使多个识别模型40中的至少任意一个的识别性能降低这样的数据的生成模型41。当生成模型41的机器学习完成时，控制部11使处理进入下一步骤S205。

此外，从各学习装置2返回的识别的结果51只要能够用于更新生成模型41的运算参数，便不限定于上述例子，可以根据实施方式适当地决定。例如，在模型生成装置1能够执行各识别模型40的反向传播的计算时，控制部11也可以得到各识别模型40的输出值作为识别的结果51。该情况下，控制部11也可以执行各学习装置2的上述各运算处理。另外，以使多个识别模型40中的至少任意一个的识别性能降低的方式计算误差的方法，并不限定于使用Softmax函数的方法。在该误差的计算中，除了Softmax函数以外，例如也可以使用MAX函数等。

(步骤S205)

在步骤S205中，控制部11作为保存处理部115进行动作，将与通过机器学习来构建的学习完毕的生成模型41相关的信息保存至规定的存储区域。在本实施方式中，控制部11生成表示通过步骤S204的机器学习来构建的学习完毕的神经网络(生成模型41)的结构及运算参数的信息作为学习结果数据121。然后，控制部11将所生成的学习结果数据121保存至规定的存储区域。规定的存储区域可以是例如控制部11内的RAM、存储部12、外部存储装置、存储介质或者它们的组合。由此，当学习结果数据121的保存完成时，控制部11结束与生成模型41的机器学习相关的一系列的处理。

此外，如上所述，也可以重复交替执行利用各学习装置2进行的该识别模型40的机器学习和利用模型生成装置1进行的生成模型41的机器学习。在该重复的过程中，控制部11也可以省略步骤S205，将暂定的学习完毕的生成模型41相关的信息(学习结果)暂时保存至RAM中。或者，控制部11也可以不省略步骤S205，将暂定的学习完毕的生成模型41相关的信息作为学习结果数据121保存至规定的存储区域。

[推论处理]

接着，使用图10对与推论处理相关的各学习装置2的动作例进行说明。图10是表示与各学习装置2进行的推论处理相关的处理步骤的一例的流程图。但是，以下说明的各处理步骤仅为一例，各步骤也可以在可能的范围内进行变更。进而，对于以下说明的各处理步骤，可以根据实施方式适当地省略、替换以及追加步骤。

(步骤S301)

在步骤S301中，控制部21作为对象数据获取部216进行动作，获取作为进行规定推论的对象的对象数据223。在本实施方式中，各学习装置2经由外部接口27与传感器S连接。因此，控制部21经由外部接口27从传感器S获取对象数据223。

但是，对象数据223的获取路径并不限定于上述例子，可以根据实施方式适当地决定。例如，也可以是与各学习装置2不同的其他计算机与传感器S连接。该情况下，控制部21也可以从其他的计算机接受对象数据223的发送，从而获取对象数据223。当获取了对象数据223时，控制部21使处理进入下一步骤S302。

(步骤S302)

在步骤S302中，控制部21作为推论部217进行动作，获取作为用于推论特征的推论用学习数据而收集到的数据组225。数据组225由与所推论的特征相关的多件数据2251构成。数据组225中包含的数据2251例如可以是本地学习数据3中包含的数据、由生成模型41生成的数据等。

另外，控制部21也可以获取利用学习完毕的生成模型41生成的数据作为数据2251。通过学习完毕的生成模型41生成数据既可以由各学习装置2执行，也可以由其他的计算机执行。在由各学习装置2执行利用学习完毕的生成模型41生成数据的情况下，控制部21通过保持学习结果数据121而具备学习完毕的生成模型41。控制部21也可以经由例如网络、存储介质92等获取通过上述学习处理生成的学习结果数据121。该情况下，控制部21参照学习结果数据121来设定学习完毕的生成模型41。另外，控制部21从高斯分布等规定的概率分布提取多个噪声。然后，控制部21将提取出的噪声输入生成模型41的输入层411，从输入侧起依次进行各层411～413中包含的各神经元的点火判定。由此，控制部21从输出层413获取与噪声对应地生成的数据。通过将取得的数据作为数据2251追加至数据组225中，控制部21能够取得包含由学习完毕的生成模型41生成的数据的数据组225。或者，控制部21也可以经由网络、存储介质92等取得通过其他计算机利用学习完毕的生成模型41生成的数据。

接着，控制部21根据数据组225与对象数据223的比较来推论对象数据223所表现的特征。根据与数据组225的比较来推论对象数据223所表现的特征的方法，可以根据实施方式适当地选择。作为一例，设想如下场景：数据组225所包含的各件数据2251是表现规定的特征的数据，作为特征的推论，通过与数据组225的比较来推论对象数据223中是否出现了该规定的特征。例如，在对象数据223为拍到产品的图像数据，作为特征的推论而推论产品中是否包含缺陷的场景下，构成数据组225的各件数据2251是拍到包含缺陷或不包含缺陷的产品的图像数据且表现该规定的特征的数据的一例。该情况下，控制部21也可以在数据组225与对象数据223的比较中算出各件数据2251与对象数据223的相似度。相似度例如可以通过范数(距离)等算出。

然后，控制部21也可以根据算出的相似度，判定构成数据组225的数据2251的分布中是否包含对象数据223。例如，控制部21也可以将算出的相似度与阈值进行比较，当算出的相似度在阈值以下时，判定为构成数据组225的数据2251的分布中包含对象数据223。阈值可以适当地设定。此时，控制部21可以推断出对象数据223中也表现出了各件数据2251所表现的规定的特征。在上述例子中，当各件数据2251是拍到包含缺陷的产品的图像数据时，控制部21可以推断出对象数据223中拍到的产品包含缺陷。另一方面，当算出的相似度超过阈值时，控制部21也可以判定为构成数据组225的数据2251的分布中不包含对象数据223。此时，控制部21可以推断出对象数据223中未表现出各件数据2251所表现的规定的特征。在上述例子中，控制部21可以推断出对象数据223中拍到的产品不包含缺陷。

在针对多个特征进行推论的情况下，数据组225可以由按特征收集到的数据2251构成。该情况下，也可以对各件数据2251赋予表示各件数据2251所表现的特征的标签，并根据该标签对各件数据2251进行分类。然后，控制部21也可以按特征算出各件数据2251与对象数据223的相似度，并推断对象数据223中是否表现出该特征。例如，控制部21也可以推断出对象数据223中也表现出了与对象数据223相似度最高的数据2251所表现的特征。当通过与数据组225的比较推论出对象数据223中表现的特征时，控制部21使处理进入下一步骤S303。

(步骤S303)

在步骤S303中，控制部21作为输出部218进行动作，输出与特征的推论结果相关的信息。

输出目的地和输出的信息的内容分别可以根据实施方式适当地决定。例如，控制部21也可以将通过步骤S302推论特征的结果直接输出至输出装置25。另外，例如，控制部21也可以根据特征的推论结果执行某些信息处理。然后，控制部21也可以将该信息处理的执行结果作为与推论的结果相关的信息输出。在该信息处理的执行结果的输出中，可以包括根据推论的结果输出警告等特定的消息、根据推论的结果对控制对象装置的动作进行控制等。输出目的地例如可以是输出装置25、控制对象装置等。当与推论的结果相关的信息的输出完成时，控制部21结束与规定的推论处理相关的一系列的处理。

[学习装置的分组]

接着，使用图11对各学习装置2的分组的一例进行说明。图11示意性地例示出对各学习装置2进行分组的场景的一例。

通过模型生成装置1构建生成模型41的目的之一在于，生成与各学习装置2中收集到的本地学习数据3的分布相符的数据。例如，假定一个学习装置2收集的本地学习数据3和其他学习装置2收集的本地学习数据3由同种数据构成。该情况下，通过上述各机器学习的处理，能够适当地构建能够生成与各学习装置2的本地学习数据3的分布相符的数据的生成模型41。另一方面，例如，假定一个学习装置2收集的本地学习数据3和其他学习装置2收集的本地学习数据3由不同种类的数据构成。一个本地学习数据3由图像数据构成，其他的本地学习数据3由声音数据构成的场合为其一例。该情况下，难以构建能够生成与各学习装置2的本地学习数据3的分布相符的数据的生成模型41。

因此，在本实施方式中，控制部11作为分组部116进行动作，可以将各学习装置2分配给多个组中的至少任意一个组。各组可以适当地设定。例如，各组可以根据本地学习数据中包含的数据的种类、数据所表现的特征、数据的利用目的等适当地设定。在图11中，例示出将各学习装置2分配给组A和组B两个组的场景。控制部11将针对该各学习装置2的组的分配结果存储在分配信息124中。

在执行该分组处理的情况下，模型生成装置1按组保持生成模型41。然后，控制部11在同一组内、换言之按组执行上述步骤S201～205的处理。即，在步骤S201中，控制部11按组利用对应的生成模型41生成数据50。在步骤S202中，控制部11将按组利用对应的生成模型41生成的数据50发送至各学习装置2，从而使各识别模型40对于数据50执行识别。在步骤S203中，控制部11按组从各学习装置2接收各识别模型40识别的结果51。在步骤S204中，控制部11按组通过使用接收到的识别的结果51的机器学习训练对应的生成模型41，以使其生成使多个识别模型40中的至少任意一个识别模型40的识别性能降低这样的数据。然后，在步骤S205中，控制部11按组将与通过机器学习来构建的学习完毕的生成模型41相关的信息保存至规定的存储区域。

分组的方法可以根据实施方式适当地决定。在本实施方式中，控制部11通过以下两种方法中的任意一种方法，将各学习装置2分配给多个组中的至少任意一个组。

(A)第一分组方法

首先，使用图12对第一分组方法的一例进行说明。图12是表示与通过第一分组方法对各学习装置2分配组相关的处理步骤的一例的流程图。在第一分组方法中，控制部11通过使各学习装置2从组的列表中选择所期望的组，从而将各学习装置2分配给多个组中的至少任意一个组。

此外，在作为将各学习装置2分配至组的方法采用了第一分组方法时，将各学习装置2分配给多个组中的至少任意一个组通过以下的步骤S701～步骤S703的处理构成。但是，以下说明的处理步骤仅为一例，各处理可以在可能的范围内进行变更。另外，对于以下说明的处理步骤，可以根据实施方式适当地省略、替换以及追加步骤。

在步骤S701中，控制部11向各学习装置2分发表示多个组的组列表123。由此，控制部11使各学习装置2从组列表123所示的多个组中选择一个以上的组。组列表123中包含的各组也可以根据本地学习数据3、学习装置2、学习装置2的利用者等的属性进行设定。例如，在外观检查的例子中，也可以根据生产线编号、工厂名、企业名等的属性来设定组。另外，也可以根据来自各学习装置2的请求，在组列表123中设定新的组。各学习装置2的操作员可以参照输出至输出装置25的组列表123，并操作输入装置24，从组列表123中选择一个以上的组。另外，操作者可以操作输入装置24向组列表123中追加新的组。各学习装置2也可以选择两个以上的组。各学习装置2的控制部21根据该操作将组选择的回答返回给模型生成装置1。

在步骤S702中，控制部11从各学习装置2获取该选择的回答。然后，在步骤S703中，控制部11根据所取得的回答，将各学习装置2分配至所选择的一个以上的组。当一个以上的组的分配完成时，控制部11结束与根据第一分组方法的组的分配相关的一系列的处理。根据该第一分组方法，控制部11能够通过简单的方法对各学习装置2进行分组。

(B)第二分组方法

接着，使用图13对第二分组方法的一例进行说明。图13是表示与根据第二分组方法对各学习装置2分配组相关的处理步骤的一例的流程图。在第二分组方法中，控制部11根据本地学习数据3的属性将各学习装置2分配至适当的组。

此外，在作为将各学习装置2分配至组的方法采用了第二分组方法时，将各学习装置2分配给多个组中的至少任意一个组通过以下的步骤S801～步骤S803的处理构成。但是，以下说明的处理步骤仅为一例，各处理也可以在可能的范围内进行变更。另外，对于以下说明的处理步骤，可以根据实施方式适当地省略、替换以及追加步骤。

(步骤S801)

在步骤S801中，控制部11从各学习装置2获取与本地学习数据3相关的属性数据。获取属性数据的方法可以与上述步骤S203中从各学习装置2获取识别的结果51的方法相同。控制部11可以从各学习装置2直接或间接地获取属性数据。

属性数据也可以包含与本地学习数据3相关的所有信息，例如，也可以包含表示本地学习数据3所包含的数据的种类的信息、表示数据所表现的特征的信息、表示数据的利用目的的信息等。数据所表现的特征可以包括可从该数据推论出的所有要素。在本地学习数据3由拍到产品的图像数据构成的情况下，数据所表现的特征例如可以是产品中有无包含缺陷、产品中包含的缺陷的种类等。另外，数据的利用目的可以根据实施方式适当地决定。本地学习数据3所包含的数据例如可利用于外观检查、栽培状况的监视等规定的推论的学习。属性数据可以在各学习装置2中通过步骤S101收集本地学习数据3时生成。当获取了属性数据时，控制部11使处理进入下一步骤S802。

(步骤S802及步骤S803)

在步骤S802中，控制部11对从各学习装置2取得的属性数据进行聚类。聚类的方法并无特别限定，可以根据实施方式适当地选择。聚类可以采用k平均法(k-means聚类)等公知的方法。

在步骤S803中，控制部11根据聚类的结果将各学习装置2分配给多个组中的至少任意一个组。作为一例，控制部11将所取得的属性数据被分配给同一类别的学习装置2分配至同一组。该情况下，各组可以根据属性数据的类别进行设定。另外，控制部11也可以根据聚类的结果将各学习装置2分配至两个以上的组。

当基于聚类结果的组的分配完成时，控制部11结束与根据第二分组方法的组的分配相关的一系列处理。根据该第二分组方法，控制部11可以根据本地学习数据3的属性将各学习装置2分配至适当的组。

通过采用以上两种方法中的至少任意一个方法，控制部11能够适当地对各学习装置2进行分组。但是，分组的方法并不限定于这些例子，可以根据实施方式适当地决定。例如，控制部11也可以接受操作者经由输入装置14的分组的指定。该情况下，控制部11也可以根据操作员的指定进行各学习装置2的分组。

[特征]

如以上那样，本实施方式涉及的模型生成装置1为了通过步骤S204实施生成模型41的机器学习，在步骤S203中收集各识别模型40的识别的结果51，而不是收集本地学习数据3本身。由此，能够抑制模型生成装置1所需的通信成本。另外，由于也可以不将本地学习数据3本身使用于生成模型41的机器学习，因而在步骤S203中可以抑制模型生成装置1所需的计算成本。进而，由于可以不将本地学习数据3本身集结于模型生成装置1中，因而能够防止本地学习数据3的内容直接变得明确。因此，能够某种程度地保证本地学习数据3的隐匿性。

除此之外，在本实施方式中，在步骤S204中，生成模型41通过使用收集到的识别的结果51的机器学习而被训练为生成使多个识别模型40中的至少任意一个识别模型40的识别性能降低这样的数据。也就是说，通过该机器学习，使生成模型41被训练为生成使至少任意一个识别模型40的识别错误这样的数据。由此，能够构建可生成与各识别模型40的机器学习中使用的本地学习数据3的任意一个的分布相符的数据的生成模型41。因此，学习完毕的生成模型41可以生成与各识别模型40的机器学习中使用的本地学习数据3的逻辑和的分布相符的数据。也就是说，即使通过各学习装置2收集的本地学习数据3的分布不同，学习完毕的生成模型41也可以生成各分布中可能包含的数据。因此，根据本实施方式，能够构建可生成多种数据的生成模型41。

此外，所构建的学习完毕的生成模型41可以用于增加推论用学习数据的件数，在本实施方式中用于增加构成利用于推论的数据组225的数据2251的件数。根据通过本实施方式构建的生成模型41，可以生成各学习装置2中收集的本地学习数据3的分布中可能包含的数据。因此，可以通过生成模型41得到各学习装置2单独难以进行收集但其他学习装置2中能够得到这样的数据。因此，不仅可以增加数据组225中包含的数据2251的件数，而且可以丰富数据2251的变化，由此，可以提高步骤S302中的推论的精度。

[实施例]

为了验证上述效果，构建了实施例和比较例涉及的生成模型。但是，本发明并不限定于以下的实施例。

＜条件＞

·本地学习数据的件数：3件

·构成本地学习数据的数据：以(v，w)提供的二维的数值数据

－第一本地学习数据：从(v，w)的平均(-0.67，0.5)、标准偏差0.3的正态分布随机采样的数值

－第二本地学习数据：从(v，w)的平均(0.67，0.5)、标准偏差0.3的正态分布随机采样的数值

－第三本地学习数据：从(v，w)的平均值(0，-1)、标准偏差0.3的正态分布随机采样的数值

·构成本地学习数据的数据的件数：30000(10000样本×3本地量)

·识别模型：四层结构的神经网络，按本地学习数据准备

·生成模型：四层结构的神经网络

·识别模型和生成模型的机器学习的重复次数：5000次

生成模型具有200维的输入层、128维的全连接层、128维的全连接层以及2维的全连接层。识别模型具备2维的输入层、128维的全连接层、128维的全连接层以及1维的全连接层。

图14示出各本地学习数据S1～S3。对应于三件本地学习数据S1～S3，准备了三个识别模型。将第一识别模型训练为识别被提供的数据是源自第一本地学习数据S1还是源自生成模型。将第二识别模型训练为识别所给予的数据是源自第二本地学习数据S2还是源自生成模型。将第三识别模型训练为识别所给予的数据是源自第三本地学习数据S3还是源自生成模型。

在实施例中，如上述实施方式的处理步骤那样训练了生成模型，以使其生成使三个识别模型中的至少任意一个的识别性能降低这样的数据。在比较例中，通过均方误差计算误差，并将生成模型训练为生成使三个识别模型全部的识别性能降低这样的数据。除了该学习方法这一点以外，比较例的处理步骤设定为与实施例相同。然后，对分别通过实施例和比较例得到的各生成模型赋予从高斯分布提取出的噪声，生成了2维的数值数据。

图15A示出通过利用比较例的学习方法得到的生成模型生成的数值数据。图15B示出通过利用实施例的学习方法得到的生成模型生成的数值数据。在图15A和图15B中，方形的点表示构成本地学习数据S1～S3的数值数据，黑圆的点表示生成的数值数据。如上述条件那样，以数值数据的分布不重复的方式准备了三件本地学习数据S1～S3。由此，如图15A所示，在比较例的学习方法中，生成模型被训练为生成不属于本地学习数据S1～S3任意一个的数值数据。另一方面，如图15B所示，在实施例的学习方法中，生成模型被训练为生成可以属于各件本地学习数据S1～S3的数值数据。

由以上的验证结果可知，在将生成模型训练为生成使全部识别模型的识别性能降低这样的数据的情况下，能够通过构建的学习完毕的生成模型生成的数据非常有限。尤其可知，在本地学习数据的分布不重复这样的场合下，生成模型被构建为生成不包含在任意一个分布中这样的数据，且在构建的生成模型中，无法生成可能包含在本地学习数据的分布中的数据。也就是说，在通过比较例的学习方法构建的生成模型中，无法生成所打算的数据，无法得到有用的数据。另一方面可知，根据本实施方式的学习方法，即使在各件的本地学习数据不均匀，本地学习数据的分布不重复这样的场合下，生成模型也能够学会生成与各件的本地学习数据的逻辑和的分布相符的数据的能力。因此可知，根据本实施方式，能够构建可生成各件本地学习数据的分布中可能包含的多种数据的生成模型。也就是说，验证了根据本实施方式能够通过构建的生成模型得到有用的数据。

§4变形例

以上，详细说明了本发明的实施方式，但上述说明在所有方面均仅为本发明的例示。当然，能够在不脱离本发明的范围的情况下进行各种改良和变形。例如，能够进行如下的变更。此外，以下针对与上述实施方式相同的构成要素使用相同的附图标记，对于与上述实施方式相同的点适当地省略说明。以下的变形例能够适当地进行组合。

＜4.1＞

上述实施方式涉及的模型生成装置1应用于推论通过传感器S得到的感测数据中包含的特征的场景中。然而，上述实施方式的应用范围并不限定于上述例子。上述实施方式涉及的模型生成装置1能够应用于生成规定的数据、特别是能够在规定的推论的学习中利用的数据的所有场景中。以下，例示限定了应用场景的五个变形例。

(A)外观检查的场景

图16示意性地例示出第一变形例涉及的检查系统100A的应用场景的一例。本变形例是将上述实施方式涉及的模型生成装置1应用于生成能够用于推断生产线上生产的产品RA的状态的数据的场景中的例子。如图16所示，本变形例涉及的检查系统100A具备模型生成装置1和多个检查装置2A。与上述实施方式同样地，模型生成装置1和各检查装置2A可以经由网络相互连接。

各检查装置2A对应于上述各学习装置2。除了所处理的数据不同这一点以外，各检查装置2A可以与上述各学习装置2同样地构成。在本变形例中，各检查装置2A与相机SA连接。各检查装置2A通过利用相机SA拍摄产品RA，从而取得拍到该产品RA的图像数据。相机SA的种类并无特别限定。相机SA例如可以是构成为获取RGB图像的普通的数码相机、构成为获取深度图像的深度相机、构成为将红外线量图像化的红外线相机等。各检查装置2A根据得到的图像数据检查产品RA的状态(即，判断产品RA的好坏)。

此外，在本变形例中，作为用于推断产品RA的状态的数据，采用拍到产品的图像数据。但是，产品RA的状态推断(好坏判定)中可利用的数据并不限于图像数据。例如，也可以与图像数据一同或者取而代之在状态推断中利用通过麦克风得到的声音数据、通过编码器得到的测定数据等。

＜检查装置的硬件构成＞

图17示意性地例示出本变形例涉及的各检查装置2A的硬件构成的一例。如图17所示，本变形例涉及的各检查装置2A与上述各学习装置2同样是与控制部21、存储部22、通信接口23、输入装置24、输出装置25、驱动器26以及外部接口27电连接的计算机。各检查装置2A经由外部接口27与相机SA连接。但是，各检查装置2A的硬件构成也可以不限定于上述例子。关于各检查装置2A的具体的硬件构成，能够根据实施方式适当地省略、替换以及追加构成要素。各检查装置2A除了设计为所提供的服务专用的信息处理装置以外，也可以是通用的服务器装置、通用的PC、PLC(programmable logic controller：可编程逻辑控制器)等。

本变形例涉及的各检查装置2A的存储部22存储学习程序82A、检查程序83A、本地学习数据3A、学习结果数据221A等的各种信息。学习程序82A、检查程序83A、本地学习数据3A以及学习结果数据221A对应于上述实施方式涉及的学习程序82、推论程序83、本地学习数据3以及学习结果数据221。学习程序82A、检查程序83A以及本地学习数据3A中的至少任意一个也可以存储在存储介质92中。另外，各检查装置2A也可以从存储介质92获取学习程序82A、检查程序83A以及本地学习数据3A中的至少任意一个。

＜学习处理＞

图18A示意性地例示出与本变形例涉及的各检查装置2A的学习处理相关的软件构成的一例。与上述实施方式同样地，与各检查装置2A的学习处理相关的软件构成通过由控制部21执行学习程序82A来实现。如图18A所示，除了所处理的数据从感测数据替换为图像数据这一点以外，与各检查装置2A的学习处理相关的软件构成和与上述各学习装置2的学习处理相关的软件构成相同。由此，各检查装置2A与上述各学习装置2同样地执行与机器学习相关的一系列的处理。

即，在步骤S101中，各检查装置2A的控制部21作为学习数据收集部211A进行动作，收集识别模型40A的机器学习中使用的本地学习数据3A。在本变形例中，识别模型40A与上述实施方式涉及的识别模型40同样由神经网络构成。本地学习数据3A由拍到产品的产品图像数据31构成。产品图像数据31对应于数据2251。

本地学习数据3A的生成方法与上述实施方式同样可以根据实施方式适当地选择。在本变形例中，本地学习数据3A能够用于推断通过相机SA得到的图像数据中拍到的产品RA的状态。因此，构成本地学习数据3A的产品图像数据31例如可以通过利用相机在各种条件下拍摄包含或不包含斑点、污渍、伤痕等缺陷的产品RA而得到。由此，可以生成本地学习数据3A。

在步骤S102中，控制部21作为学习处理部212进行动作，获取由生成模型41生成的数据。在本变形例中，生成模型41构成为生成拍到产品的图像数据。模型生成装置1的控制部11从规定的概率分布提取噪声，将提取出的噪声输入生成模型41，执行生成模型41的运算处理。由此，控制部11作为来自生成模型的输出而取得图像数据。控制部21获取由生成模型41如此生成的图像数据。

在步骤S103中，控制部21作为学习处理部212进行动作，通过使用本地学习数据3A的机器学习来构建学习完毕的识别模型40A，该学习完毕的识别模型40A获得了识别所提供的图像数据是否为本地学习数据3A中包含的产品图像数据31的能力。在本变形例中，控制部21使用本地学习数据3A和由生成模型41生成的图像数据训练识别模型40A，以使其识别所提供的图像数据是源自本地学习数据3A还是源自生成模型41。在步骤S104中，控制部21作为保存处理部213进行动作，生成表示通过步骤S103的机器学习来构建的学习完毕的识别模型40A的结构和运算参数的信息作为学习结果数据221A。然后，控制部21将生成的学习结果数据221A保存至规定的存储区域。

＜检查处理＞

图18B示意性地例示出与本变形例涉及的各检查装置2A的检查处理相关的软件构成的一例。与上述实施方式同样地，与各检查装置2A的检查处理相关的软件构成通过由控制部21执行检查程序83A来实现。如图18B所示，除了所处理的数据从感测数据替换为图像数据这一点之外，与各检查装置2A的检查处理相关的软件构成和与上述各学习装置2的推论处理相关的软件构成相同。由此，各检查装置2A与上述各学习装置2同样地执行与检查处理相关的一系列处理。

即，在步骤S301中，各检查装置2A的控制部21作为对象数据获取部216进行动作，从相机SA获取拍到作为外观检查的对象的产品RA的对象图像数据223A。

在步骤S302中，控制部21作为检查部217A进行动作，获取作为用于判定产品RA的状态的推论用学习数据收集到的数据组225A。在本变形例中，数据组225A由多件产品图像数据2251A构成。各件产品图像数据2251A可以是拍到包含或不包含缺陷的产品的图像数据。数据组225A既可以由包含缺陷的产品的图像数据组和不包含缺陷的产品的图像数据组中的任意一个构成，也可以由两者构成。另外，与上述实施方式同样地，数据组225A中包含的各件产品图像数据2251A例如可以是本地学习数据3A中包含的产品图像数据31、通过本变形例中的生成模型41生成的图像数据等。控制部21也可以获取利用学习完毕的生成模型41生成的数据作为产品图像数据2251A。利用学习完毕的生成模型41生成数据既可以由各检查装置2A执行，也可以由其他的计算机执行。由此，控制部21也可以获取包含利用学习完毕的生成模型41生成的数据的数据组225A。

接着，控制部21根据数据组225A与对象图像数据223A的比较，判定对象图像数据223A中拍到的产品RA的状态(好坏)。控制部21通过与上述实施方式相同的方法，对构成数据组225A的产品图像数据2251A与对象图像数据223A进行比较，从而能够推断对象图像数据223A中拍到的产品RA的状态，即，能够判定产品RA中是否包含缺陷。

此外，在数据组225A中包含的产品图像数据2251A的件数不足的情况下，控制部21也可以将产品图像数据2251A适当地指定为本地学习数据3A，并请求模型生成装置1构建关于所指定的本地学习数据3A的生成模型41。然后，控制部21可以利用由此构建的学习完毕的生成模型41生成拍到产品RA的新的图像数据，并将生成的新的图像数据作为产品图像数据2251A添加至数据组225A。由此，控制部21也可以增加数据组225A中包含的产品图像数据2251A的件数。

在步骤S303中，控制部21作为输出部218进行动作，输出与产品RA的状态的推断结果相关的信息。与上述实施方式同样，输出目的地和输出信息分别可以根据实施方式适当地决定。例如，控制部21也可以将产品RA的状态的判定结果直接输出至输出装置25。另外，例如，在产品RA中包含缺陷的情况下，控制部21也可以将用于通知该情况的警告输出至输出装置25。另外，例如，在各检查装置2A与输送产品RA的输送机装置(未图示)连接的情况下，也可以根据产品RA的状态的判定结果控制输送机装置，以便在不同的生产线输送没有缺陷的产品RA和有缺陷的产品RA。

＜模型生成＞

在本变形例中，模型生成装置1利用如上述那样构建的各识别模型40A，与上述实施方式同样地执行上述步骤S201～S205的处理。

即，在步骤S201中，模型生成装置1的控制部11使用生成模型41生成图像数据。在步骤S202中，控制部11将生成的图像数据发送至各识别模型40A，使各识别模型40A对生成的图像数据执行识别。在步骤S203中，控制部11接收各识别模型40A对被发送的图像数据的识别结果。在本变形例中，控制部11通过将图像数据发送至各检查装置2A，使各识别模型40A对图像数据执行识别。然后，控制部11从各检查装置2A获取各识别模型40A识别的结果。

在步骤S204中，控制部11通过利用接收到的识别的结果的机器学习训练生成模型41，以使其生成使多个识别模型40A中的至少任意一个识别模型40A的识别性能降低这样的图像数据。在步骤S205中，控制部11生成表示通过步骤S204的机器学习来构建的学习完毕的生成模型41的结构和运算参数的信息作为学习结果数据121。然后，控制部11将所生成的学习结果数据121保存至规定的存储区域。

根据本变形例，在检查生产线中生产的产品RA的状态的场景下，能够构建可利用于该检查且能够生成多种图像数据的生成模型41。通过利用该生成模型41，能够增加构成检查中利用的数据组225A的产品图像数据2251A的件数。在本变形例中，通过该生成模型41，可以生成各检查装置2A单独难以收集但其他检查装置2A中能够得到的产品图像数据。由此，不仅能够增加数据组225A中包含的产品图像数据2251A的件数，还能够丰富产品图像数据2251A的变化。也就是说，假定在其他现场中发生了某一现场没有经验的缺陷。该情况下，只要将其他现场中得到的本地学习数据3A反映至生成模型41的机器学习中，便能够通过该生成模型41生成拍到包含该缺陷的产品RA的图像数据。因此，通过将该图像数据追加至数据组225A中，能够丰富产品图像数据2251A的变化。因此，根据本变形例，能够提高步骤S302中的检查的精度。例如，能够发现该现场中尚未出现过的缺陷。

(B)监视栽培状况的场景

图19示意性地例示出第二变形例涉及的监视系统100B的应用场景的一例。本变形例是将上述实施方式涉及的模型生成装置1应用于生成能够利用于推断植物GB的栽培状况的数据的场景中的例子。如图19所示，本变形例涉及的监视系统100B具备模型生成装置1和多个监视装置2B。与上述实施方式同样，模型生成装置1和各监视装置2B可以经由网络相互连接。

各监视装置2B对应于上述各学习装置2。除了所处理的数据不同这一点以外，各监视装置2B可以与上述各学习装置2同样地构成。在本变形例中，各监视装置2B与传感器SB连接，被构成为能够监视植物GB的栽培状况。另外，在本变形例中，各监视装置2B与栽培装置RB连接，被构成为能够根据植物GB的栽培状况来控制栽培装置RB的动作。

栽培装置RB被构成为控制植物GB的生长环境，从而栽培植物GB。栽培装置RB只要能够控制植物GB的生长环境，其种类便无特别限定，可以根据实施方式适当地选择。生长环境与植物GB生长的状况相关，例如是对植物GB照射光的时间、植物GB周围的温度、向植物GB提供的水的量等。栽培装置RB例如可以是窗帘装置、照明装置、空调设备、洒水装置等。窗帘装置构成为将安装于建筑物的窗上的窗帘打开或关闭。照明装置例如是LED(lightemitting diode：发光二极管)照明、荧光灯等。空调设备例如是空气调节器等。洒水装置例如是洒水器等。窗帘装置和照明装置用于控制向植物GB照射光的时间。空调设备用于控制植物GB周围的温度。洒水装置用于控制向植物GB提供的水的量。

各监视装置2B通过利用传感器SB感测植物GB的栽培状况，从而从传感器SB获取感测数据作为与植物GB的栽培状况相关的状况数据。栽培状况与栽培植物GB的所有要素相关，例如可以根据截止栽培时点为止的生长环境、生长状态等确定。生长状态例如可以根据植物GB的生长度等规定。传感器SB只要能够感测植物GB的栽培状况，其种类便可以无特别限定，可以根据实施方式适当地选择。传感器SB例如可以是光度计、温度计、湿度计、相机等。相机例如可以是普通相机、深度相机、红外线相机等。各监视装置2B根据所得到的状况数据推断植物GB的栽培状况，控制栽培装置RB的动作以实现适于推断出的栽培状况的生长环境。但是，各监视装置2B的构成并不限定于上述例子。各监视装置2B也可以不与栽培装置RB连接，且不构成为能够控制栽培装置RB的动作。

＜监视装置的硬件构成＞

图20示意性地例示出本变形例涉及的各监视装置2B的硬件构成的一例。如图20所示，本变形例涉及的各监视装置2B与上述各学习装置2同样是与控制部21、存储部22、通信接口23、输入装置24、输出装置25、驱动器26以及外部接口27电连接的计算机。各监视装置2B经由外部接口27与栽培装置RB及传感器SB连接。然而，各监视装置2B的硬件构成并不限定于上述例子。关于监视装置2B的具体的硬件构成，可以根据实施方式适当地省略、替换以及追加构成要素。各监视装置2B除了设计为所提供的服务专用的信息处理装置以外，也可以是通用的服务器装置、通用的PC、PLC等。

本变形例涉及的各监视装置2B的存储部22存储学习程序82B、监视程序83B、本地学习数据3B、学习结果数据221B等的各种信息。学习程序82B、监视程序83B、本地学习数据3B以及学习结果数据221B对应于上述实施方式涉及的学习程序82、推论程序83、本地学习数据3以及学习结果数据221。学习程序82B、监视程序83B以及本地学习数据3B中的至少任意一个也可以存储在存储介质92中。另外，各监视装置2B也可以从存储介质92获取学习程序82B、监视程序83B以及本地学习数据3B中的至少任意一个。

＜学习处理＞

图21示意性地例示出与本变形例涉及的各监视装置2B的学习处理相关的软件构成的一例。与上述实施方式同样，与各监视装置2B的学习处理相关的软件构成通过由控制部21执行学习程序82B来实现。如图21A所示，除了所处理的数据从感测数据替换为与植物GB的栽培状况相关的状况数据之外，与各监视装置2B的学习处理相关的软件构成和与上述各学习装置2的学习处理相关的软件构成相同。由此，各监视装置2B与上述各学习装置2同样地执行与机器学习相关的一系列处理。

即，在步骤S101中，各监视装置2B的控制部21作为推论用学习数据收集部211B进行动作，收集识别模型40B的机器学习中使用的本地学习数据3B。在本变形例中，识别模型40B与上述实施方式涉及的识别模型40同样由神经网络构成。另外，本地学习数据3B由与植物GB的栽培状况相关的状况数据32构成。状况数据32对应于数据2251。

本地学习数据3B的生成方法与上述实施方式同样可以根据实施方式适当地选择。在本变形例中，本地学习数据3B能够用于推断植物GB的栽培状况。因此，构成本地学习数据3B的状况数据32可以通过利用传感器在各种条件下感测植物GB的栽培状况而得到。由此，可以生成本地学习数据3B。

在步骤S102中，控制部21作为学习处理部212进行动作，获取由生成模型41生成的数据。在本变形例中，生成模型41构成为生成与植物GB的栽培状况相关的疑似性的状况数据(以下，也记载为“疑似状况数据”)。模型生成装置1的控制部11从规定的概率分布提取噪声，将提取出的噪声输入生成模型41，执行生成模型41的运算处理。由此，控制部11作为从生成模型的输出而取得疑似状况数据。控制部21获取由生成模型41如此生成的疑似状况数据。

在步骤S103中，控制部21作为学习处理部212进行动作，通过使用本地学习数据3B的机器学习来构建学习完毕的识别模型40B，该学习完毕的识别模型40B获得了识别被提供的数据是否为本地学习数据3B中包含的状况数据32的能力。在本变形例中，控制部21使用本地学习数据3B和由生成模型41生成的疑似状况数据训练识别模型40B，以使其识别被提供的数据是源自本地学习数据3B还是源自生成模型41。在步骤S104中，控制部21作为保存处理部213进行动作，生成表示通过步骤S103的机器学习来构建的学习完毕的识别模型40B的结构和运算参数的信息作为学习结果数据221B。然后，控制部21将生成的学习结果数据221B保存至规定的存储区域。

＜监视处理＞

图21B示意性地例示出与本变形例涉及的各监视装置2B的监视处理相关的软件构成的一例。与上述实施方式同样地，与各监视装置2B的监视处理相关的软件构成通过由控制部21执行监视程序83B来实现。如图21B所示，除了所处理的数据从感测数据替换为状况数据这一点之外，与各监视装置2B的监视处理相关的软件构成和与上述各学习装置2的推论处理相关的软件构成相同。由此，各监视装置2B与上述各学习装置2同样地执行与监视处理相关的一系列处理。

即，在步骤S301中，各监视装置2B的控制部21作为对象数据获取部216进行动作，从传感器SB获取与作为监视栽培状况的对象的植物GB的栽培状况相关的对象状况数据223B。

在步骤S302中，控制部21作为监视部217B进行动作，获取作为用于推断栽培状况的推论用学习数据收集到的数据组225B。在本变形例中，数据组225B由多件状况数据2251B构成。各件状况数据2251B可以是与植物GB的特定的栽培状况相关的数据。另外，与上述实施方式同样地，数据组225B中包含的各件状况数据2251B例如可以是本地学习数据3B中包含的状况数据32、通过本变形例中的生成模型41生成的状况数据等。控制部21也可以获取利用学习完毕的生成模型41生成的数据作为状况数据2251B。利用学习完毕的生成模型41生成数据既可以由各监视装置2B执行，也可以由其他的计算机执行。由此，控制部21也可以获取包含利用学习完毕的生成模型41生成的数据的数据组225B。

接着，控制部21根据数据组225B与对象状况数据223B的比较，根据对象状况数据223B推断植物GB的栽培状况。控制部21利用与上述实施方式相同的方法，对构成数据组225B的状况数据2251B与对象状况数据223B进行比较，从而根据对象状况数据223B推断植物GB的栽培状况。

此外，在数据组225B中包含的状况数据2251B的件数不足的情况下，控制部21也可以将状况数据2251B适当地指定为本地学习数据3B，并请求模型生成装置1构建关于所指定的本地学习数据3B的生成模型41。然后，控制部21可以利用由此构建的学习完毕的生成模型41生成可能与植物GB的栽培状况相关的新的状况数据，并将生成的新的状况数据作为状况数据2251B添加至数据组225B。由此，控制部21也可以增加数据组225B中包含的状况数据2251B的件数。

在步骤S303中，控制部21作为输出部218进行动作，输出与植物GB的栽培状况的推断结果相关的信息。与上述实施方式同样，输出目的地和输出信息分别可以根据实施方式适当地决定。例如，控制部21也可以将植物GB的栽培状况的推断结果直接输出至输出装置25。另外，例如，控制部21也可以根据推断出的栽培状况来决定施加给栽培装置RB的控制指令。栽培状况与控制指令的对应关系也可以通过表格形式等的参照信息给出。该参照信息可以保存在存储部22、存储介质92、外部存储装置等中，控制部21也可以通过参照该参照信息来根据推断出的栽培状况决定控制指令。然后，控制部21可以通过将所决定的控制指令提供给栽培装置RB来控制栽培装置RB的动作。另外，例如，控制部21也可以将表示所决定的控制指令的信息输出至输出装置25，督促植物GB的管理者控制栽培装置RB的动作。

＜模型生成＞

在本变形例中，模型生成装置1利用如上述那样构建的各识别模型40B，与上述实施方式同样地执行上述步骤S201～S205的处理。

即，在步骤S201中，模型生成装置1的控制部11使用生成模型41生成疑似状况数据。在步骤S202中，控制部11将生成的疑似状况数据发送至各识别模型40B，使各识别模型40B对生成的疑似状况数据执行识别。在步骤S203中，控制部11接收各识别模型40B对被发送的疑似状况数据识别的结果。在本变形例中，控制部11通过将疑似状况数据发送至各监视装置2B，从而使各识别模型40B对疑似状况数据执行识别。然后，控制部11从各监视装置2B获取各识别模型40B识别的结果。

在步骤S204中，控制部11通过利用接收到的识别的结果的机器学习训练生成模型41，以使其生成使多个识别模型40B中的至少任意一个识别模型40B的识别性能降低这样的状况数据。在步骤S205中，控制部11生成表示通过步骤S204的机器学习来构建的学习完毕的生成模型41的结构和运算参数的信息作为学习结果数据121。然后，控制部11将所生成的学习结果数据121保存至规定的存储区域。

根据本变形例，在监视植物GB的栽培状况的场景下，能够构建可利用于该监视且能够生成多种状况数据的生成模型41。通过利用该生成模型41，能够增加构成监视中利用的数据组225B的状况数据2251B的件数。在本变形例中，通过该生成模型41，可以生成各监视装置2B单独难以收集但其他监视装置2B中能够得到的状况数据。由此，不仅能够增加数据组225B中包含的状况数据2251B的件数，而且能够丰富状况数据2251B的变化。

例如，假定存在在气候温暖的地域监视植物GB的栽培状况的监视装置2B、和在气候寒冷的地域监视植物GB的栽培状况的其他监视装置2B。该场景下，假设在气候温暖的地域的监视装置2B中，几乎不存在气候寒冷的地域容易发生的栽培状况的经验。因此，监视装置2B单独难以获得与上述经验相关的状况数据，因此，当因为异常气象等而在气候温暖的地域变为气候寒冷的地域中会发生的栽培状况时，监视装置2B有可能无法适当地推断该栽培状况。相对于此，根据本变形例，只要在其他监视装置2B中存在该栽培状况的经验，并将由此得到的本地学习数据3B反映至生成模型41的机器学习中，便可以通过该生成模型41生成与该栽培状况相关的状况数据。因此，通过将该状况数据追加至数据组225B中，能够丰富状况数据2251B的变化。因此，根据本变形例，能够提高步骤S302中的栽培状况的推断精度。例如，可以推断该现场中尚无经验的栽培状况。由此，在根据推断出的栽培状况控制栽培装置RB的动作的情况下，能够提高控制栽培装置RB的动作的精度以使其适于栽培状况。

(C)驾驶员监控的场景

图22示意性地例示出第三变形例涉及的监视系统100C的应用场景的一例。本变形例是将上述实施方式涉及的模型生成装置1应用于生成能够利用于推断驾驶车辆的驾驶员RC的状态的数据的场景中的例子。如图22所示，本变形例涉及的监视系统100C具备模型生成装置1和多个监视装置2C。与上述实施方式同样，模型生成装置1和各监视装置2C可以经由网络相互连接。

各监视装置2C对应于上述各学习装置2。除了所处理的数据不同这一点以外，各监视装置2C可以与上述各学习装置2同样地构成。各监视装置2C根据通过观测驾驶员RC而得到的数据，推断该驾驶员RC的状态。推断中利用的数据只要是与驾驶员RC的状态相关的数据便无特别限定，可以根据实施方式适当地选择。推断中利用的数据例如可以是驾驶员RC的生命数据、拍到驾驶员RC的图像数据等。在本变形例中，各监视装置2C与配置为能够拍摄驾驶员RC的相机SC连接。相机SC例如可以是普通的相机、深度相机、红外线相机等。各监视装置2C根据从相机SC得到的图像数据推断驾驶员RC的状态。作为推断对象的驾驶员RC的状态可以根据实施方式适当地决定。作为推断对象的驾驶员RC的状态可以根据实施方式适当地决定，例如，也可以包含表示驾驶员RC的困倦程度的困倦度、表示驾驶员RC的疲劳程度的疲劳度、表示驾驶员RC相对于驾驶的富余程度的富余度、或者它们的组合。

＜监视装置的硬件构成＞

图23示意性地例示出本变形例涉及的各监视装置2C的硬件构成的一例。如图23所示，本变形例涉及的各监视装置2C与上述各学习装置2同样是与控制部21、存储部22、通信接口23、输入装置24、输出装置25、驱动器26以及外部接口27电连接的计算机。各监视装置2C经由外部接口27与相机SC连接。然而，各监视装置2C的硬件构成并不限定于上述例子。关于各监视装置2C的具体的硬件构成，可以根据实施方式适当地省略、替换以及追加构成要素。各监视装置2C除了被设计为所提供的服务专用的信息处理装置以外，也可以是通用的计算机、包括智能手机的便携电话、车载装置等。

本变形例涉及的各监视装置2C的存储部22存储学习程序82C、监视程序83C、本地学习数据3C、学习结果数据221C等的各种信息。学习程序82C、监视程序83C、本地学习数据3C以及学习结果数据221C对应于上述实施方式涉及的学习程序82、推论程序83、本地学习数据3以及学习结果数据221。学习程序82C、监视程序83C以及本地学习数据3C中的至少任意一个也可以存储在存储介质92中。另外，各监视装置2C也可以从存储介质92获取学习程序82C、监视程序83C以及本地学习数据3C中的至少任意一个。

＜学习处理＞

图24A示意性地例示出与本变形例涉及的各监视装置2C的学习处理相关的软件构成的一例。与上述实施方式同样，与各监视装置2C的学习处理相关的软件构成通过由控制部21执行学习程序82C来实现。如图24A所示，除了所处理的数据从感测数据替换为拍到驾驶员RC的图像数据这一点以外，与各监视装置2C的学习处理相关的软件构成和与上述各学习装置2的学习处理相关的软件构成相同。由此，各监视装置2C与上述各学习装置2同样地执行与机器学习相关的一系列处理。

即，步骤S101中，各监视装置2C的控制部21作为学习数据收集部211C进行动作，收集识别模型40C的机器学习中使用的本地学习数据3C。在本变形例中，识别模型40C与上述实施方式涉及的识别模型40同样由神经网络构成。另外，本地学习数据3C由拍到驾驶员的图像数据33构成。图像数据33对应于数据2251。

本地学习数据3C的生成方法与上述实施方式同样可以根据实施方式适当地选择。在本变形例中，本地学习数据3C能够用于推断驾驶员RC的状态。因此，构成本地学习数据3C的图像数据33也可以通过利用相机在各种状况下拍摄驾驶车辆的受试者(驾驶员)而得到。由此，可以生成本地学习数据3C。

在步骤S102中，控制部21作为学习处理部212进行动作，获取由生成模型41生成的数据。在本变形例中，生成模型41构成为生成拍到驾驶员的图像数据。模型生成装置1的控制部11从规定的概率分布提取噪声，将提取出的噪声输入生成模型41，执行生成模型41的运算处理。由此，控制部11作为来自生成模型的输出而取得图像数据。控制部21获取由生成模型41如此生成的图像数据。

在步骤S103中，控制部21作为学习处理部212进行动作，通过使用本地学习数据3C的机器学习来构建学习完毕的识别模型40C，该学习完毕的识别模型40C获得了识别被提供的数据是否为本地学习数据3C中包含的图像数据33的能力。在本变形例中，控制部21使用本地学习数据3C和由生成模型41生成的图像数据训练识别模型40C，以使其识别所提供的图像数据是源自本地学习数据3C还是源自生成模型41。在步骤S104中，控制部21作为保存处理部213进行动作，生成表示通过步骤S103的机器学习来构建的学习完毕的识别模型40C的结构及运算参数的信息作为学习结果数据221C。然后，控制部21将生成的学习结果数据221C保存至规定的存储区域。

＜监视处理＞

图24B示意性地例示出与本变形例涉及的各监视装置2C的监视处理相关的软件构成的一例。与上述实施方式同样地，与各监视装置2C的监视处理相关的软件构成通过由控制部21执行监视程序83C来实现。如图24B所示，除了所处理的数据从感测数据替换为图像数据这一点之外，与各监视装置2C的监视处理相关的软件构成和与上述各学习装置2的推论处理相关的软件构成相同。由此，各监视装置2C与上述各学习装置2同样地执行与监视处理相关的一系列处理。

即，在步骤S301中，各监视装置2C的控制部21作为对象数据获取部216进行动作，从相机SC获取拍到驾驶员RC的对象图像数据223C。

在步骤S302中，控制部21作为监视部217C进行动作，获取作为用于推断驾驶员的状态的推论用学习数据收集到的数据组225C。在本变形例中，数据组225C由多件图像数据2251C构成。各件图像数据2251C可以是与驾驶员的特定状态相关的数据。另外，与上述实施方式同样地，数据组225C中包含的各件图像数据2251C例如可以是本地学习数据3C中包含的图像数据33、通过本变形例中的生成模型41生成的图像数据等。控制部21也可以获取利用学习完毕的生成模型41生成的数据作为图像数据2251C。利用学习完毕的生成模型41生成数据既可以由各监视装置2C执行，也可以由其他计算机执行。由此，控制部21也可以获取包含利用学习完毕的生成模型41生成的数据的数据组225C。

接着，控制部21根据数据组225C与对象图像数据223C的比较，推断对象图像数据223C中拍到的驾驶员RC的状态。控制部21提供与上述实施方式相同的方法，对构成数据组225C的图像数据2251C与对象图像数据223C进行比较，从而推断对象图像数据223C中拍到的驾驶员RC的状态。

此外，在数据组225C中包含的图像数据2251C的件数不足的情况下，控制部21也可以将图像数据2251C适当地指定为本地学习数据3C，并请求模型生成装置1构建关于所指定的本地学习数据3C的生成模型41。然后，控制部21可以利用由此构建的学习完毕的生成模型41生成拍到驾驶员的新的图像数据，并将生成的新的图像数据作为图像数据2251C添加至数据组225C中。由此，控制部21也可以增加数据组225C中包含的图像数据2251C的件数。

在步骤S303中，控制部21作为输出部218进行动作，输出与驾驶员D的状态的推断结果相关的信息。与上述实施方式同样，输出目的地和输出信息分别可以根据实施方式适当地决定。例如，控制部21也可以将驾驶员RC的状态的推断结果直接输出至输出装置25。

另外，例如，控制部21也可以根据驾驶员RC的状态向输出装置25输出警告等特定的消息。作为一例，在作为驾驶员RC的状态而推断困倦度和疲劳度中的至少一方的情况下，控制部21也可以判定困倦度和疲劳度中的至少一方是否超过阈值。阈值可以适当地设定。而且，当困倦度和疲劳度中的至少一方超过阈值时，控制部21也可以向输出装置25输出督促驾驶员RC在停车场等停车进行休息的警告。

另外，例如在车辆构成为能够进行自动驾驶动作的情况下，控制部21也可以根据驾驶员RC的状态的推断结果控制车辆的自动驾驶的动作。作为一例，假设车辆构成为能够切换通过系统来控制车辆的行驶的自动驾驶模式和通过驾驶员RC的操纵来控制车辆的行驶的手动驾驶模式。

在该场合下，当车辆以自动驾驶模式行驶，并从驾驶员RC或系统接受到从自动驾驶模式切换为手动驾驶模式时，控制部21也可以判定驾驶员RC的推断出的富余度是否超过阈值。然后，当驾驶员RC的富余度超过阈值时，控制部21也可以允许从自动驾驶模式切换为手动驾驶模式。另一方面，当驾驶员RC的富余度在阈值以下时，控制部21也可以不允许从自动驾驶模式切换为手动驾驶模式而维持以自动驾驶模式行驶。

另外，当车辆以手动驾驶模式行驶时，控制部21也可以判定困倦度和疲劳度中的至少一方是否超过阈值。而且，当困倦度和疲劳度中的至少一方超过阈值时，控制部21也可以从手动驾驶模式切换为自动驾驶模式，并向车辆的系统发送指示在停车场等安全场所停车的指令。另一方面，当困倦度和疲劳度中的至少一方未超过阈值时，控制部21也可以使车辆维持手动驾驶模式行驶。

另外，当车辆以手动驾驶模式行驶时，控制部21也可以判定富余度是否为阈值以下。而且，当富余度为阈值以下时，控制部21也可以向车辆的系统发送减速的指令。另一方面，当富余度超过阈值时，控制部21也可以使车辆维持在驾驶员RC的操作下行驶。

＜模型生成＞

在本变形例中，模型生成装置1利用如上述那样构建的各识别模型40C，与上述实施方式同样地执行上述步骤S201～S205的处理。

即，在步骤S201中，模型生成装置1的控制部11使用生成模型41生成图像数据。在步骤S202中，控制部11将生成的图像数据发送至各识别模型40C，使各识别模型40C对生成的图像数据执行识别。在步骤S203中，控制部11接收各识别模型40C对被发送的图像数据的识别结果。在本变形例中，控制部11通过将图像数据发送至各监视装置2C，使各识别模型40C对图像数据执行识别。然后，控制部11从各监视装置2C获取各识别模型40C的识别结果。

在步骤S204中，控制部11通过利用接收到的识别的结果的机器学习训练生成模型41，以使其生成使多个识别模型40C中的至少任意一个识别模型40C的识别性能降低这样的图像数据。在步骤S205中，控制部11生成表示通过步骤S204的机器学习来构建的学习完毕的生成模型41的结构和运算参数的信息作为学习结果数据121。然后，控制部11将所生成的学习结果数据121保存至规定的存储区域。

根据本变形例，在监视驾驶员RC的状态的场景下，能够构建可利用于该监视且能够生成多种图像数据的生成模型41。通过利用该生成模型41，能够增加构成监视中利用的数据组225C的图像数据2251C的件数。在本变形例中，通过该生成模型41，可以生成各监视装置2C单独难以收集但其他监视装置2C中能够得到的表现出特定的驾驶员RC的属性和驾驶环境的图像数据。由此，不仅能够增加数据组225C中包含的图像数据2251C的件数，而且能够丰富图像数据2251C的变化。因此，根据本变形例，能够提高步骤S303中的驾驶员RC的状态的推断精度。

(D)发电量预测的场景

图25示意性地例示出第四变形例涉及的预测系统100D的应用场景的一例。本变形例是将上述实施方式涉及的模型生成装置1应用于生成可用于预测发电设备RD中的发电量的数据的场景中的例子。如图25所示，本变形例涉及的预测系统100D具备模型生成装置1和多个预测装置2D。与上述实施方式同样，模型生成装置1和各预测装置2D可以经由网络相互连接。

各预测装置2D对应于上述各学习装置2。除了所处理的数据不同这一点以外，各预测装置2D可以与上述各学习装置2同样地构成。各预测装置2D根据与发电设备RD的发电相关的数据预测该发电设备RD中的发电量。发电设备RD的种类并无特别限定，例如可以是太阳光的发电设备。用于预测发电量的数据只要是与发电设备RD的发电相关联的数据便无特别限定，可以根据实施方式适当地选择。在本变形例中，发电设备RD是太阳光的发电设备，各预测装置2D根据气象数据预测发电设备RD的发电量。

＜预测装置的硬件构成＞

图26示意性地例示出本变形例涉及的各预测装置2D的硬件构成的一例。如图26所示，本变形例涉及的各预测装置2D与上述各学习装置2同样是与控制部21、存储部22、通信接口23、输入装置24、输出装置25、驱动器26以及外部接口27电连接的计算机。然而，各预测装置2D的硬件构成也可以不限定于上述例子。关于各预测装置2D的具体的硬件构成，可以根据实施方式适当地省略、替换以及追加构成要素。各预测装置2D除了被设计为所提供的服务专用的信息处理装置以外，也可以是通用的服务器装置、通用的PC等。

本变形例涉及的各预测装置2D的存储部22存储学习程序82D、预测程序83D、本地学习数据3D、学习结果数据221D等的各种信息。学习程序82D、预测程序83D、本地学习数据3D以及学习结果数据221D对应于上述实施方式涉及的学习程序82、推论程序83、本地学习数据3以及学习结果数据221。学习程序82D、预测程序83D以及本地学习数据3D中的至少任意一个也可以存储在存储介质92中。另外，各预测装置2D也可以从存储介质92获取学习程序82D、预测程序83D以及本地学习数据3D中的至少任意一个。

＜学习处理＞

图27A示意性地例示出与本变形例涉及的各预测装置2D的学习处理相关的软件构成的一例。与上述实施方式同样，与各预测装置2D的学习处理相关的软件构成通过由控制部21执行学习程序82D来实现。如图27A所示，除了所处理的数据从感测数据替换为气象数据这一点之外，与各预测装置2D的学习处理相关的软件构成和与上述各学习装置2的学习处理相关的软件构成相同。由此，各预测装置2D与上述各学习装置2同样地执行与机器学习相关的一系列处理。

即，在步骤S101中，各预测装置2D的控制部21作为学习数据收集部211D进行动作，收集识别模型40D的机器学习中使用的本地学习数据3D。在本变形例中，识别模型40D与上述实施方式涉及的识别模型40同样由神经网络构成。另外，本地学习数据3D由气象数据34构成。气象数据34对应于数据2251。气象数据34例如可以包含表示天气、气温、降水量、湿度、风量等的数据。

本地学习数据3D的生成方法与上述实施方式同样可以根据实施方式适当地选择。在本变形例中，本地学习数据3D可用于预测发电量。因此，构成本地学习数据3D的气象数据34可以与发电设备RD的发电量一同在各种气象条件下得到。发电量例如可以通过发电设备RD的传感器、操作员的输入等进行提供。由此，可以生成本地学习数据3D。

在步骤S102中，控制部21作为学习处理部212进行动作，获取由生成模型41生成的数据。在本变形例中，生成模型41构成为生成疑似性的气象数据(以下，也记载为“疑似气象数据”)。模型生成装置1的控制部11从规定的概率分布提取噪声，将提取出的噪声输入生成模型41，执行生成模型41的运算处理。由此，控制部11作为从生成模型的输出而取得疑似气象数据。控制部21获取由生成模型41如此生成的疑似气象数据。

在步骤S103中，控制部21作为学习处理部212进行动作，通过使用本地学习数据3D的机器学习来构建学习完毕的识别模型40D，该学习完毕的识别模型40D获得了识别所提供的气象数据是否为本地学习数据3D中包含的气象数据34的能力。在本变形例中，控制部21使用本地学习数据3D和由生成模型41生成的疑似气象数据训练识别模型40D，以使其识别所提供的气象数据是源自本地学习数据3D还是源自生成模型41。在步骤S104中，控制部21作为保存处理部213进行动作，生成表示通过步骤S103的机器学习来构建的学习完毕的识别模型40D的结构及运算参数的信息作为学习结果数据221D。然后，控制部21将生成的学习结果数据221D保存至规定的存储区域中。

＜预测处理＞

图27B示意性地例示出与本变形例涉及的各预测装置2D的预测处理相关的软件构成的一例。与上述实施方式同样，与各预测装置2D的预测处理相关的软件构成通过由控制部21执行预测程序83D来实现。如图27B所示，除了所处理的数据从感测数据替换为气象数据之外，与各预测装置2D的预测处理相关的软件构成和与上述各学习装置2的推论处理相关的软件构成相同。由此，各预测装置2D与上述各学习装置2同样地执行与预测处理相关的一系列处理。

即，在步骤S301中，各预测装置2D的控制部21作为对象数据获取部216进行动作，获取与作为发电量的预测对象的发电设备RD中的气象条件相关的对象气象数据223D。对象气象数据223D的获取目的地并无特别限定，可以根据实施方式适当地选择。例如，控制部21也可以从公知的气象数据服务器获取对象气象数据223D。另外，例如在各预测装置2D与观测发电设备RD周边的气象条件的传感器连接的情况下，控制部221也可以从该传感器获取对象气象数据223D。

在步骤S302中，控制部21作为预测部217D进行动作，获取作为用于预测发电量的推论用学习数据而收集到的数据组225D。在本变形例中，数据组225D由多件气象数据2251D构成。各件气象数据2251D可以根据特定的发电量而被获取。数据组225D中包含的各件气象数据2251D例如可以是本地学习数据3D中包含的气象数据34、通过本变形例中的生成模型41生成的气象数据等。控制部21也可以获取利用学习完毕的生成模型41生成的数据作为气象数据2251D。利用学习完毕的生成模型41生成数据既可以由各预测装置3D执行，也可以由其他计算机执行。由此，控制部21可以获取包含利用学习完毕的生成模型41生成的数据的数据组225D。

接着，控制部21根据数据组225D与对象气象数据223D的比较，根据对象气象数据223D预测发电量。控制部21利用与上述实施方式相同的方法，对构成数据组225D的气象数据2251D与对象气象数据223D进行比较，从而根据对象气象数据223D预测发电量。

此外，在数据组225D中包含的气象数据2251D的件数不足的情况下，控制部21也可以将气象数据2251D适当地指定为本地学习数据3D，并请求模型生成装置1构建关于所指定的本地学习数据3D的生成模型41。然后，控制部21可以利用由此构建的学习完毕的生成模型41生成与特定的发电量相关的新的气象数据，并将所生成的新的气象数据作为气象数据2251D添加至数据组225D。由此，控制部21也可以增加数据组225D中包含的气象数据2251D的件数。

在步骤303中，控制部21作为输出部218进行动作，输出与发电设备RD的发电量的预测结果相关的信息。与上述实施方式同样，输出目的地和输出信息分别可以根据实施方式适当地决定。例如，控制部21也可以将发电设备RD的发电量的预测结果直接输出至输出装置25。另外，例如，控制部21也可以将发电设备RD的发电量与阈值进行比较，在发电设备RD的发电量在阈值以下时，向输出装置25输出督促利用其他发电设备进行发电的消息。阈值可以适当地设定。

＜模型生成＞

在本变形例中，模型生成装置1利用如上述那样构建的各识别模型40D，与上述实施方式同样地执行上述步骤S201～S205的处理。

即，在步骤S201中，模型生成装置1的控制部11使用生成模型41生成疑似气象数据。在步骤S202中，控制部11将生成的疑似气象数据发送至各识别模型40D，使各识别模型40D对生成的疑似气象数据执行识别。在步骤S203中，控制部11接收各识别模型40D对被发送的疑似气象数据识别的结果。在本变形例中，控制部11通过将疑似气象数据发送至各预测装置2D，从而使各识别模型40D对疑似气象数据执行识别。然后，控制部11从各预测装置2D获取各识别模型40D识别的结果。

在步骤S204中，控制部11通过利用接收到的识别的结果的机器学习训练生成模型41，以使其生成使多个识别模型40D中的至少任意一个识别模型40D的识别性能降低这样的气象数据。在步骤S205中，控制部11生成表示通过步骤S204的机器学习来构建的学习完毕的生成模型41的结构和运算参数的信息作为学习结果数据121。然后，控制部11将所生成的学习结果数据121保存至规定的存储区域。

根据本变形例，在预测发电设备RD中的发电量的情况下，能够构建可利用于该预测且能够生成多种气象数据的生成模型41。通过利用该生成模型41，能够增加构成预测中利用的数据组225D的气象数据2251D的件数。在本变形例中，通过该生成模型41，可以生成各预测装置2D单独难以收集但其他预测装置2D中能够得到的与特定的气象条件下的发电设备RD的发电量相应的气象数据。由此，不仅能够增加数据组225D中包含的气象数据2251D的件数，还能够丰富气象数据2251D的变化。因此，根据本变形例，能够提高步骤S303中的发电量的预测精度。

(E)诊断健康状态的场景

图28示意性地例示出第五变形例涉及的诊断系统100E的应用场景的一例。本变形例是将上述实施方式涉及的模型生成装置1应用于生成可利用于推断(诊断)对象者RE的健康状态的数据的场景中的例子。如图28所示，本变形例涉及的诊断系统100E具备模型生成装置1和多个诊断装置2E。与上述实施方式同样，模型生成装置1和各诊断装置2E可以经由网络相互连接。

各诊断装置2E对应于上述各学习装置2。除了所处理的数据不同这一点以外，各诊断装置2E可以与上述各学习装置2同样地构成。各诊断装置2E根据与对象者RE的健康状态相关联的数据诊断该对象者RE的健康状态。诊断中利用的数据只要是与对象者RE的健康状态相关联的数据便无特别限定，可以根据实施方式适当地选择。诊断中利用的数据例如可以是图像数据、生命数据等。生命数据是与生命相关的数据，例如可以是表示体温、血压、脉搏等的测定结果的数据。在本变形例中，各诊断装置2E与生命传感器SE连接。各诊断装置2E根据从生命传感器SE得到的生命数据诊断对象者RE的健康状态。作为推断对象的健康状态可以根据实施方式适当地决定，例如，可以包含是否健康、是否存在生病的预兆，等等。

＜诊断装置的硬件构成＞

图29示意性地例示出本变形例涉及的各诊断装置2E的硬件构成的一例。如图29所示，本变形例涉及的各诊断装置2E与上述各学习装置2同样是与控制部21、存储部22、通信接口23、输入装置24、输出装置25、驱动器26以及外部接口27电连接的计算机。各诊断装置2E经由外部接口27与生命传感器SE连接。生命传感器SE例如是体温计、血压计、脉搏计等。但是，各诊断装置2E的硬件构成也可以不限定于上述例子。关于各诊断装置2E的具体的硬件构成，可以根据实施方式适当地省略、替换以及追加构成要素。各诊断装置2E除了被设计为所提供的服务专用的信息处理装置以外，也可以是通用的服务器装置、通用的PC等。

本变形例涉及的各诊断装置2E的存储部22存储学习程序82E、诊断程序83E、本地学习数据3E、学习结果数据221E等的各种信息。学习程序82E、诊断程序83E、本地学习数据3E以及学习结果数据221E对应于上述实施方式涉及的学习程序82、推论程序83、本地学习数据3以及学习结果数据221。学习程序82E、诊断程序83E以及本地学习数据3E中的至少任意一个也可以存储在存储介质92中。另外，各诊断装置2E也可以从存储介质92获取学习程序82E、诊断程序83E以及本地学习数据3E中的至少任意一个。

＜学习处理＞

图30A示意性地例示出与本变形例涉及的各诊断装置2E的学习处理相关的软件构成的一例。与上述实施方式同样，与各诊断装置2E的学习处理相关的软件构成通过由控制部21执行学习程序82E来实现。如图30A所示，除了所处理的数据从感测数据替换为生命数据这一点以外，与各诊断装置2E的学习处理相关的软件构成和与上述各学习装置2的学习处理相关的软件构成相同。由此，各诊断装置2E与上述各学习装置2同样地执行与机器学习相关的一系列处理。

即，在步骤S101中，各诊断装置2E的控制部21作为学习数据收集部211E进行动作，收集识别模型40E的机器学习中使用的本地学习数据3E。在本变形例中，识别模型40E与上述实施方式涉及的识别模型40同样由神经网络构成。另外，本地学习数据3E由生命数据36构成。

本地学习数据3E的生成方法与上述实施方式同样可以根据实施方式适当地选择。在本变形例中，本地学习数据3E能够用于推断对象者的健康状态。因此，构成本地学习数据3E的生命数据36可以通过利用生命传感器测定各种健康状态的受试者的生命而得到。由此，可以生成本地学习数据3E。

在步骤S102中，控制部21作为学习处理部212进行动作，获取由生成模型41生成的数据。在本变形例中，生成模型41构成为生成疑似性的生命数据(以下，也记载为“疑似生命数据”)。模型生成装置1的控制部11从规定的概率分布提取噪声，将提取出的噪声输入生成模型41，执行生成模型41的运算处理。由此，控制部11作为从生成模型的输出而取得疑似生命元数据。控制部21获取由生成模型41如此生成的疑似生命数据。

在步骤S103中，控制部21作为学习处理部212进行动作，通过使用本地学习数据3E的机器学习来构建学习完毕的识别模型40E，该学习完毕的识别模型40E获得了识别所提供的生命数据是否为本地学习数据3E中包含的生命数据36的能力。在本变形例中，控制部21使用本地学习数据3E和由生成模型41生成的疑似生命数据训练识别模型40E，以使其识别所提供的生命数据是源自本地学习数据3E还是源自生成模型41。在步骤S104中，控制部21作为保存处理部213进行动作，生成表示通过步骤S103的机器学习来构建的学习完毕的识别模型40E的结构和运算参数的信息作为学习结果数据221E。然后，控制部21将生成的学习结果数据221E保存至规定的存储区域。

＜诊断处理＞

图30B示意性地例示出与本变形例涉及的各诊断装置2E的诊断处理相关的软件构成的一例。与上述实施方式同样，与各诊断装置2E的诊断处理相关的软件构成通过由控制部21执行诊断程序83E来实现。如图30B所示，除了所处理的数据从感测数据替换为生命数据这一点以外，与各诊断装置2E的诊断处理相关的软件构成和与上述各学习装置2的推论处理相关的软件构成相同。由此，各诊断装置2E与上述各学习装置2同样地执行与诊断处理相关的一系列处理。

即，在步骤S301中，各诊断装置2E的控制部21作为对象数据获取部216进行动作，从生命传感器SE获取表示对象者RE的生命的测定结果的对象生命数据223E。

在步骤S302中，控制部21作为诊断部217E进行动作，获取作为用于诊断对象者RE的健康状态的推论用学习数据收集到的数据组225E。在本变形例中，数据组225E由多件生命数据2251E构成。各件生命数据2251E可以根据特定的健康状态取得。另外，与上述实施方式同样地，数据组225E中包含的各件生命数据2251E例如可以是本地学习数据3E中包含的生命数据36、通过本变形例中的生成模型41生成的生命数据等。控制部21也可以获取利用学习完毕的生成模型41生成的数据作为生命数据2251E。利用学习完毕的生成模型41生成数据既可以由各诊断装置2E执行，也可以由其他的计算机执行。由此，控制部21也可以获取包含利用学习完毕的生成模型41生成的数据的数据组225E。

接着，控制部21根据数据组225E与对象生命数据223E的比较诊断对象者RE的健康状态。控制部21利用与上述实施方式相同的方法，对构成数据组225E的生命数据2251E与对象生命数据223E进行比较，从而诊断对象者RE的健康状态。

此外，在数据组225E中包含的生命数据2251E的件数不足的情况下，控制部21也可以将生命数据2251E适当地指定为本地学习数据3E，并请求模型生成装置1构建关于所指定的本地学习数据3E的生成模型41。然后，控制部21可以利用由此构建的学习完毕的生成模型41生成与特定的健康状态相应的新的生命数据，并将生成的新的生命数据作为生命数据2251E添加至数据组225E。由此，控制部21也可以增加数据组225E中包含的生命数据2251E的件数。

在步骤303中，控制部21作为输出部218进行动作，输出与对象者RE的健康状态的诊断结果相关的信息。与上述实施方式同样，输出目的地和输出信息分别可以根据实施方式适当地决定。例如，控制部21也可以将对象者RE的健康状态的诊断结果直接输出至输出装置25。另外，例如，在诊断出的对象者RE的健康状态表示规定疾病的预兆的情况下，控制部21也可以向输出装置25输出督促其到医院诊查的消息。

＜模型生成＞

在本变形例中，模型生成装置1利用如上述那样构建的各识别模型40E，与上述实施方式同样地执行上述步骤S201～S205的处理。

即，在步骤S201中，模型生成装置1的控制部11使用生成模型41生成疑似生命数据。在步骤S202中，控制部11将生成的疑似生命数据发送至各识别模型40E，使各识别模型40E对生成的疑似生命数据执行识别。在步骤S203中，控制部11接收各识别模型40E对被发送的疑似生命数据识别的结果。在本变形例中，控制部11通过将疑似生命数据发送至各诊断装置2E，从而使各识别模型40E对疑似生命数据执行识别。然后，控制部11从各诊断装置2E获取各识别模型40E识别的结果。

在步骤S204中，控制部11通过利用接收到的识别结果的机器学习训练生成模型41，以使其生成使多个识别模型40E中的至少任意一个识别模型40E的识别性能降低这样的生命数据。在步骤S205中，控制部11生成表示通过步骤S204的机器学习来构建的学习完毕的生成模型41的结构和运算参数的信息作为学习结果数据121。然后，控制部11将生成的学习结果数据121保存至规定的存储区域。

根据本变形例，在诊断对象者RE的健康状态的场景下，能够构建可利用于该诊断且能够生成多种生命数据的生成模型41。通过利用该生成模型41，能够增加构成诊断中使用的数据组225E的生命数据2251E的件数。在本变形例中，通过该生成模型41，可以示出各诊断装置2E单独难以收集但其他诊断装置2E中能够得到的与特定的对象者的属性及健康状态相应的生命数据。由此，不仅能够增加数据组225E中包含的生命数据2251E的件数，还能够丰富生命数据2251E的变化。因此，根据本变形例，能够提高步骤S303中的对象者RE的健康状态的推断精度。

＜4.2＞

在上述实施方式中，通过生成模型41生成的数据可以用作构成用于推论通过传感器S得到的对象数据223所表现的特征的数据组225的数据。另外，各学习装置2在上述步骤S302中根据数据组225与对象数据223的比较，推论对象数据223所表现的特征。但是，通过生成模型41生成的数据及推论处理的方法也可以不限定于上述例子。例如，通过生成模型41生成的数据也可以利用于用于使推断器获得进行规定推论的能力的机器学习。另外，各学习装置2也可以利用通过该机器学习来构建的学习完毕的推断器来推断对象数据223所表现的特征。

图31示意性地例示出本变形例涉及的学习装置2F的硬件构成的一例。本变形例涉及的学习装置2F除了进一步执行用于使推断器获得进行规定推论的能力的机器学习这一点、以及利用通过该机器学习来构建的学习完毕的推断器进行规定推论这一点以外，与上述实施方式涉及的各学习装置2同样地构成。具体而言，本变形例涉及的学习装置2F与上述实施方式涉及的各学习装置2同样是与控制部21、存储部22、通信接口23、输入装置24、输出装置25、驱动器26以及外部接口27电连接的计算机。但是，学习装置2F的硬件构成也可以不限定于上述例子。关于学习装置2F的具体的硬件构成，可以根据实施方式适当地省略、替换以及追加构成要素。诊断装置2F除了被设计为所提供的服务专用的信息处理装置以外，也可以是通用的服务器装置、通用的PC等。

本变形例涉及的学习装置2F的存储部22除了上述实施方式以外，还包括推论学习程序85和推论学习结果数据228。推论学习程序85是用于使学习装置2F执行与推断器(后述推断器45)的机器学习相关的后述信息处理(图32B)的程序。推论学习程序85包含该信息处理的一系列命令。推论学习程序85也可以存储在存储介质92中。另外，学习装置2F也可以从存储介质92获取推论学习程序85。推论学习结果数据228表示与学习完毕的推断器相关的信息。推论学习结果数据228作为执行推论学习程序85的结果而得到。此外，推论程序83F对应于上述实施方式涉及的推论程序83。推论程序83F除了利用学习完毕的推断器执行推论处理这一点以外，还包括与上述实施方式涉及的推论程序83同样的命令。

在本变形例中，学习装置2F收集用于通过机器学习获得推论特征的能力的推论用本地学习数据(后述推论用本地学习数据227)。此时，学习装置2F也可以获取通过学习完毕的生成模型41生成的数据。与上述实施方式同样地，利用学习完毕的生成模型41生成数据既可以由学习装置2F执行，也可以由其他的计算机执行。在由学习装置2F执行利用学习完毕的生成模型41生成数据的情况下，学习装置2F通过保持学习结果数据121而具备学习完毕的生成模型41。由此，学习装置2F也可以收集包含通过学习完毕的生成模型41生成的数据的推论用本地学习数据。接着，学习装置2F通过使用收集到的推论用本地学习数据的机器学习，构建获得了推论数据所表现的特征的能力的学习完毕的推断器。另一方面，在推论处理中，学习装置2F获取对象数据223。接着，学习装置2F利用学习完毕的推断器，推断对象数据所表现的特征。然后，学习装置2F输出与特征的推断结果相关的信息。

＜推论的学习处理＞

图32A示意性地例示出与本变形例涉及的学习装置2F的推论的学习处理相关的软件构成的一例。学习装置2F的控制部21与上述学习程序82等同样地执行推论学习程序85。由此，学习装置2F作为以软件模块的形式具备学习数据收集部291、学习处理部292以及保存处理部293的计算机进行动作。即，在本变形例中，与推论的学习处理相关的学习装置2F的各软件模块通过控制部21(CPU)实现。

但是，与推论的学习处理相关的软件构成也可以不限于上述例子。以上的软件模块的一部分或全部也可以通过一个或多个专用的处理器实现。另外，关于与学习装置2F的推论的学习处理相关的软件构成，也可以根据实施方式适当省略、替换以及追加软件模块。此外，在各自区分的情况下，也可以分开进行称呼，例如将学习数据收集部211和学习处理部212分别称为“第一学习数据收集部”和“第一学习处理部”，将学习数据收集部291和学习处理部292分别称为“第二学习数据收集部”和“第二学习处理部”，等等。

本变形例涉及的学习装置2F通过具备这些软件模块来执行推断器45的机器学习。推断器45与上述识别模型40及生成模型41同样是能够通过机器学习获得规定能力的学习模型，其种类也可以无特别限定，可以根据实施方式适当地选择。如图32A所示，本变形例涉及的推断器45与上述识别模型40及生成模型41同样由三层结构的神经网络构成。推断器45从输入侧起依次具备输入层451、中间(隐藏)层452以及输出层453。但是，推断器45的结构也可以不限定于上述例子，可以根据实施方式适当地决定。例如，推断器45所具备的中间层的数量也可以不限定于一个，也可以是两个以上。

与上述识别模型40和生成模型41同样地，推断器45的各层451～453中包含的神经元(节点)的数量可以根据实施方式适当地选择。在图32A的例子中，各神经元与相邻层的所有神经元连接。然而，神经元的连接也可以不限定于这样的例子，也可以根据实施方式适当地设定。各层451～453中包含的各神经元间的连接的权重及各神经元的阈值是运算处理中利用的推断器45的运算参数的一例。

接着，进一步使用图32B，对与本变形例涉及的学习装置2F的推论的机器学习相关的动作例进行说明。图32B是表示与本变形例涉及的学习装置2F进行的推断器45的机器学习相关的处理步骤的一例的流程图。但是，以下说明的各处理步骤仅为一例，各处理也可以在可能的范围内进行变更。进而，对于以下说明的各处理步骤，可以根据实施方式适当地省略、替换以及追加步骤。

(步骤S191)

在步骤S191中，控制部21作为学习数据收集部291进行动作，收集推断器45的机器学习中使用的推论用本地学习数据227。在本变形例中，由于推断器45由神经网络构成，因此，控制部21收集由多个学习数据集2270构成的推论用本地学习数据227，该多个学习数据集2270分别包含训练数据2271和正确数据2272的组合。

训练数据2271(输入数据)是作为发挥规定能力的对象的数据。在本变形例中，训练数据2271是与通过传感器S得到的感测数据同种的数据，可以是构成本地学习数据3的数据。正确数据2272(示教数据)是表示相对于训练数据2271发挥了规定能力的结果(正确)的数据。正确数据2272中可以利用上述标签。

各学习数据集2270的获取方法也可以无特别限定，可以根据实施方式适当地选择。例如，可以通过准备与传感器S同种的传感器，并利用所准备的传感器在各种条件下进行观测，从而获取训练数据2271。然后，将表示该训练数据2271所表现的特征的正确数据2272与获取到的训练数据2271建立关联。由此，能够生成各学习数据集2270。

各学习数据集2270既可以通过计算机的动作自动生成，也可以通过操作员的操作手动生成。另外，各学习数据集2270的生成既可以由学习装置2F进行，也可以由学习装置2F以外的其他计算机进行。在由学习装置2F生成各学习数据集2270的情况下，控制部21自动地、或者通过操作者经由输入装置24进行操作而手动地执行上述一系列处理，从而收集由多个学习数据集2270构成的推论用本地学习数据227。另一方面，在由其他计算机生成各学习数据集2270的情况下，控制部21例如经由网络、存储介质92等收集由其他计算机生成的多个学习数据集227构成的推论用本地学习数据227。

另外，推论用本地学习数据227的至少一部分也可以使用本地学习数据3。该情况下，通过对构成本地学习数据3的各件数据适当赋予上述正确数据2272，能够生成各学习数据集2270。

进而，推论用本地学习数据227的至少一部分可以利用由生成模型41生成的数据。利用学习完毕的生成模型41生成数据既可以由各学习装置2执行，也可以由其他的计算机执行。在由学习装置2F执行利用学习完毕的生成模型41生成数据的情况下，控制部21通过保持学习结果数据121而具备学习完毕的生成模型41。控制部21也可以经由例如网络、存储介质92等获取通过上述学习处理生成的学习结果数据121。该情况下，控制部21参照学习结果数据121来设定学习完毕的生成模型41。另外，控制部21从高斯分布等规定的概率分布提取多个噪声。然后，控制部21将提取出的噪声输入生成模型41的输入层411，从输入侧起依次进行各层411～413中包含的各神经元的点火判定。由此，控制部21从输出层413获取与噪声对应地生成的数据。通过将取得的数据作为训练数据2271追加至推论用本地学习数据227，控制部21能够取得包含由学习完毕的生成模型41生成的数据的推论用本地学习数据227。或者，控制部21也可以经由网络、存储介质92等取得通过其他计算机利用学习完毕的生成模型41生成的数据。

另外，控制部21也可以请求模型生成装置1针对由推论用本地学习数据227中包含的训练数据2271构成的本地学习数据3、和/或与推论用本地学习数据227分开准备的本地学习数据3构建生成模型41。而且，控制部21也可以利用由此构建的学习完毕的生成模型41生成与通过传感器S得到的感测数据同种的生成数据55，并将生成的生成数据55用作训练数据2271。也可以对生成数据55适当赋予正确数据2272。由此，控制部21也可以增加推论用本地学习数据227中包含的学习数据集2270的件数。

收集的学习数据集2270的件数也可以无特别限定，可以根据实施方式适当地选择。当收集了推论用本地学习数据227时，控制部21使处理进入下一步骤S192。

(步骤S192)

在步骤S192中，控制部21作为学习处理部292进行动作，使用收集到的推论用本地学习数据227执行推断器45的机器学习。在该机器学习中，控制部21针对各学习数据集2270，以将训练数据2271输入输入层451时，从输出层453输出与正确数据2272一致的输出值的方式训练推断器45。由此，控制部21构建获得了推论通过传感器S得到的数据所表现的特征的能力的学习完毕的推断器45。

具体而言，控制部21准备作为机器学习的处理对象的推断器45。所准备的推断器45的结构、各神经元间的连接的权重的初始值、以及各神经元的阈值的初始值既可以根据模板提供，也可以通过操作者输入来提供。另外，在进行再学习的情况下，控制部21也可以根据通过进行过去的机器学习而得到的学习结果数据来准备推断器45。

接着，控制部21利用步骤S191中获取到的各学习数据集2270中包含的训练数据2271和正确数据2272执行推断器45的学习处理。

例如，在第一步骤中，控制部21针对各学习数据集2270，将训练数据2271输入输入层451，并从输入侧起依次进行各层451～453中包含的各神经元的点火判定。由此，控制部21从输出层453获取与训练数据2271所表现的特征的推论结果对应的输出值。在第二步骤中，控制部21算出获取到的输出值与对应的正确数据2272的值的误差。在第三步骤中，控制部21利用误差反向传播法，并使用算出的输出值的误差，算出各神经元间的连接的权重及各神经元的阈值各自的误差。在第四步骤中，控制部21根据计算出的各误差，进行各神经元间的连接的权重以及各神经元的阈值各自的值的更新。

控制部21通过重复上述第一至第四步骤，针对各学习数据集2270调整推断器45的运算参数的值，以使当输入训练数据2271时，从输出层453输出与对应的正确数据2272一致的输出值。例如，控制部201针对各学习数据集2270重复上述第一至第四步骤，直到从输出层453得到的输出值与正确数据2272的值的误差之和变为阈值以下为止。正确数据2272的值与输出层453的输出值一致，可以包括在正确数据2272的值与输出层453的输出值之间产生由这样的阈值引起的误差。阈值可以根据实施方式适当地设定。由此，控制部21能够构建被训练为相对于训练数据2271的输入而输出与对应的正确数据2272一致的输出值的学习完毕的推断器45。即，控制部21能够构建获得了推论通过传感器S得到的数据所表现的特征的能力的学习完毕的推断器45。学习完毕的推断器45也可以被称为“识别器”等。当推断器45的机器学习完成时，控制部21使处理进入下一步骤S193。

(步骤S193)

在步骤S193中，控制部21作为保存处理部293进行动作，将与通过机器学习来构建的学习完毕的推断器45相关的信息保存至规定的存储区域。在本变形例中，控制部21生成表示通过步骤S192的机器学习来构建的学习完毕的推断器45的结构及运算参数的信息作为推论学习结果数据228。然后，控制部21将生成的推论学习结果数据228保存至规定的存储区域。规定的存储区域可以是例如控制部21内的RAM、存储部22、外部存储装置、存储介质或者它们的组合。

＜推论处理＞

图33示意性地例示出与本变形例涉及的学习装置2F的推论处理相关的软件构成的一例。与上述实施方式同样，与学习装置2F的推论处理相关的软件构成通过由控制部21执行推论程序83F来实现。如图32B所示，除了推论方法不同这一点之外，与学习装置2F的推论处理相关的软件构成和与上述各学习装置2的推论处理相关的软件构成相同。由此，学习装置2F与上述各学习装置2同样地执行与推论处理相关的一系列处理。

即，关于步骤S301和S303，学习装置2F的控制部21与上述实施方式同样地执行。另一方面，在步骤S302中，学习装置2F的控制部21作为推论部217F进行动作，利用学习完毕的推断器45推论对象数据223所表现的特征。在本实施方式中，推论部217F通过保持推论学习结果数据228而包括学习完毕的推断器45。

具体而言，控制部21参照推论学习结果数据228进行学习完毕的推断器45的设定。接着，控制部21将所取得的对象数据223输入学习完毕的推断器45，执行该学习完毕的推断器45的运算处理。即，控制部21将对象数据223输入学习完毕的推断器45的输入层451，从输入侧起依次进行各层451～453中包含的各神经元的点火判定。由此，控制部21从学习完毕的推断器45的输出层453获取与对象数据223中包含的特征的推断结果对应的输出值。

在本变形例中，学习装置2F构成为：利用学习完毕的推断器45推论对象数据223所表现的特征。在该场合下，能够利用由学习完毕的生成模型41生成的数据(生成数据55)，增加推断器45的机器学习中使用的推论用本地学习数据227的件数。特别是，根据生成模型41，可以生成学习装置2F单独难以进行收集但其他学习装置2F能够得到的数据。因此，能够丰富推论用本地学习数据227中包含的训练数据2271的变化，由此，能够提高通过机器学习来构建的学习完毕的推断器45的性能。也就是说，在步骤S302中，能够高精度地推论对象数据223所表现的特征。

此外，作为通过模型生成装置1生成生成模型41的对象的学习装置，也可以混合存在利用与上述实施方式涉及的学习装置2同样的方法执行推论处理的学习装置、和利用与本变形例涉及的学习装置2F同样的方法执行推论处理的学习装置。另外，关于上述变形例涉及的检查装置2A、监视装置2B、监视装置2C、预测装置2D以及诊断装置2E，也可以与该变形例同样地构成为通过学习完毕的推断器执行各推论。

＜4.3＞

在上述实施方式中，各学习装置2由执行学习处理和推论处理两者的计算机构成。然而，各学习装置2的构成也可以不限定于上述例子。多个学习装置2的至少任意一个可以由多台计算机构成。该情况下，学习装置2可以构成为学习处理和推论处理由不同的计算机执行。

图34示意性地例示出本变形例涉及的学习装置2G的构成的一例。在本变形例中，学习装置2G具备构成为执行上述学习处理的第一计算机200和构成为执行上述推论处理的第二计算机201。第一计算机200和第二计算机201各自的硬件构成可以与上述实施方式涉及的各学习装置2的硬件构成相同。第一计算机200通过执行学习程序82，作为以软件模块的形式具备学习数据收集部211、学习处理部212以及保存处理部213的计算机进行动作。第二计算机201通过执行推论程序83，作为以软件模块的形式具备对象数据获取部216、推论部217以及输出部218的计算机进行动作。该情况下，也可以将第一计算机200作为“学习装置”使用。此外，上述变形例涉及的检查装置2A、监视装置2B、监视装置2C、预测装置2D以及诊断装置2E也是同样的。另外，在构成为通过与上述变形例涉及的学习装置2F同样的方法执行推论处理的情况下，学习装置2G也可以还具备第三计算机(未图示)。该第三计算机通过执行推论学习程序85，也可以作为以软件模块的形式具备上述学习数据收集部291、学习处理部292以及保存处理部293的计算机进行动作。

＜4.4＞

在上述实施方式中，在导出各识别模型40识别的结果51的过程中，各学习装置2在式3和式4的计算中利用其他学习装置2的运算结果，对运算结果进行统合，即计算总和。另外，模型生成装置1在式7的计算中利用各学习装置2的运算结果，对该运算的结果进行统合。这些运算的结果与本地学习数据3相关联，因而若这些运算的结果被公开，便能够推断各学习装置2保持的本地学习数据3。因此，为了进一步提高各学习装置2保持的本地学习数据3的隐匿性，各识别模型40识别的结果51可以通过秘密计算进行统合。秘密计算的方法也可以无特别限定，可以根据实施方式适当地选择。在本变形例中，可以采用利用秘密分散和同态加密中的任意一个的方法。

(A)利用秘密分散的方法

图35A示意性地例示出利用秘密分散执行统合处理的场景的一例。在利用秘密分散的方法中，作为分别可靠的第三方机构，在网络中设置第一服务器61和第二服务器62。第一服务器61和第二服务器62分别是与模型生成装置1等同样具备硬件处理器和存储器的计算机。

在该方法中，首先，各学习装置2的控制部21在将自身的运算结果发送至其他的计算机时，生成随机数。在上述实施方式中，将自身的运算结果发送至其他的计算机的场景是将式3的exp(ly

据此，第一服务器61如以下的式8那样计算从各学习装置2接收到的差分的总和。另一方面，第二服务器62如以下的式9那样计算从各学习装置2接收到的随机数的总和。

【数学式8】

∑

【数学式9】

∑

此外，Y

第一服务器61和第二服务器62分别将总和的计算结果发送至其他的计算机。其他的计算机将从第一服务器61和第二服务器62分别接收到的总和相加。由此，能够防止在其他的计算机中确定出各学习装置2保持的运算结果，同时，其他的计算机能够将与识别的结果51相关的各学习装置2的运算结果进行统合(即，计算总和)。

此外，秘密分散的方式也可以无特别限定，可以根据实施方式适当地选择。秘密分散的方式可以使用例如国际标准(IS0/IEC19592-2：2017)的方式等。另外，只要模型生成装置1是可靠的服务器，则模型生成装置1也可以作为第一服务器61和第二服务器62中的任意一个进行动作。

(B)利用同态加密的方法

图35B示意性地例示出利用同态加密执行统合处理的场景的一例。在利用同态加密的方法中，作为可靠的第三方机关而在网络中设置服务器65。服务器65是与模型生成装置1等同样具备硬件处理器和存储器的计算机。

在该方法中，首先，服务器65发行公开密钥和秘密密钥。公开密钥以具有同态性的方式生成。也就是说，在被提供利用公开密钥加密的两个密文的情况下，以能够在加密的状态下将两个密文相加的方式生成公开密钥。服务器65将发行的公开密钥和秘密密钥中的公开密钥分发给各学习装置2。

各学习装置2的控制部21利用接收到的公开密钥对自身的运算结果进行加密。然后，控制部21将加密后的运算结果发送至其他的计算机。其他的计算机如以下的式10那样在保持加密后的状态下计算从各学习装置2接收到的运算结果的值的总和。

【数学式10】

P(∑

此外，P表示利用公开密钥进行加密。

其他的计算机将加密的总和发送至服务器65。服务器65利用秘密密钥对于从其他的计算机接收到的加密的总和进行解密。然后，服务器65将解密后的计算结果的总和返回给其他的计算机。由此，能够防止在其他的计算机中确定出各学习装置2保持的运算结果，同时，其他的计算机能够将与识别的结果51相关的各学习装置2的运算结果进行统合。

此外，同态加密的方式也可以无特别限定，可以根据实施方式适当地选择。同态加密的方式可以使用例如modified-ElGamal加密、Paillier加密等。另外，只要模型生成装置1是可靠的服务器，则模型生成装置1也可以作为服务器65进行动作。

如上所述，根据本变形例，能够利用上述两个方法中的任意一个，通过秘密计算将各识别模型40识别的结果51加以统合。由此，能够进一步提高各学习装置2保持的本地学习数据3的隐匿性。

＜4.5＞

在上述实施方式及变形例中，识别模型40、生成模型41以及推断器45由三层结构的全连接神经网络构成。但是，分别构成识别模型40、生成模型41以及推断器45的神经网络的结构和种类也可以不限定于上述例子，可以根据实施方式适当地选择。例如，识别模型40、生成模型41以及推断器45分别也可以由具备卷积层、池化层以及全连接层的卷积神经网络构成。另外，例如在利用时序数据的情况下，识别模型40、生成模型41以及推断器45分别也可以由递归型神经网络构成。识别模型40、生成模型41以及推断器45各自的种类可以根据实施方式适当地选择。

此外，在上述机器学习中，通过将赋予了追加条件(例如标签)的数据用作本地学习数据3，能够构建可生成与追加条件相应的数据的有条件生成模型。上述生成模型41也可以是这样的有条件生成模型。该情况下，通过作为追加信息而赋予表示各组的信息，能够将生成模型41构建成可生成与多个组分别对应的数据。追加条件只要是与通过生成模型41生成的数据的类别相关的条件即可，例如，也可以根据生成的数据的属性、生成的数据所表现的特征的属性等进行赋予。在生成的数据为图像数据的情况下，生成的数据的属性例如可以是图像数据的分辨率、像素数、有无缺损等。另外，生成的数据所表现的特征的属性例如可以是作为推论对象的对象物的属性、对象物的种类等。

＜4.6＞

在上述实施方式中，通过各学习装置2构建的识别模型40的数量也可以不限于一个，也可以是多个。在保持多个识别模型40的情况下，各学习装置2既可以针对每个识别模型40分别收集本地学习数据3，也可以在至少一部分的识别模型40中至少部分共同地收集本地学习数据3。

另外，在上述实施方式中，各识别模型40被保持在各学习装置2中。然而，各识别模型40的配置也可以不限定于上述例子。例如，多个识别模型40中的至少一部分也可以保持在模型生成装置1中。

另外，在上述实施方式中，可以省略分组处理。在省略第一分组方法的情况下，可以省略组列表123。在省略分组处理的情况下，可以省略分配信息124。另外，可以从模型生成装置1的软件构成中省略分组部116。

另外，在上述实施方式中，数据例如可以替换为图像数据、声音数据、数值数据、文本数据、以及通过传感器得到的测定数据等个别种类的数据。例如，通过使本地学习数据3包含图像数据，能够通过模型生成装置1和多个学习装置2构成图像生成系统。另外，例如，通过使本地学习数据3包括利用传感器得到的感测数据，能够通过模型生成装置1和多个学习装置2构成感测数据的生成系统。

附图标记说明

1…模型生成装置、

11…控制部、12…存储部、13…通信接口、

14…输入装置、15…输出装置、16…驱动器、

111…生成部、112…发送部、113…接收部、

114…学习处理部、115…保存处理部、

116…分组部、

121…学习结果数据、123…组列表、

124…分配信息、

81…模型生成程序、91…存储介质、

2…学习装置、

21…控制部、22…存储部、23…通信接口、

24…输入装置、25…输出装置、26…驱动器、

27…外部接口、

211…学习数据收集部、212…学习处理部、

213…保存处理部、

216…对象数据获取部、217…推论部、

218…输出部、

221…学习结果数据、223…对象数据、

225…数据组、

82…学习程序、83…推论程序、

92…存储介质、

S…传感器、

3…本地学习数据、

40…识别模型、

401…输入层、402…中间(隐藏)层、

403…输出层、

41…生成模型、

411…输入层、412…中间(隐藏)层、

413…输出层、

50…数据、51……(识别的)结果。