加工条件探索装置及加工条件探索方法

摘要

加工条件探索装置(10)具有：机器学习部(19)，其对用于通过放电加工机(28)实施的放电加工的加工条件进行学习，基于学习结果，对向放电加工机(28)输出的加工条件进行探索；以及机器学习参数决定部(15)，其基于关于放电加工的方式而指定出的加工规格，决定机器学习参数，该机器学习参数表示构成加工条件的控制参数之中的设为通过机器学习部(19)进行的探索对象的控制参数和设为探索对象的控制参数的值的范围。

说明书

技术领域

本发明涉及对用于放电加工的加工条件进行探索的加工条件探索装置及加工条件探索方法。

背景技术

进行形雕放电加工的放电加工机基于加工材料、电极的形状或者加工深度这样的加工规格对适当的加工条件进行选择而进行放电加工。放电加工机如果不与伴随加工进展的加工状态的变化相应地变更加工条件，则良好的加工变得困难。另外，在加工速度为高速的情况下，或者在要求高加工精度的情况下，有时由于加工液的状态的变化或者针对加工材料的每个批次的加工材料的品质差异这样的进行加工的状况的轻微变化，加工的状态也会发生变化。因此，放电加工机不仅需要从预先设定的加工条件中对加工条件进行选择，还需要与加工的进展或者进行加工的状况的变化相应地对加工条件进行调整。

在专利文献1中公开了在放电加工时对放电加工的状态进行观测，基于观测结果对加工条件进行调整的放电加工机。专利文献1所涉及的放电加工机关于构成加工条件的控制参数，一边对控制参数的值进行变更，一边对放电加工的状态进行观测而使控制参数的值优化。

专利文献1：国际公开第2019/202672号

发明内容

在对用于放电加工的加工条件进行调整的情况下，需要关于多个控制参数各自进行控制参数的值的调整。关于多个控制参数各自可取得的全部值，不容易从各控制参数的值的组合中对最佳组合进行探索。在专利文献1的技术中，从与各控制参数的值有关的庞大数量的组合中对最佳组合进行探索，因此存在加工条件的高效的探索困难这样的问题。

本发明就是鉴于上述情况而提出的，其目的在于得到能够进行用于放电加工的加工条件的高效的探索的加工条件探索装置。

为了解决上述课题，并达到目的，本发明所涉及的加工条件探索装置具有：机器学习部，其对用于通过放电加工机实施的放电加工的加工条件进行学习，基于学习结果，对向放电加工机输出的加工条件进行探索；以及机器学习参数决定部，其基于关于放电加工的方式指定出的加工规格而决定机器学习参数，该机器学习参数表示构成加工条件的控制参数之中的设为通过机器学习部进行的探索对象的控制参数和设为探索对象的控制参数的值的范围。

发明的效果

本发明所涉及的加工条件探索装置具有下述效果，即，能够进行用于放电加工的加工条件的高效的探索。

附图说明

图1是表示实施方式1所涉及的加工条件探索装置的结构的图。

图2是表示由实施方式1所涉及的加工条件探索装置执行的处理顺序的流程图。

图3是表示实施方式1所涉及的加工条件探索装置为了决定机器学习参数所使用的决定规则的例子的图。

图4是表示实施方式1所涉及的加工条件探索装置中的加工条件的探索范围的例子的图。

图5是表示通过实施方式1所涉及的加工条件探索装置的学习部进行的学习顺序的流程图。

图6是表示实施方式1所涉及的加工条件探索装置的硬件的结构例的图。

具体实施方式

下面，基于附图，对实施方式所涉及的加工条件探索装置及加工条件探索方法详细地进行说明。

实施方式1.

图1是表示实施方式1所涉及的加工条件探索装置10的结构的图。加工条件探索装置10对用于通过放电加工机28实施的放电加工的加工条件进行探索。加工条件探索装置10关于构成加工条件的多个控制参数，对各控制参数的值的最佳组合进行探索。

加工条件探索装置10通过放电加工机28的加工时的机器学习对加工条件进行学习，基于学习结果对加工条件进行探索。加工条件探索装置10按照后面记述的机器学习参数对加工条件进行学习。

放电加工机28是进行形雕放电加工的加工机。放电加工机28具有：电极；驱动装置，其对电极及被加工物之间的距离进行控制；以及加工电源，其用于在电极及被加工物之间使放电发生。放电加工机28的结构的图示省略。

加工条件探索装置10具有：加工规格输入部11，其被输入加工规格的信息；加工条件创建部12，其创建基准加工条件；机器学习设定输入部13，其被输入机器学习设定信息；决定规则存储部14，其对机器学习参数的决定规则进行存储；机器学习参数决定部15，其决定机器学习参数；机器学习部19；加工条件调整结果存储部20，其对加工条件的调整结果进行存储；以及决定规则更新部21，其对机器学习参数的决定规则进行更新。

加工规格表示加工材料、加工形状、加工深度或者重要性能等的放电加工的方式。加工材料是被加工物的材料。加工形状是转印至被加工物的电极的形状。加工深度是在被加工物中被实施加工的部分的深度。重要性能是在加工中被重视的性能，且是加工速度或者加工的稳定性等性能。加工条件探索装置10的用户将加工规格的信息向加工规格输入部11输入，由此对加工规格进行指定。加工规格的信息从加工规格输入部11向加工条件创建部12及机器学习参数决定部15分别输入。

基准加工条件是由控制参数的初始值构成的加工条件，且表示探索开始时的初始条件。加工条件创建部12基于加工规格而创建基准加工条件。在加工条件创建部12中预先保存有多个代表性的加工条件。加工条件创建部12从所保存的多个加工条件中对与向加工规格输入部11输入的加工规格相对应的加工条件进行选择，由此创建基准加工条件。基准加工条件从加工条件创建部12向机器学习参数决定部15及机器学习部19分别输入。

机器学习设定信息是表示设为机器学习所涉及的加工条件的探索对象的加工种类的信息。加工种类是设为机器学习所涉及的加工条件的探索对象的加工种类，且是粗加工或者精加工这样的加工种类。用户向机器学习设定输入部13输入机器学习设定信息，由此对期望的加工种类进行指定。机器学习设定信息的信息从机器学习设定输入部13向机器学习参数决定部15输入。

另外，在向机器学习设定输入部13输入的机器学习设定信息中，可以包含用于由用户对探索对象或者探索范围进行指定的用户指定信息。用户能够通过用户指定信息对设为探索对象的控制参数的种类，或者设为探索范围的控制参数的值的范围进行指定。例如，在关于加工条件的一部分已经确定了技术诀窍的情况下，用户通过对依照技术诀窍的用户指定信息进行输入，从而能够在加工条件的探索范围中设置任意的限制。例如，在存在不希望变更的控制参数的情况下，用户能够通过机器学习设定信息的输入，指定将该控制参数从探索对象排除在外。用户可以通过用户指定信息对设为探索对象的控制参数的组合进行指定。用户指定信息的输入是任意的。

机器学习参数包含构成加工条件的控制参数之中的表示设为通过机器学习部19进行的探索对象的控制参数的种类的信息、和表示设为探索对象的控制参数的值的范围的信息。即，机器学习参数包含用于对机器学习所涉及的加工条件的探索范围进行划定的信息。另外，机器学习参数包含用于对加工条件的评价点进行计算的计算式的信息。评价点包含于机器学习中的学习用数据。

机器学习参数决定部15具有：探索参数决定部16，其决定设为机器学习部19所涉及的探索对象的控制参数；探索范围决定部17，其决定设为探索对象的控制参数的值的范围；以及评价点计算式决定部18，其决定评价点的计算式。

决定规则存储部14对用于基于加工规格而决定机器学习参数的决定规则的信息进行保持。在决定规则存储部14中对预先设定的决定规则的信息进行储存。所储存的决定规则由后面记述的决定规则更新部21进行更新。

探索参数决定部16基于加工规格、决定规则和机器学习设定信息所示的加工种类，决定设为探索对象的控制参数。在与控制参数的种类有关的用户指定信息包含于机器学习设定信息的情况下，探索参数决定部16进一步基于用户指定信息，决定设为探索对象的控制参数。

探索范围决定部17基于加工规格、决定规则和机器学习设定信息所示的加工种类，决定设为探索对象的控制参数的值的范围。另外，探索范围决定部17基于基准加工条件，对控制参数的值的范围进行调整。在与控制参数的值的范围有关的用户指定信息包含于机器学习设定信息的情况下，探索范围决定部17进一步基于用户指定信息而决定控制参数的值的范围。

评价点计算式决定部18基于加工规格、决定规则和机器学习设定信息所示的加工种类，决定评价点的计算式。具体地说，评价点计算式决定部18决定在计算式中使用的变量的值。

如上所述，机器学习参数决定部15基于加工规格、决定规则、机器学习设定信息和基准加工条件，决定机器学习参数。机器学习参数决定部15对机器学习参数进行输出，该机器学习参数包含表示进行探索的参数的种类的信息、表示进行探索的参数的值的范围的信息和决定出的计算式的信息。

机器学习部19对用于通过放电加工机28进行放电加工的加工条件进行学习，基于学习结果，对向放电加工机28输出的加工条件进行探索。向机器学习部19输入基准加工条件、机器学习参数和状态数据。状态数据是表示放电加工机28中的放电加工的状态的数据。状态数据包含加工深度的数据、加工速度的数据、放电发生次数、脉冲状态数据等。脉冲状态数据设为表示电流脉冲或者电压脉冲的状态的合格与否的数据。状态数据从放电加工机28向机器学习部19输入。

机器学习部19具有学习部22、状态观测部23、加工条件调整部24和评价点计算部25。状态观测部23对机器学习参数之中的表示设为探索对象的控制参数的种类的信息、表示设为探索对象的控制参数的值的范围的信息和与放电加工的状态有关的信息即评价点进行观测而作为状态变量。学习部22按照基于状态变量而创建的数据集，对控制参数的值的最佳组合进行学习。学习部22具有回报计算部26和函数更新部27。关于回报计算部26和函数更新部27在后面记述。

加工条件调整部24基于通过学习部22得到的学习结果，对向放电加工机28输出的加工条件进行调整。评价点计算部25基于状态数据对与向放电加工机28输出的加工条件有关的评价点进行计算。

加工条件探索装置10将由加工条件调整部24调整后的加工条件向放电加工机28输出。放电加工机28按照从加工条件探索装置10输入的加工条件对被加工物进行加工。

由加工条件调整部24调整后的加工条件向加工条件调整结果存储部20输入。加工条件调整结果存储部20对由加工条件调整部24调整后的加工条件进行保持。

此外，在图1中，加工条件探索装置10作为放电加工机28的外部的装置而示出，但加工条件探索装置10也可以内置于放电加工机28。加工条件探索装置10也可以内置于对放电加工机28进行控制的数控装置。

决定规则更新部21从加工条件调整结果存储部20读出加工条件。决定规则更新部21基于加工条件调整结果存储部20所存储的加工条件的调整结果，对机器学习参数的决定规则进行更新。

接下来，对由加工条件探索装置10执行的处理进行说明。图2是表示由实施方式1所涉及的加工条件探索装置10执行的处理顺序的流程图。

用户向加工规格输入部11输入加工规格的信息。另外，用户向机器学习设定输入部13输入机器学习设定信息。在步骤S1中，加工条件探索装置10接受加工规格的信息和机器学习设定信息。机器学习设定信息包含表示加工种类的信息。或者，机器学习设定信息包含表示加工种类的信息和用户指定信息。

在步骤S2中，加工条件探索装置10在加工条件创建部12中，创建与加工规格相对应的基准加工条件。加工条件创建部12从预先保存的多个加工条件中，对与向加工规格输入部11输入的加工规格相对应的加工条件进行选择，由此创建基准加工条件。

在步骤S3中，加工条件探索装置10在机器学习参数决定部15中，基于加工规格、机器学习参数的决定规则、机器学习设定信息和基准加工条件而决定机器学习参数。机器学习参数决定部15决定包含表示进行探索的参数的种类的信息、表示进行探索的参数的值的范围的信息和计算式的信息在内的机器学习参数。

在这里，对机器学习参数的决定规则进行说明。图3是表示实施方式1所涉及的加工条件探索装置10为了决定机器学习参数所使用的决定规则的例子的图。决定规则通过加工规格和机器学习参数的关联进行表示。决定规则存储部14对包含加工规格的信息和与加工规格相关联的机器学习参数的信息在内的数据库进行保持。

在图3中，在“加工规格”的栏中示出“加工种类”、“加工形状”和“重要性能”这3个项目。加工种类的信息是机器学习设定信息所包含的信息，但在图3中，加工种类作为加工规格的项目的1个进行处理。在图3中，例如在“加工种类”为“粗加工”、“加工形状”为“圆形”及“重要性能”为“速度”的行，示出了与“粗加工”、“圆形”及“速度”的加工规格相对应的机器学习参数的信息。

在图3的“探索参数”的栏中，“休止时间”、“跳跃参数1”、“跳跃参数2”、“伺服参数1”及“伺服参数2”的各项目表示控制参数。“休止时间”是表示放电和放电的间隔时间的控制参数。“跳跃参数1”及“跳跃参数2”各自是与电极的跳跃动作有关的控制参数。“伺服参数1”及“伺服参数2”各自是表示每单位时间的放电次数或者电极和被加工物的间隔的参数。

在图3中，“探索参数”的栏中的“○”表示是设为探索对象的控制参数。“探索参数”的栏中的“－”表示不是设为探索对象的控制参数。在图3中，例如关于“加工种类”为“粗加工”、“加工形状”为“圆形”及“重要性能”为“速度”的加工规格，“休止时间”、“跳跃参数1”、“跳跃参数2”及“伺服参数1”这4个设为探索对象。

在图3的“探索范围”的栏中，关于“探索参数”的栏中的各控制参数，示出对值进行探索的范围中的值的“最小值”及“最大值”和对值进行探索的范围中的值的“刻度”的各项目。在图3中，例如“休止时间”的栏中的“最小值”3、“最大值”7及“刻度”1是控制参数“休止时间”的值的探索范围为3至7的范围，且示出在该范围中以1的刻度进行探索。此外，在图3中，省略了“探索范围”的栏之中的“跳跃参数2”、“伺服参数1”及“伺服参数2”的各栏，但关于“跳跃参数2”、“伺服参数1”及“伺服参数2”，也与图3所示的“休止时间”及“跳跃参数1”的情况同样地，设定有与设为探索对象的值有关的数据。“探索范围”的栏中的“－”示出没有设定与进行探索的值有关的数据。

评价点计算部25从状态数据取得加工条件的评价所需的数据。例如，评价点计算部25根据状态数据而求出加工速度、加工稳定度和脉冲状态数据。评价点计算部25将加工速度、加工稳定度和脉冲状态数据代入至评价式，由此对评价点进行计算。在图3的“评价点计算用变量”的栏中，“加工速度”、“加工稳定度”及“脉冲状态”的各项目表示在评价点的计算式中使用的变量的值。即，针对每个项目的变量表示加工条件的评价中的加权。

例如，关于与“加工种类”为“粗加工”、“加工形状”为“圆形”及“重要性能”为“速度”的加工规格相对应的加工条件，由于重视加工速度，因此在“加工速度”的变量设定“0.8”这一高值。另外，在该加工规格中可以忽略加工稳定度，在“加工稳定度”的变量设定“0”。另外，从加工速度的观点出发，鉴于即使评价高，如果电流脉冲或者电压脉冲的不良率高，则加工速度也会降低这一情况，在“脉冲状态”的变量设定在加工条件的评价时用于考虑脉冲状态的“0.2”。

此外，在图3中，将决定规则中的“加工规格”的项目设为“加工种类”、“加工形状”及“重要性能”这3个，但“加工规格”的项目并不限定于这些项目。“加工规格”的项目能够任意地设定。

在图3中，在决定规则的“探索参数”中将设定是否设为探索对象的控制参数设为“休止时间”、“跳跃参数1”、“跳跃参数2”、“伺服参数1”及“伺服参数2”这5个，但并不限定于此。在“探索参数”中设定是否设为探索对象的控制参数能够任意地设定。

在图3中，在决定规则中将能够设定“评价点计算用变量”的项目设为“加工速度”、“加工稳定度”及“脉冲状态”这3个，但“评价点计算用变量”的项目并不限定于这些项目。“评价点计算用变量”的项目能够任意地设定。

机器学习参数决定部15从决定规则存储部14的数据库读出与输入的机器学习设定信息所示的加工种类、输入的加工规格的信息所示的加工形状及重要性能相关联的“探索参数”、“探索范围”和“评价点计算用变量”的各信息。

探索参数决定部16取得“探索参数”的信息。在与控制参数的种类有关的用户指定信息包含于机器学习设定信息的情况下，探索参数决定部16基于用户指定信息对“探索参数”所示的控制参数的种类进行调整。由此，探索参数决定部16决定设为探索对象的控制参数。

探索范围决定部17取得“探索范围”的信息。探索范围决定部17基于基准加工条件，对“探索范围”所示的值的范围进行调整。例如，探索范围决定部17以与基准加工条件相比缩短休止时间且缩短跳跃动作的时间的方式对控制参数的值进行调整。并且，在与控制参数的值的范围有关的用户指定信息包含于机器学习设定信息的情况下，探索范围决定部17基于用户指定信息对“探索范围”所示的值的范围进行调整。由此，探索范围决定部17关于各控制参数，决定设为探索对象的值的范围。

评价点计算式决定部18取得“评价点计算用变量”的信息。由此，评价点计算式决定部18决定在评价点的计算式中使用的变量。即，评价点计算式决定部18决定评价点的计算式。包含表示进行探索的参数的种类的信息、表示进行探索的参数的值的范围的信息和决定出的计算式的信息在内的机器学习参数，从机器学习参数决定部15向机器学习部19输入。

加工条件探索装置10向加工规格输入部11输入加工规格，且将包含加工种类的信息在内的机器学习设定信息向机器学习设定输入部13输入，由此决定与输入的加工规格及加工种类相对应的机器学习参数。加工条件探索装置10能够决定与由用户指定出的任意的加工规格及加工种类相对应的机器学习参数。加工条件探索装置10将包含用户指定信息的机器学习设定信息向机器学习设定输入部13输入，由此能够进一步基于与控制参数的种类及控制参数的值的范围有关的用户的指定而决定机器学习参数。

在机器学习参数向机器学习部19输入后，在图2所示的步骤S4中，加工条件探索装置10开始加工条件从加工条件调整部24向放电加工机28的输出。放电加工机28按照从加工条件探索装置10输入的加工条件对被加工物进行加工。

向加工条件调整部24输入基准加工条件。在放电加工机28的加工开始时，加工条件调整部24将基准加工条件作为加工条件而输出。放电加工机28按照基准加工条件而开始加工。

在开始通过放电加工机28进行的加工后，在步骤S5中，加工条件探索装置10实施通过学习部22进行的机器学习。另外，加工条件探索装置10在加工条件调整部24中，基于机器学习结果对加工条件进行调整。

在放电加工机28进行加工时，向机器学习部19输入来自放电加工机28的状态数据。评价点计算部25根据状态数据而求出加工速度、加工稳定度和脉冲状态数据。例如，评价点计算部25根据加工深度的位移量对加工速度进行推定。评价点计算部25基于使电极移动的轴的移动量和放电的发生状况的数据对加工深度进行推定。放电的发生状况例如是放电发生次数等。评价点计算部25基于放电的合格与否的判定结果而求出脉冲状态数据。脉冲状态数据例如是表示电流脉冲或者电压脉冲的不良脉冲的比例的值。加工稳定度表示以一定期间为单位、例如以几ms为单位的放电发生次数的波动。评价点计算部25基于以一定期间为单位的放电发生次数而求出加工稳定度。放电发生次数的波动越大，则加工稳定性越低。例如，在由于放电发生次数的瞬间增加而加工不稳定的情况下，对在加工的控制中存在问题或者在放电位置的周围的状态中存在异常等进行推测。以一定期间为单位的放电发生次数越均一，则加工稳定性越高。

评价点计算部25取得从机器学习参数决定部15向机器学习部19输入的计算式的信息。评价点计算部25将加工速度、加工稳定度和脉冲状态数据代入至评价式，由此对评价点进行计算。

由评价点计算部25计算出的评价点和设为评价对象的加工条件向状态观测部23输入。另外，机器学习参数之中的表示进行探索的参数的种类的信息和表示进行探索的参数的值的范围的信息向状态观测部23输入。状态观测部23对评价点、设为评价对象的加工条件、表示进行探索的参数的种类的信息和表示进行探索的参数的值的范围的信息进行观测而作为状态变量。

学习部22按照基于状态变量而创建的数据集，对控制参数的值的最佳组合进行学习。学习部22生成用于在进行探索的参数的种类和进行探索的参数的值的范围中对控制参数的值的最佳组合进行探索的学习模型。此外，关于通过学习部22进行的机器学习的详细内容在后面记述。

由学习部22生成的学习模型向加工条件调整部24输入。加工条件调整部24基于学习模型对作为探索对象的各控制参数的值的组合进行推断，由此对加工条件进行调整。加工条件探索装置10将由加工条件调整部24调整后的加工条件向放电加工机28输出。

如上所述，机器学习部19对加工条件进行学习，基于学习结果对向放电加工机28输出的加工条件进行探索。例如，在按照从加工条件探索装置10输入的加工条件由放电加工机28进行粗加工的情况下，机器学习部19直至放电加工机28结束粗加工为止，始终以加工条件成为最佳的加工条件的方式进行加工条件的探索。

在步骤S6中，加工条件探索装置10将通过加工条件调整部24得到的加工条件的调整结果保存于加工条件调整结果存储部20。加工条件调整结果存储部20对由加工条件调整部24调整后的全部加工条件进行保持。

在步骤S7中，加工条件探索装置10在决定规则更新部21中对机器学习参数的决定规则进行更新。决定规则更新部21从加工条件调整结果存储部20读出加工条件，基于加工条件的调整结果对决定规则进行更新。加工条件探索装置10通过决定规则的更新，在与探索出加工条件的加工相同或者类似的此后的加工中，能够更高效地对加工条件进行探索。以上，加工条件探索装置10结束图2所示的顺序所涉及的处理。

图4是表示实施方式1所涉及的加工条件探索装置10中的加工条件的探索范围的例子的图。在图4中示出与“休止时间”、“跳跃参数1”及“跳跃参数2”的各控制参数有关的“最小值”、“最大值”及“刻度”的例子。在图4的左部示出通过实施方式1对探索范围进行划定前的各控制参数的值的范围。在图4的右部示出通过实施方式1划定后的探索范围。

在对探索范围进行划定前，“休止时间”、“跳跃参数1”及“跳跃参数2”各自能够取得16个值中的任意的值。在该情况下，“休止时间”、“跳跃参数1”及“跳跃参数2”的各值的组合数成为4096。

与此相对，通过实施方式1对探索范围进行划定，由此“休止时间”能够取得的值的数从16个减少为5个。“跳跃参数1”及“跳跃参数2”各自能够取得的值的数从16个减少为6个。由此，“休止时间”、“跳跃参数1”及“跳跃参数2”的各值的组合数从4096减少为180。

加工条件探索装置10能够对加工条件的探索范围进行限定而对加工条件进行探索，由此能够一边对加工条件进行调整，一边减少重复加工状态的观测的次数即试验次数。加工条件探索装置10能够准确且高效地对最佳的加工条件进行探索。

此外，在输入了与过去进行的加工时所输入的加工规格相同的加工规格的情况下，学习部22可以通过学习而对在该过去的加工时生成的学习模型进行更新。由此，加工条件探索装置10能够得到更高精度的学习模型，能够进行加工条件的高精度的探索。

接下来，对通过学习部22执行的机器学习的详细内容进行说明。学习部22创建将从状态观测部23输入的状态变量汇总而成的数据集。学习部22按照数据集，在进行探索的参数的种类和进行探索的参数的值的范围中对控制参数的值的最佳组合进行学习。学习部22所使用的学习算法可以使用任意的算法。作为一个例子，对在学习部22所使用的学习算法中应用强化学习(Reinforcement Learning)的情况进行说明。

在强化学习中，某环境内的智能体即行动主体对当前的状态进行观测，决定应采取的行动。智能体通过对行动进行选择而从环境得到回报，对通过一系列的行动而回报获得最多的对策进行学习。作为强化学习的代表方法，已知Q学习(Q-learning)、TD学习(TD－learning)等。例如，在Q学习的情况下，行动价值函数Q(s，a)的一般性的更新式即行动价值表通过以下的式(1)表示。行动价值函数Q(s，a)表示基于环境“s”对行动“a”进行选择的行动的价值即行动价值Q。

【式1】

Q(s

在上述式(1)中，“s

通过上述式(1)表示的更新式是如果时刻“t+1”的最好的行动“a”的行动价值大于在时刻“t”执行的行动“a”的行动价值Q，则增大行动价值Q，在相反的情况下，减小行动价值Q。换言之，以使时刻t的行动a的行动价值Q接近时刻t+1的最好的行动价值的方式对行动价值函数Q(s，a)进行更新。由此，某环境中的最好的行动价值不断依次传播为其以前的环境中的行动价值。

回报计算部26基于状态变量对回报进行计算。函数更新部27按照由回报计算部26计算的回报，对用于决定控制参数的值的组合即加工条件的函数进行更新。

回报计算部26基于放电加工的状态的评价结果即评价点对回报“r”进行计算。例如，对控制参数的值进行了变更，其结果，在评价点提高的情况下，回报计算部26使回报“r”增大。回报计算部26通过赋予回报的值即“1”，从而使回报“r”增大。此外，回报的值并不限定于“1”。另外，对控制参数的值进行了变更，其结果，在评价点降低的情况下，回报计算部26使回报“r”减少。回报计算部26通过赋予回报的值即“－1”，从而使回报“r”减少。此外，回报的值并不限定于“－1”。

函数更新部27按照由回报计算部26计算的回报，对用于决定加工条件的函数进行更新。函数的更新能够按照数据集，例如通过对行动价值表进行更新而进行。行动价值表是将任意的行动和其行动价值相关联而通过表的形式存储的数据集。例如在Q学习的情况下，将通过上述式(1)表示的行动价值函数Q(s

图5是表示通过实施方式1所涉及的加工条件探索装置10的学习部22进行的学习顺序的流程图。参照图5的流程图，对更新行动价值函数Q(s，a)的强化学习方法进行说明。

在步骤S11中，学习部22取得基于状态变量而创建的数据集。在步骤S12中，学习部22基于评价点对回报进行计算。在步骤S13中，学习部22基于回报对行动价值函数Q(s，a)进行更新。在步骤S14中，学习部22判断行动价值函数Q(s，a)是否收敛。学习部22根据不进行步骤S13中的行动价值函数Q(s，a)的更新而判断为行动价值函数Q(s，a)收敛。

在判断为行动价值函数Q(s，a)没有收敛的情况下(步骤S14，No)，学习部22使顺序向步骤S11返回。在判断为行动价值函数Q(s，a)收敛的情况下(步骤S14，Yes)，学习部22结束图5所示的顺序的学习。此外，学习部22也可以不进行步骤S14所涉及的判断，而是使顺序从步骤S13向步骤S11返回而继续学习。

学习部22将生成的行动价值函数Q(s，a)即学习模型向加工条件调整部24输出。加工条件调整部24基于学习模型对探索对象即各控制参数的值的组合进行推断，由此对加工条件进行调整。

在实施方式1中，对在学习部22所使用的学习算法中应用强化学习的情况进行了说明，但在学习算法中也可以应用强化学习以外的学习。学习部22可以使用强化学习以外的公知的学习算法，例如深层学习(Deep Learning)、神经网络、遗传编程、归纳逻辑编程或者支持向量机这样的学习算法而执行机器学习。

学习部22并不限定于内置在加工条件探索装置10。学习部22可以通过加工条件探索装置10的外部的装置实现。在该情况下，作为学习部22起作用的装置可以是能够经由网络与加工条件探索装置10连接的装置。作为学习部22起作用的装置也可以是存在于云服务器上的装置。

学习部22可以按照关于多个加工条件探索装置10创建出的数据集对加工条件进行学习。学习部22可以基于从在同一现场使用的多个加工条件探索装置10得到的数据而创建数据集，或者也可以基于从在彼此不同的现场使用的多个加工条件探索装置10得到的数据而创建数据集。数据集可以从在多个现场彼此独立地运转的多个加工条件探索装置10进行收集。在开始进行来自多个加工条件探索装置10的数据集的收集之后，可以在对数据集进行收集的对象中追加新的加工条件探索装置10。另外，在开始进行来自多个加工条件探索装置10的数据集的收集之后，可以从对数据集进行收集的对象将多个加工条件探索装置10之中的一部分排除在外。

关于某1个加工条件探索装置10进行了学习的学习部22，可以进行与该加工条件探索装置10以外的其他加工条件探索装置10有关的学习。进行与该其他加工条件探索装置10有关的学习的学习部22，通过该其他加工条件探索装置10中的再学习，能够对学习模型进行更新。

接下来，对加工条件探索装置10的硬件结构进行说明。图6是表示实施方式1所涉及的加工条件探索装置10的硬件的结构例的图。图6所示的结构例是将加工条件探索装置10的要部通过具有处理器32和存储器33的处理电路30实现的情况下的结构例。图1所示的加工条件创建部12、机器学习参数决定部15、机器学习部19及决定规则更新部21是加工条件探索装置10的要部。

处理器32是CPU(Central Processing Unit)。处理器32可以是运算装置、微处理器、微型计算机或者DSP(Digital Signal Processor)。存储器33例如是RAM(RandomAccess Memory)、ROM(Read Only Memory)、闪存、EPROM(Erasable Programmable ReadOnly Memory)、EEPROM(注册商标)(Electrically Erasable Programmable Read OnlyMemory)等。

在存储器33中储存用于作为加工条件探索装置10的要部进行动作的程序即加工条件探索程序。处理器32读出加工条件探索程序而执行，由此能够实现加工条件探索装置10的要部。此外，在存储器33中储存的加工条件探索程序例如可以是在写入至CD(CompactDisc)－ROM、DVD(Digital Versatile Disc)－ROM等存储介质的状态下进行提供的方式，也可以是经由通信线路进行提供的方式。

加工条件探索装置10的要部也可以取代由处理器32及存储器33，而是由专用的处理电路实现。专用的处理电路是单一电路、复合电路、ASIC(Application SpecificIntegrated Circuit)、FPGA(Field Programmable Gate Array)或者将它们组合后的电路。此外，关于加工条件探索装置10的要部，也可以将功能的一部分由处理器32及存储器33实现，将剩余的功能由专用的处理电路实现。

输入部31是从外部接收针对加工条件探索装置10的输入信号的电路。向输入部31输入来自放电加工机28的状态数据。另外，输入部31包含接受输入操作的输入装置。加工规格输入部11及机器学习设定输入部13通过输入装置实现。

输出部35是将由加工条件探索装置10生成的信号向加工条件探索装置10的外部进行输出的电路。输出部35将通过加工条件探索装置10调整后的加工条件向放电加工机28输出。

存储装置34对各种信息进行存储。存储装置34是HDD(Hard Disk Drive)或者SSD(Solid State Drive)等。决定规则存储部14及加工条件调整结果存储部20通过存储装置34实现。

根据实施方式1，加工条件探索装置10对用于放电加工的加工条件进行学习，基于学习结果，对向放电加工机28输出的加工条件进行探索。加工条件探索装置10基于加工规格而决定表示设为探索对象的控制参数和设为探索对象的控制参数的值的范围的机器学习参数。加工条件探索装置10决定机器学习参数，通过基于决定出的机器学习参数的学习对加工条件进行探索，由此能够高效地对适于加工状态的加工条件进行探索。以上，加工条件探索装置10具有能够实现用于放电加工的加工条件的高效探索这一效果。

以上的实施方式所示的结构示出本发明的内容的一个例子。实施方式的结构能够与其他的公知技术进行组合。在不脱离本发明的主旨的范围能够将实施方式的结构的一部分省略或者变更。

标号的说明

10加工条件探索装置，11加工规格输入部，12加工条件创建部，13机器学习设定输入部，14决定规则存储部，15机器学习参数决定部，16探索参数决定部，17探索范围决定部，18评价点计算式决定部，19机器学习部，20加工条件调整结果存储部，21决定规则更新部，22学习部，23状态观测部，24加工条件调整部，25评价点计算部，26回报计算部，27函数更新部，28放电加工机，30处理电路，31输入部，32处理器，33存储器，34存储装置，35输出部。