一种基于大语言模型提取倒闸操作信息的方法及系统

摘要

本发明公开了一种基于大语言模型提取倒闸操作信息的方法及系统，涉及变电站运维技术领域，解决了传统NLP技术进行倒闸操作信息提取时，无法理解设备、操作同义表达的问题，其技术方案要点是：首先，通过分析设备/操作存在的同义表达，借助现有PLM预训练大语言模型对同义表达进行识别，基于模型识别错误的同义表达生成知识对话集，用于训练大语言模型的专业理解能力；其次，基于工作票和人工标注的倒闸操作信息生成任务对话集，用于训练大语言模型的问答功能；最终获得电力领域LLM模型，可从理解设备、操作的同义表达并以问答的方式提取倒闸操作信息，提高开票效率。

说明书

技术领域

本发明涉及变电站运维技术领域，更具体地说，它涉及一种基于大语言模型提取倒闸操作信息的方法及系统。

背景技术

在电力系统中，变电站作为一个非常重要的部分，具有不可或缺的作用，在对变电站设备检修时，需要先由检修班编写检修工作票，然后由运维班根据检修工作票内容编写倒闸操作票。变电站倒闸操作票是操作人员安全进行倒闸操作的依据，是变电站运行管理的重要方式，同时也是对相关工作人员及电气设备的安全保障。

目前，检修工作票和倒闸操作票的编写主要是由人工以手写的方式完成，一方面是为了使操作人员熟悉对设备的操作，另一方面是从安全角度考虑，保障出票的正确性。但由于编写人员的技术水平、经验知识差异性很大，再加上变电站设备的复杂性，工作票中描述的操作信息与设备信息时常带有多种表述方式，如设备别名的不统一，连词使用不统一等。尽管近年来自然语言处理技术取得了显著的进步，但在深度知识理解和复杂语境解析等方面仍然存在挑战。特别是当涉及大量、复杂、互相关联的信息时，传统NLP技术往往无法提供足够精确的解决方案。如二次设备中的测控电压空气开关有测控电压空气开关、测控、测控空开、测控电压开关、测控空气开关、测控电压空开、测控开关等表述，传统NLP技术虽然可以提取关键信息但是无法兼容设备的不同称谓的情况。

有基于此，发明人提供一种基于大语言模型提取倒闸操作信息的方法及系统，解决上述问题。

发明内容

本申请的目的是提供一种基于大语言模型提取倒闸操作信息的方法及系统，解决传统NLP技术进行倒闸操作信息提取时，无法理解设备、操作同义表达的问题。通过构建电力领域LLM模型，对相似的实体进行关联映射，使得模型理解变电站设备、操作的不同表达和设备间的复杂关系，提高其在工作票深度知识理解和复杂语境解析等任务上的性能，提高倒闸操作信息的提取精度。通过构建对话语料训练模型，使得模型可以通过对话的方式快速提取工作票中的倒闸操作信息，提高开票的效率与便捷性。

本申请首先提供一种基于大语言模型提取倒闸操作信息的方法，包括：获取工作票数据，将所述工作票数据输入电力领域LLM模型，获取倒闸操作信息；其中，所述电力领域LLM模型通过如下方法得到：S1、收集历史工作票数据，对所述历史工作票数据进行清洗与拆分，提取有效工作票数据，对所述有效工作票数据进行词性分析和实体命名任务处理，将处理后的有效工作票数据存入工作票库；S2、对所述工作票库内的有效工作票数据进行名词实体和动词实体抽取，对所述名词实体和动词实体进行向量化转换后分析相关的聚类数据，获得多组映射对，通过多组映射对评估PLM预训练大语言模型的理解能力，基于评估结果为消极的映射对构建知识对话集；对所述工作票库内的有效工作票进行人工标注操作信息，通过有效工作票和人工标注的操作信息构建任务对话集； S3、通过知识对话集和任务对话集构建训练语料和测试语料，将训练语料输入PLM预训练大语言模型进行指令精调，获得电力领域LLM模型；S4、将测试语料输入所述电力领域LLM模型验证准确性。

传统的人工开票效率低下，基于NLP技术的开票方法虽然提高了开票效率，但无法识设备、操作的关联表达，对工作票的填写要求高。为此，本方法首先借助现有PLM预训练大语言模型对同义表达进行识别，基于模型识别错误的同义表达生成知识对话集，提高模型的专业理解能力；其次，基于工作票和人工标注的倒闸操作信息生成任务对话集，用于训练大语言模型的问答功能，可从输入的工作票中提取倒闸操作信息，并以设定的格式输出，可辅助提高开票效率。

在一种可能的实施方式中，对所述工作票库内的有效工作票数据进行名词实体和动词实体抽取，对所述名词实体和动词实体进行向量化转换后分析相关的聚类数据，获得多组映射对，通过多组映射对评估PLM预训练大语言模型的理解能力，基于评估结果为消极的映射对构建知识对话集；包括：通过NLP技术中的词性标注与命名实体识别任务对工作票库中的名词实体和动词实体进行标注和提取，存储于操作设备实体库；对所述名词实体和动词实体通过embedding模型进行向量化，对向量化后的名词实体和动词实体进行聚类分析，将相似度达到阈值的名词实体或动词实体组成映射对；将映射对输入PLM预训练大语言模型进行相似度评估，提取评估结果消极的映射对；基于评估结果消极的映射对构建知识对话集，用于后续对PLM预训练大语言模型进行微调训练以纠正模型的错误评估。

在一种可能的实施方式中，将映射对输入PLM预训练大语言模型进行相似度评估，提取评估结果消极的映射对；包括：基于映射对构建Prompt提示词并输入PLM预训练大语言模型，获得PLM预训练大语言模型的相似度评估结果，将PLM预训练大语言模型认为不相似的映射对作为评估结果消极的映射对。

在一种可能的实施方式中，对所述工作票库内的有效工作票进行人工标注操作信息，通过有效工作票和人工标注的操作信息构建任务对话集；包括：通过有效工作票生成具有推理逻辑的模型输入语句，通过人工标注的操作信息生成具有推理逻辑的模型输出语句，根据所述模型输入语句和模型输出语句生成任务对话集。

在一种可能的实施方式中，通过知识对话集和任务对话集构建训练语料和测试语料，将训练语料输入PLM预训练大语言模型进行指令精调，获得电力领域LLM模型；包括：在PLM预训练大语言模型中涉及矩阵相乘的结构处增加Lora结构，获得改进的PLM预训练大语言模型；按比例从所述知识对话集和所述任务对话集中选取训练语料和测试语料；通过所述训练语料对改进的PLM预训练大语言模型进行指令精调训练，获得回答获得高分的模型，作为电力领域LLM模型。

本申请还提供一种基于大语言模型提取倒闸操作信息的系统，包括：数据采集模块，用于获取工作票数据；电力领域LLM模型模块，用于训练电力领域LLM模型并将所述工作票数据输入电力领域LLM模型，获得倒闸操作信息；以及操作信息输出模块，用于输出倒闸操作信息；其中，所述电力领域LLM模型模块包括：数据预处理模块，用于收集历史工作票数据，对所述历史工作票数据进行清洗与拆分，提取有效工作票数据，对所述有效工作票数据进行词性分析和实体命名任务处理，将处理后的有效工作票数据存入工作票库；数据集构建模块，用于对所述工作票库内的有效工作票数据进行名词实体和动词实体抽取，对所述名词实体和动词实体进行向量化转换后分析相关的聚类数据，获得多组映射对，通过多组映射对评估PLM预训练大语言模型的理解能力，基于评估结果为消极的映射对构建知识对话集；对所述工作票库内的有效工作票进行人工标注操作信息，通过有效工作票和人工标注的操作信息构建任务对话集；模型训练与精调模块，用于通过知识对话集和任务对话集构建训练语料和测试语料，将训练语料输入PLM预训练大语言模型进行指令精调，获得电力领域LLM模型；模型测试模块，用于将测试语料输入所述电力领域LLM模型验证准确性。

在一种可能的实施方式中，所述数据集构建模块，包括：操作设备实体库构建模块，用于通过NLP技术中的词性标注与命名实体识别任务对工作票库中的名词实体和动词实体进行标注和提取，存储于操作设备实体库；映射对构建模块，用于对所述名词实体和动词实体通过embedding模型进行向量化，对向量化后的名词实体和动词实体进行聚类分析，将相似度达到阈值的名词实体或动词实体组成映射对；模型评估模块，用于将映射对输入PLM预训练大语言模型进行相似度评估，提取评估结果消极的映射对；知识对话集构建模块，用于基于评估结果消极的映射对构建知识对话集，后续对PLM预训练大语言模型进行微调训练以纠正模型的错误评估。

在一种可能的实施方式中，模型评估模块，还用于：基于映射对构建Prompt提示词并输入PLM预训练大语言模型，获得PLM预训练大语言模型的相似度评估结果，将PLM预训练大语言模型认为不相似的映射对作为评估结果消极的映射对。

在一种可能的实施方式中，所述数据集构建模块还包括：任务对话集构建模块，用于通过有效工作票生成具有推理逻辑的模型输入语句，通过人工标注的操作信息生成具有推理逻辑的模型输出语句，根据所述模型输入语句和模型输出语句生成任务对话集。

在一种可能的实施方式中，所述模型训练与精调模块，还包括：模型改进模块，用于在PLM预训练大语言模型中涉及矩阵相乘的结构处增加Lora结构，获得改进的PLM预训练大语言模型；训练测试集生成模块，用于按比例从所述知识对话集和所述任务对话集中选取训练语料和测试语料；模型训练模块，用于通过所述训练语料对改进的PLM预训练大语言模型进行指令精调训练，获得回答获得高分的模型，作为电力领域LLM模型。

与现有技术相比，本申请具有以下有益效果：首先，通过分析设备/操作存在的同义表达，借助现有PLM预训练大语言模型对同义表达进行识别，基于模型识别错误的同义表达生成知识对话集，用于训练语言模型的专业理解能力；其次，基于工作票和人工标注的倒闸操作信息生成任务对话集，用于训练语言模型的问答功能；最终获得电力领域LLM模型，可从理解设备、操作的同义表达并以问答的方式提取倒闸操作信息，提高开票效率。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明提供的电力领域LLM模型的构建步骤示意图；

图2为本发明提供的电力领域LLM模型的构建流程示意图；

图3为本发明提供的指令精调的流程示意图；

图4为本发明提供的基于大语言模型提取倒闸操作信息的系统结构示意图。

实施方式

为使本申请的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本申请作进一步的详细说明，本申请的示意性实施方式及其说明仅用于解释本申请，并不作为对本申请的限定。

为解决人工开票效率低下，传统NLP技术进行倒闸操作信息提取无法理解设备、操作同义表达的问题。本申请提供一种基于大语言模型提取倒闸操作信息的方法及系统，通过聚类分析获取同义表达，通过同义表达训练现有模型的专业理解能力，使其实现对设备、操作的不同表达和设备间复杂关系的理解；通过构造对话语料训练模型，使其实现以对话的方式输出闸操作信息，辅助提高开票效率。

请参见图1所示，图1为电力领域LLM模型的构建步骤示意图。如图1所示，基于大语言模型提取倒闸操作信息的方法包括：获取工作票数据，将所述工作票数据输入电力领域LLM模型，获取倒闸操作信息；其中，所述电力领域LLM模型通过如下方法得到：

S1、收集历史工作票数据，对所述历史工作票数据进行清洗与拆分，提取有效工作票数据，对所述有效工作票数据进行词性分析和实体命名任务处理，将处理后的有效工作票数据存入工作票库；

S2、对所述工作票库内的有效工作票数据进行名词实体和动词实体抽取，对所述名词实体和动词实体进行向量化转换后分析相关的聚类数据，获得多组映射对，通过多组映射对评估PLM预训练大语言模型的理解能力，基于评估结果为消极的映射对构建知识对话集；对所述工作票库内的有效工作票进行人工标注操作信息，通过有效工作票和人工标注的操作信息构建任务对话集；

S3、通过知识对话集和任务对话集构建训练语料和测试语料，将训练语料输入PLM预训练大语言模型进行指令精调，获得电力领域LLM模型；

S4、将测试语料输入所述电力领域LLM模型验证准确性。

具体地，收集生产环境中的历史工作票数据，然后对历史工作票数据进行数据清洗，过滤作废票、填写不标准的工作票数据等，保留有效的工作票数据，组成工作票库。接着对工作票库内的有效工作票数据进行两方面的处理：

一方面，从有效工作票数据中提取名词实体和动词实体，名词实体通常为设备名称，动词实体通常为操作，将名词实体和动词实体向量化，基于向量化后的名词实体和动词实体进行聚类，将相似度达到了阈值的名词实体或动词实体认为是同义表达，建立映射关系，组成映射对；通过映射对测试现有PLM预训练大语言模型的理解能力，基于模型理解错误的映射对构建知识对话集，用于训练PLM预训练大语言模型的专业理解能力。

另一方面，对有效工作票数据进行人工标注倒闸操作信息，道闸操作信息包含：用于生成操作票的标准动作和标准设备实体。基于工作票和倒闸操作信息对构建任务对话集，用于训练PLM预训练大语言模型的回答能力。

最后基于知识对话集和任务对话集构建训练语料和测试语料，对PLM预训练大语言模型的专业理解能力和回答能力进行训练，最终获得可以理解设备/操作同义表达并以问答模式提取倒闸操作信息的电力领域LLM模型。

需要说明的是，PLM预训练大语言模型（Pre-trained Language Model）是指预训练后的大语言模型，预训练通常通过大量公开数据进行训练，使其具备常规的文本理解、回答能力，但由于缺乏详尽的专业领域数据，模型在专业问题理解上可能存在欠缺。LLM语言模型（Large Language Model）是指大语言模型，本例的大语言模型是在PLM预训练大语言模型的基础上经过电力领域数据（知识对话集和任务对话集）训练得到，使其可以理解设备/操作同义表达并以问答模式提取倒闸操作信息。这里描述的大语言数据主要是指基于Transformer结构构建的参数规模较大的模型。

可以理解的是，本方法通过提取电力领域的同义表达对具备基础知识的PLM预训练大语言模型进行训练，可以大大节省训练时间，保证模型的专业理解能力；通过人工标注的标准的任务对话集对模型进行训练，使得模型能以问答的模式输出倒闸操作信息，输出格式可根据任务对话集进行设置。本方法得到的电力领域LLM模型可以理解电力设备、操作的同义表达，并以问答的模式提取倒闸操作信息，辅助开票。

请参见图2所示，图2为电力领域LLM模型的构建流程示意图。步骤S2中，对所述工作票库内的有效工作票数据进行名词实体和动词实体抽取，对所述名词实体和动词实体进行向量化转换后分析相关的聚类数据，获得多组映射对，通过多组映射对评估PLM预训练大语言模型的理解能力，基于评估结果为消极的映射对构建知识对话集；包括：

S21、通过NLP技术中的词性标注与命名实体识别任务对工作票库中的名词实体和动词实体进行标注和提取，存储于操作设备实体库；

S22、对所述名词实体和动词实体通过embedding模型进行向量化，对向量化后的名词实体和动词实体进行聚类分析，将相似度达到阈值的名词实体或动词实体组成映射对；

S23、将映射对输入PLM预训练大语言模型进行相似度评估，提取评估结果消极的映射对；

S24、基于评估结果消极的映射对构建知识对话集，用于后续对PLM预训练大语言模型进行微调训练以纠正模型的错误评估。

进一步，步骤S23、将映射对输入PLM预训练大语言模型进行相似度评估，提取评估结果消极的映射对；包括：基于映射对构建Prompt提示词并输入PLM预训练大语言模型，获得PLM预训练大语言模型的相似度评估结果，将PLM预训练大语言模型认为不相似的映射对作为评估结果消极的映射对。

具体地，通过传统的实体命名、词性分析等NLP模型对工作票库内的名词实体和动词实体进行辅助人工标注后提取并存储在操作设备实体库；对操作设备实体库内的实体（名词实体和动词实体）通过embedding模型进行向量化转换，并对转换后的向量进行传统机器学习中的聚类算法（如K-Means、Mean Shift等基于划分、密度、层次之类的聚类算法）分析后，将相近的实体进行双向映射，组成映射对。如“测控电压开关”与“测控空气开关”、“拉至”与“拉到”等建立映射关系。选择基于Transformer网络结构开源的PLM预训练大语言模型，如ChatGLM、Llama 等大语言模型，将这些映射对构建为Prompt提示词让PLM预训练大语言模型对其进行相似度评估。

构建Prompt提示词：在电网业务场景中，“测控电压开关”与“测控空气开关”是否表示为同一类设备，你只能用“是”或者“否”进行回答。

PLM预训练大语言模型的答复：是。

将所有的映射对通过上述步骤处理后，把PLM预训练大语言模型现有知识体系认为不相似的实体映射对保存至操作设备聚类库。通过操作设备聚类库中的实体建立知识对话集，知识对话集主要通过人工和程序脚本辅助生成的方式构建，对话集基于Zero-ShotLearning与Few-Shot Learning的原则编写，用领域知识编写具有推理逻辑的内容，表达实体间在领域中的关系。如下面的知识对话：

问: 在电网业务中“测控电压开关”与“测控空气开关”有什么关系？

答：“测控空气开关”是在电网检修和运维业务场景中对“测控电压开关”设备的一种简称，在操作票成票过程中应使用双重命名的原则进行描述。

需要说明的是，PLM预训练大语言模型有多种选择，可以直接选用开源PLM预训练大语言模型，节省开发成本。在选择时，可以通过操作设备聚类库中的映射对对模型的现有知识体系进行评估，选择专业理解能力高的PLM预训练大语言模型，即对映射对的相似性判断正确率高的模型，提高训练效率。

请参见图2所示，步骤S2中，对所述工作票库内的有效工作票进行人工标注操作信息，通过有效工作票和人工标注的操作信息构建任务对话集；包括：S25、通过有效工作票生成具有推理逻辑的模型输入语句，通过人工标注的操作信息生成具有推理逻辑的模型输出语句，根据所述模型输入语句和模型输出语句生成任务对话集。此处的推理逻辑是基于Zero-Shot Learning与Few-Shot Learning的原则编写的可供模型推理得到结论的内容。任务对话集，可参见以下方式构建：

电力行业运维班成员：从工作票安全措施“拉开921、716、937开关及控制电源、储能电源空气开关；”中提取出生成操作票步骤的关键信息，用|分隔一个一次设备的操作动作、一次设备信息、二次设备信息，如果有多个二次设备与一次设备关联，在后面用逗号分隔多个二次设备。如果有多个一次设备，请用多行回答我。

大语言模型：

拉开|921开关|控制电源，储能电源；

拉开|716开关|控制电源，储能电源；

拉开|937开关|控制电源，储能电源。

在一种可能的实施方式中，步骤S3、通过知识对话集和任务对话集构建训练语料和测试语料，将训练语料输入PLM预训练大语言模型进行指令精调，获得电力领域LLM模型；包括：

S31、在PLM预训练大语言模型中涉及矩阵相乘的结构处增加Lora结构，获得改进的PLM预训练大语言模型；

S32、按比例从所述知识对话集和所述任务对话集中选取训练语料和测试语料；

S33、通过所述训练语料对改进的PLM预训练大语言模型进行指令精调训练，获得回答获得高分的模型，作为电力领域LLM模型。

具体地，对步骤S23中选择的PLM预训练大语言模型Transformer结构中涉及矩阵相乘的地方，在它旁边增加一个Lora结构形成的新通路，Lora结构的作用主要是通过前后两个矩阵A、B相乘，第一个矩阵A负责降维，第二个矩阵B负责升维，中间层维度为r，从而来模拟本征秩（intrinsic rank）。Lora结构中可训练层维度和预训练模型层维度一致为d，先将维度d通过全连接层降维至r，再从r通过全连接层映射回d维度，这样矩阵计算就从d x d变为d x r + r x d，对PLM预训练大语言模型精调中需要训练的参数量便减少很多。本方法中将Lora模块的设置为8，即降维和升维的维度均为8，这样可以将参数量减少至原来的1/4，减少了指令精调过程中需要训练的参数量。

将知识对话集和任务对话集通过一定比例的采样后形成训练语料和测试语料，该过程中针对不同的数据集会使用不同的采样比例，例如知识对话集按9:1比例采样，任务对话集按7：3比例采样。将训练语料用于改进的PLM预训练大语言模型进行指令精调训练，具体分为有监督精调（Supervised Finetuning）、奖励模型训练（Reward Modeling）和强化学习（Reinforcement Learning）三个阶段，主要目的是对大语言模型进行领域（电力领域）、交互、安全的对齐。请参见图3所示，图3为指令精调的流程示意图。包含：

有监督精调阶段：使用具备Zero-Shot Learning与Few-Shot Learning特性的训练语料对PLM语言模型进行训练，该阶段训练后会生成有监督微调模型（SFT Model）。

奖励模型训练阶段: 该阶段主要是将训练语料发送给有监督微调模型（SFTModel），将模型返回的结果进行人工补充对话后形成新的奖励模型训练数据，用这些训练数据训练出一个有评分能力的奖励模型（RM Model）。

强化学习阶段：该阶段通过奖励模型对有监督微调模型的回答进行评分奖励训练，目标是将有监督微调模型训练为回答可获得高分的模型，此阶段的意义在于将有监督微调模型通过奖励模型与人类对话集进行对齐，最终生成电力领域LLM模型。

由此，得到的电力领域LLM模型，即可从工作票中提取倒闸操作信息，用于生成操作票。具体是使用Prompt提示词工程进行模型调用，如：

Prompt提示词: 你现在运维班成员，请从工作票安措内容中提取出生成操作票步骤的关键信息，安措内容由符号#包围。

如果操作动作是拉合或合上，用|分隔一个一次设备的操作动作、一次设备信息、二次设备信息，如果有多个二次设备与一次设备关联,在后面用逗号分隔多个二次设备。如果有多个一次设备，请用多行回答。

如果操作动作是投入或退出，则操作的设备为压板，它与屏柜、保护装置相关联。用|分隔一个压板的操作动作、压板信息、压板编号，其中压板信息由屏柜名称、保护装置名称和压板名称组成，并用逗号分隔。如果有多个压板信息，请用多行回答。

如果操作动作是拉至，则操作设备为手车，用|分隔一个一次设备的操作动作、一次设备信息、一次设备操作状态,其中一次设备操作状态由初始状态和目标状态组成，并用逗号分隔。如果有多个一次设备，请用多行回答。

#拉开921、716、937开关及控制电源、测控空气开关；#

电力领域大模型：

拉开|921开关|控制电源，测控电压开关；

拉开|716开关|控制电源，测控电压开关；

拉开|937开关|控制电源，测控电压开关。

本方法借助现有PLM预训练大语言模型对同义表达进行识别，基于模型识别错误的同义表达生成知识对话集，其次，基于工作票和人工标注的倒闸操作信息生成任务对话集，用于训练大语言模型的问答功能，最终训练生成电力领域LLM模型，可从输入的工作票中提取倒闸操作信息，并以设定的格式问答输出，辅助提高开票效率。

请参见图4所示，图4为基于大语言模型提取倒闸操作信息的系统结构示意图。系统用于实现上述的方法。系统，包括：数据采集模块，用于获取工作票数据；电力领域LLM模型模块，用于训练电力领域LLM模型并将所述工作票数据输入电力领域LLM模型，获得倒闸操作信息；以及操作信息输出模块，用于输出倒闸操作信息；

其中，所述电力领域LLM模型模块包括：数据预处理模块，用于收集历史工作票数据，对所述历史工作票数据进行清洗与拆分，提取有效工作票数据，对所述有效工作票数据进行词性分析和实体命名任务处理，将处理后的有效工作票数据存入工作票库；数据集构建模块，用于对所述工作票库内的有效工作票数据进行名词实体和动词实体抽取，对所述名词实体和动词实体进行向量化转换后分析相关的聚类数据，获得多组映射对，通过多组映射对评估PLM预训练大语言模型的理解能力，基于评估结果为消极的映射对构建知识对话集；对所述工作票库内的有效工作票进行人工标注操作信息，通过有效工作票和人工标注的操作信息构建任务对话集；模型训练与精调模块，用于通过知识对话集和任务对话集构建训练语料和测试语料，将训练语料输入PLM预训练大语言模型进行指令精调，获得电力领域LLM模型；模型测试模块，用于将测试语料输入所述电力领域LLM模型验证准确性。

在一种可能的实施方式中，所述数据集构建模块，包括：操作设备实体库构建模块，用于通过NLP技术中的词性标注与命名实体识别任务对工作票库中的名词实体和动词实体进行标注和提取，存储于操作设备实体库；映射对构建模块，用于对所述名词实体和动词实体通过embedding模型进行向量化，对向量化后的名词实体和动词实体进行聚类分析，将相似度达到阈值的名词实体或动词实体组成映射对；模型评估模块，用于将映射对输入PLM预训练大语言模型进行相似度评估，提取评估结果消极的映射对；知识对话集构建模块，用于基于评估结果消极的映射对构建知识对话集，后续对PLM预训练大语言模型进行微调训练以纠正模型的错误评。

在一种可能的实施方式中，模型评估模块，还用于：基于映射对构建Prompt提示词并输入PLM预训练大语言模型，获得PLM预训练大语言模型的相似度评估结果，将PLM预训练大语言模型认为不相似的映射对作为评估结果消极的映射对。

在一种可能的实施方式中，所述数据集构建模块还包括：任务对话集构建模块，用于通过有效工作票生成具有推理逻辑的模型输入语句，通过人工标注的操作信息生成具有推理逻辑的模型输出语句，根据所述模型输入语句和模型输出语句生成任务对话集。

在一种可能的实施方式中，所述模型训练与精调模块，还包括：模型改进模块，用于在PLM预训练大语言模型中涉及矩阵相乘的结构处增加Lora结构，获得改进的PLM预训练大语言模型；训练测试集生成模块，用于按比例从所述知识对话集和所述任务对话集中选取训练语料和测试语料；模型训练模块，用于通过所述训练语料对改进的PLM预训练大语言模型进行指令精调训练，获得回答获得高分的模型，作为电力领域LLM模型。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。