基于任务难度评估和级联优化的立法意见审查系统及方法

摘要

本发明公开了一种基于任务难度评估和级联优化的立法意见审查系统及方法，利用任务难度评估路由模块用于评估立法意见审查处理任务的难度，根据任务难度评估结果自适应选择所述生成语言模型链路中费率低并且模型能力可接受的路径；利用立法意见审查模块对各自适应选择的各自主选择的所述路径下使用预训练LLM模型集合进行立法意见审查；利用立法意见审查生成结果评分模块进行各处理结果评分，判断自适应选择的路径中的LLM模型生成的处理结果是否正确答案。相较于现有技术，本发明实现了立法意见审查任务在处理性能及费率上的双重优化，并且提出了利用预训练大模型对立法意见的紧迫性、必要性、可行性等要点的评估方法。

说明书

技术领域

本发明涉及人工智能和自然语言处理技术领域，特别是涉及一种立法意见审查系统及方法。

背景技术

目前针对立法规划计划的意见的审查工作，主要依赖于人工方式进行。尚未查到针对立法规划计划意见的紧迫性、重要性、可行性的智能审查方法。人工进行意见审查存在以下缺点：容易出错：人工审查可能会出现疏漏、错误或主观判断等问题，这可能会导致意见审查不准确或不公正。人工进行意见审查只能处理有限数量的意见，难以满足快速审查的需求，也难以应对意见规模的快速增长，以及，时间成本高、工作量大效率降低。

在立法规划计划的制定过程中，需要对来自各单位及专家学者的意见、媒体观点、学术期刊等信息进行广泛收集并存储。面对这些来源复杂、种类繁多、质量参差不齐的意见信息，需要对意见中的主题进行摘要、识别、分类，并判定这些意见的紧迫性、重要性、可行性。目前业界尚未有成熟的方法，对这些意见的紧迫性、重要性、可行性进行量化分析。

在大数据和人工智能技术不断发展的今天，越来越多的应用需要处理大量的自然语言数据。这对于涉及大量查询的高吞吐量应用来说可能会导致巨大的成本。通常能力越强的模型，费用越高。生成式语言模型的出现，为立法意见量化分析这一技术问题提供了一种途径，但是生成式语言模型通常不是免费的，处理一次需要向模型供应商交付一定的费率；同时不同的模型费率也有所区别，收费高低因模型的智能能力强弱而定。因此，在使用这些大语言模型LLM(如GPT3.5、GPT4.0,chatGLM-6B等)时，需要根据实际任务复杂度、预算考虑采用何种模型。

发明内容

本发明的目的在于基于现有技术而提出的一种基于任务难度评估和级联优化的立法意见审查系统及方法，设计了基于生成式语言模型链路实现性能和费率双重优化的立法意见审查。

本发明利用以下技术方案实现：

一种基于任务难度评估和级联优化的立法意见审查系统，包括：生成式语言模型链路以及依序相连的任务难度评估路由模块、立法意见审查模块和立法意见审查生成结果评分模块；

所述任务难度评估路由模块用于评估立法意见审查处理任务的难度，根据任务难度评估结果自适应选择所述生成语言模型链路中费率低并且模型能力可接受的路径；所述生成式语言模型链路包括多级预训练大语言模型LLM1,LLM2,LLM3,...,LLMj构成的级联链路；所述立法意见审查模块用于各所述路径下使用预训练大语言模型LLM集合进行立法意见审查，得到立法意见审查生成结果；所述立法意见审查生成结果评分模块用于进行各处理结果评分。

进一步的，所述级联链路中的多级LLM1,LLM2,LLM3,...,LLMj模型在费率和能力上的关系表示如下：

费率关系：LLMj模型费率＞...＞LLM3模型费率＞LLM2模型费率＞LLM1模型费率；

模型能力强弱关系：LLMj模型能力费率＞...＞LLM3模型能力＞LLM2模型能力＞LLM1模型能力。

进一步的，所述任务难度评估路由模块根据不同的维度对任务难度进行分级，所述维度包括对话轮次、角色、提示指令的表达方式和其它信息的详细程度：其中，所述对话轮次分为单轮对话和多轮对话，所述角色是对话任务中的每个角色及其职责；所述提示指令的表达方式包括强调询问和强调指示；所述提示指令中给出的详细信息的数量和形式。

进一步的所述立法意见审查生成评分模块中，评分用符号g(·,·)表示：Q×A→[0,1]，Q表示查询集，A表示真实答案集，给定一个查询q和一个由第i个大语言模型LLMi的API生成的答案f

进一步的，将学习选定列表L和阈值向量T建模为一个约束优化问题，约束优化公式如下式所示：

其中，z表示路由器停止在LLMz,并返回答案，第一个约束确保平均成本受预算限制，并且客观测量查询q与真实答案a相比生成f

一种基于任务难度评估和级联优化的立法意见审查方法，包括以下步骤：

步骤1、输入执行指令；

步骤2、利用任务难度评估路由模块用于评估立法意见审查处理任务的难度，根据任务难度评估结果自适应选择所述生成语言模型链路中费率低并且模型能力可接受的路径；

步骤3、利用所述立法意见审查模块对各自适应选择的所述路径下使用预训练大语言模型LLM集合进行立法意见审查；

步骤4、利用所述立法意见审查生成结果评分模块进行各处理结果评分，判断自适应选择的路径中的大语言模型LLM生成的处理结果是否正确答案，判断策略具体如下：

路径1：执行生成式语言模型链路中的费率低、能力弱的LLM1模型，生成结果1，利用生成结果评分模块进行判断，若满足评估分数>设定的立法意见审查生成评分阈值，则接受结果1作为答案1；若不满足，则转至路径B；

路径2：执行生成式语言模型链路中的费率中等、能力中等的LLM2模型，生成结果2，再利用生成结果评分模块进行判断，若满足评估分数>设定的立法意见审查生成评分分数的阈值，则接受结果2作为答案2；若不满足，则转至路径C；

路径3：在上述路径均不满足的情况下，执行生成式语言模型链路中的费率高、能力强的LLM3模型，生成结果3，接受结果3作为答案3。

相较于现有技术，本发明的有益效果及优点在于：

1)提出了针对不同的任务难度自适应选择合适的预训练大语言模型LLM，相较直接使用高费率LLM执行所有任务来说，在保障了任务执行质量的同时，使得费率成本大幅下降，实现了立法意见审查任务在处理性能及费率上的双重优化；

2)综合任务难度预评估路由模块和立法意见审查生成结果评分模块两种不同模型，根据任务特点选择择费率和模型能力最可接受的LLM模型，因此该方法能够在不同任务执行上的优势。

3)提出了利用预训练大模型对立法意见的紧迫性、必要性、可行性等要点的评估方法。

附图说明

图1为本发明的基于任务难度评估和级联优化的立法意见审查系统模块图；

图2为任务难度预测评估路由模块中的任务范例示意图；

图3为立法意见审查生成结果评分模型示意图；

图4为本发明的基于任务难度评估和级联优化的立法意见审查方法整体流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明技术方案作进一步详细描述。

如图1所示，本发明的基于任务难度评估和级联优化的立法意见审查系统一种基于任务难度评估和级联优化的立法意见审查系统，包括：生成式语言模型链路100以及依序相连的任务难度评估路由模块200、立法意见审查模块300和立法意见审查生成结果评分模块400。其中，所述任务难度评估路由模块300用于评估立法意见审查处理任务的难度，根据任务难度评估结果自适应选择所述生成语言模型链路100中费率低并且模型能力可接受的路径；所述生成式语言模型链路包括多级预训练大语言模型LLM1,LLM2,LLM3,...,LLMj构成的级联链路；所述立法意见审查模块300用于各所述路径下使用预训练大语言模型LLM集合进行立法意见审查，得到立法意见审查生成结果；所述立法意见审查生成结果评分模块400用于进行各处理结果评分。

生成式语言模型即预训练大模型，是一种深度学习模型，它使用了海量的未标记文本或标记文本进行训练，以学习自然语言处理任务。

相关模块的具体描述如下：

所述生成式语言模型链路200所采用的是级联式多分段策略，该策略按任务难度评估路由模块的评估结果选择合适路径的大语言模型LLM，达到更好的性价比，这种策略可以降低使用LLM带来的昂贵成本，同时提高性能和准确率，此外，大语言模型链路也可用于利用不同语言模型LLM之间的互补性来提高性能，链路费率和能力关系表示如下：

费率关系：[LLM3费率]＞[LLM2费率]＞[LLM1费率]

模型能力强弱关系：[LLM3模型能力]＞[LLM2模型能力]＞[LLM1模型能力]

例如，采用免费的生成式语言模型chatGLM-6B作为链路第一级大语言模型LLM1，能力较强且费率中等的生成式语言模型ErnieBot或gpt-3.5-turbo作为链路第二级大语言模型LLM2模型，能力最强且费率最高的生成式语言模型GPT-4作为链路第三级大语言模型LLM3。

所述任务难度评估路由模块100，提供了一种标准化的方法来评估和分类任务的难度，使用一种大语言模型LLM提示分类的方法，根据不同的维度对任务难度进行分级，维度分为4个，包括对话轮次、角色、提示指令的表达方式和其它信息的详细程度：

1)对话轮次，是对话任务的轮次，分为单轮和多轮；在单轮对话任务中，模型只需要根据输入的提示生成一次模型输出；而在多轮任务中，模型需要在一个流畅的对话过程中提供连续的回答。单轮的对话任务被分为第一级别，而多轮对话任务则被分为更高级别。多轮交互式任务更复杂，需要模型在对话交流中根据先前的回复以及上下文来提供更加合适的解决方案。

例如，一个单轮任务是回答一个简单的问题，例如通过回答"是"或"否"来确定某个事实的真伪性。而一个多轮任务则可能涉及未知关键词的搜索，或需要模型在对话中了解用户的指令和上下文。

2)角色，是对话任务中的每个角色及其职责；具有角色的对话任务将指定任务中的每个角色及其职责，从而有助于模型更好地理解对话任务。具有未确定角色的任务将相对更难，因为模型需要在不确定的角色中动态地适应任务信息。

3)提示指令的表达方式，例如①强调询问，通常使用疑问词或动词开头来引导问题，如“你认为……吗？”或“你能给我解释一下……吗？”。②强调指示，通常使用动词开头来引导指令，如“请你找出……。”或“请你描述……”。使用强调询问的表达方式得到的输入可能会更加自然，但强调指示的表达方式则需要更精确的命令。因此，提示指令的表达方式对模型输出的结果影响较大。

4)其它信息的详细程度，是提示指令中给出的详细信息的数量和形式。例如提示中是否给出的背景、上下文和任务细节等信息。

对于立法意见的审查任务来说，需要对立法意见的各种构成要素进行抽取，同时针对意见的紧迫性、必要性、可行性等审查要点给出判断分类。基于上述的4个维度对任务难度进行评级分类，级别越高任务越复杂。假设有一批立法意见表示为，对这些意见进行单轮或多轮方式最终获得审查结果。

如图2所示，为任务难度预测评估路由模块中的一些任务范例，可作为任务难度预评估路由模块的训练语料：

【立法意见要素抽取提示】：<单轮对话，立法意见要素抽取器，要素列表及解释，被处理的立法意见Rx>：【Level 1】

【立法意见摘要生成提示】：<单轮对话，立法意见摘要生成器，摘要描述，被处理的立法意见Rx>：【Level 1】

【立法意见紧迫性评估提示】：<多轮对话，立法意见紧迫性评估，紧迫性解释描述+当前现状态势描述，被处理的立法意见Rx>：【Level 2】

【立法意见重要性评估提示】：<多轮对话，立法意见紧迫性评估，重要性解释描述+长期影响描述，被处理的立法意见Rx>：【Level 2】

【立法意见可行性评估提示】：<多轮对话，立法意见可行性评估，可行性解释描述(R1、R2、R3...Rx...Rn观点是否一致等)，立法意见集合>：【Level3】

【Level 1】到【Level 3】分别对应任务的初始路由LLM1到LLM3。以上评估过程通过一个能力强的大模型进行知识蒸馏，训练一个任务提示评估分类器实现，任务提示评估分类器一般可以规模较小的预训练模型Bert族或生成式模型LLama等进行模型进行精调，如图2所示：

如图3所示，所述立法意见审查生成结果评分模块中，评分用符号g(·,·)表示：Q×A→[0,1]，Q表示查询集，A表示真实答案集，给定一个查询q和一个由第i个大语言模型LLMi的API生成的答案f

其中，z表示路由器停止在LLMz,并返回答案，第一个约束确保平均成本受预算限制，并且客观测量查询q与真实答案a相比生成f

立法意见审查生成结果评分模块通过Bert族类模型+全连通神经网络回归实现。

如图4所示，本发明的基于任务难度评估和级联优化的立法意见审查方法，具体包括以下步骤：

步骤1、输入执行指令；

步骤2、根据任务难度评估结果自适应地选择生成式语言模型链路的路径；

路径A：执行生成式语言模型链路中的费率低、能力弱的LLM1模型，生成处理结果1，利用立法意见生成结果评分模块进行判断，若满足评估分数>设定的分数门限，则接受生成结果1作为立法意见审查任务的答案1；若不满足，则转至路径B；

路径B：执行生成式语言模型链路中的费率中等、能力中等的LLM2模型，生成结果2，再利用生成结果评分模块进行判断，若满足评估分数>设定的分数门限，则接受生成结果2作为立法意见审查任务的答案2；若不满足，则转至路径C；

路径C：执行生成式语言模型链路中的费率高、能力强的LLM3模型，生成结果3，则接受生成结果3作为立法意见审查任务的答案3。

综上所述，本发明的优点总结如下：

(1)创新性提出了任务难度预评估路由模块，将立法意见审查任务按难度，通过对话轮次、角色、指令的表达方式和其他信息的详细程度4个维度进行表征，通过大模型知识蒸馏训练任务提示评估分类器，实现根据不同难度任务在生成式语言模型链路上的路由。

(2)创新性地引入了生成式语言模型链路，采用一种级联式多分段策略，按立法意见审查任务的难度路由合适的LLM，以达到更好的性价比。

(3)创新性地在引入了立法意见审查生成结果评分模块，提出了一种LLM模型输出质量和价格双约束的优化方法。