基于语言模型的业务数据筛选方法和装置、介质、设备

摘要

本公开实施例公开了一种基于语言模型的业务数据筛选方法和装置，该方法包括：将属于通用领域的待筛选数据输入至通用领域对应的第一语言模型中，得到待筛选数据中至少一个词的第一组出现概率值；将属于通用领域的待筛选数据输入至预定业务领域对应的第二语言模型中，得到待筛选数据中至少一个词的第二组出现概率值；根据第一组出现概率值，确定待筛选数据的第一评分值；根据第二组出现概率值，确定待筛选数据的第二评分值；根据第一评分值和第二评分值，确定待筛选数据是否为属于所述预定业务领域的业务数据。本公开实施例有利于降低业务数据的筛选成本，并有利于提高业务数据的筛选效率，进而有利于提高对应预定业务领域的语言模型的训练效率。