首页> 中国专利> 气象预警文本处理方法、相关装置及计算机程序产品

气象预警文本处理方法、相关装置及计算机程序产品

摘要

本申请实施例公开了气象预警文本处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品,涉及自然语言处理、云服务、计算机视觉等人工智能技术领域。该方法的一具体实施方式包括:获取待处理气象预警文本;利用预设的要素匹配模板从待处理气象预警文本中提取出各实际气象预警要素,要素匹配模板从样本气象预警要素的上下文中聚类得到;对各实际气象预警要素进行归一化处理,并将得到的各归一化预警要素按照预设顺序组合得到关键气象预警文本。应用该实施方式可提升气象预警要素提取的准确性和对各式待处理气象预警文本的泛化处理能力。

著录项

  • 公开/公告号CN112560468A

    专利类型发明专利

  • 公开/公告日2021-03-26

    原文格式PDF

  • 申请/专利权人 北京百度网讯科技有限公司;

    申请/专利号CN202011492994.5

  • 发明设计人 张亦鹏;秦铎浩;刘明浩;

    申请日2020-12-17

  • 分类号G06F40/284(20200101);G06F16/35(20190101);

  • 代理机构11204 北京英赛嘉华知识产权代理有限责任公司;

  • 代理人王达佐;马晓亚

  • 地址 100085 北京市海淀区上地十街10号百度大厦2层

  • 入库时间 2023-06-19 10:24:22

说明书

技术领域

本申请涉及数据处理技术领域,具体涉及自然语言处理、云服务、计算机视觉等人工智能技术领域,尤其涉及气象预警文本处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

背景技术

各地气象局在发布气象预警信息中都被要求至少包括“发布单位”、“发布时间”、“预警类别”、“预警级别”、“预警时效”和“预警区域”共6种关键的气象预警要素。

但不同气象局所生成的气象预警信息往往仍在描述或表达上不统一。

发明内容

本申请实施例提出了一种气象预警文本处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

第一方面,本申请实施例提出了一种气象预警文本处理方法,包括:获取待处理气象预警文本;利用预设的要素匹配模板从待处理气象预警文本中提取出各实际气象预警要素,该要素匹配模板从样本气象预警要素的上下文中聚类得到;对各实际气象预警要素进行归一化处理,并将得到的各归一化预警要素按照预设顺序组合得到关键气象预警文本。

第二方面,本申请实施例提出了一种气象预警文本处理装置,包括:气象预警文本获取单元,被配置成获取待处理气象预警文本;气象预警要素提取单元,被配置成利用预设的要素匹配模板从待处理气象预警文本中提取出各实际气象预警要素,该要素匹配模板从样本气象预警要素的上下文中聚类得到;归一化处理及组合单元,被配置成对各实际气象预警要素进行归一化处理,并将得到的各归一化预警要素按照预设顺序组合得到关键气象预警文本。

第三方面,本申请实施例提供了一种电子设备,该电子设备包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,该指令被至少一个处理器执行,以使至少一个处理器执行时能够实现如第一方面中任一实现方式描述的气象预警文本处理方法。

第四方面,本申请实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令用于使计算机执行时能够实现如第一方面中任一实现方式描述的气象预警文本处理方法。

第五面,本申请实施例提供了一种包括计算机程序的计算机程序产品,该计算机程序在被处理器执行时能够实现如第一方面中任一实现方式描述的气象预警文本处理方法。

本申请实施例提供的气象预警文本处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品,首先,获取待处理气象预警文本;然后,利用预设的要素匹配模板从待处理气象预警文本中提取出各实际气象预警要素,该要素匹配模板从样本气象预警要素的上下文中聚类得到;接着,对各实际气象预警要素进行归一化处理,最后将得到的各归一化预警要素按照预设顺序组合得到关键气象预警文本。

本申请实施例所使用的要素匹配模板是预先从样本气象预警要素抽取出的要素上下文经聚类处理得到,每种类型的气象预警要素将对应有相应的要素匹配模板,使用要素上下文作为聚类处理的输入数据得以尽可能的结合上下文语境提升聚类中心的准确性,聚类处理的应用则提升了基于聚类中心生成的要素匹配模板的泛化性,使得各式待处理气象预警文本均能够被较好的提取出准确的气象预警要素。

应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:

图1是本申请可以应用于其中的示例性系统架构;

图2为本申请实施例提供的一种气象预警文本处理方法的流程图;

图3为本申请实施例提供的气象预警文本处理方法中一种要素匹配生成方法的流程图;

图4为本申请实施例提供的气象预警文本处理方法中另一种要素匹配生成方法的流程图;

图5为本申请实施例提供的在一应用场景下的气象预警文本处理方法的流程示意图;

图6为图5中生成要素模板的细化流程示意图;

图7为图5中时间归一化的细化流程示意图;

图8为图5中地名归一化的细化流程示意图;

图9为本申请实施例提供的一种气象预警文本处理装置的结构框图;

图10为本申请实施例提供的一种适用于执行气象预警文本处理方法的电子设备的结构示意图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。

图1示出了可以应用本申请的气象预警文本处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品的实施例的示例性系统架构100。

图1示出了可以应用本申请的主谓宾三元组生成方法、装置、电子设备及计算机可读存储介质的实施例的示例性系统架构100。

如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。其中,终端设备101、102、103用于通过网络104向服务器105发送用于待处理气象预警文本,网络104为终端设备101、102、103与服务器105之间进行数据通信的通信链路,服务器105则用于根据接收到的待处理气象预警文本生成关键气象文本。

具体的,终端设备101、102、103和服务器105可以是硬件,也可以是软件。当终端设备101、102、103为硬件时,可以是包括智能手机、平板电脑、膝上型便携计算机和台式计算机在内的各种电子设备;当终端设备101、102、103为软件时,可以是安装在上述所列举的电子设备中的单/多个软件/功能模块,在此不做具体限定。当服务器105为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器;服务器为软件时,也可以实现成单/多个软件/功能模块,在此不做具体限定。

上述目的可通过安装在终端设备101、102、103和服务器105上的应用来实现,例如气象预警文本处理应用(可进一步分为客户端的部分和服务端的部分),另外,为尽可能保障气象预警文本处理操作的持续稳定运行,终端设备101、102、103和服务器105上还可以安装其他应用,例如故障诊断类应用、用于与管理或运维人员进行通信的通信类应用等等。

以提供针对气象预警文本处理服务的气象预警文本处理应用为例,安装有该应用的服务器105可在运行该应用时可实现如下效果:首先,通过网络104从终端设备101、102、103处获取待处理气象预警文本;然后,利用预设的要素匹配模板从待处理气象预警文本中提取出各实际气象预警要素,该要素匹配模板从样本气象预警要素的上下文中聚类得到;接着,对各实际气象预警要素进行归一化处理,最后将得到的各归一化预警要素按照预设顺序组合得到关键气象预警文本。

进一步的,服务器105还可以将生成的关键气象预警文本推送给相应的用户,以及时的提醒相应用户提前做出防范举措。

需要指出的是,待处理气象预警文本除可以从终端设备101、102、103通过网络104实时获取到之外,也可以从其它记载有相同或类似文本信息的网站爬取得到,例如国家气象局、各地气象局的官方网站上爬取得到。除实时获取的方式之外,也可以通过各种方式将之前获取到的待处理气象预警文本预先存储在服务器105本地,以便在服务器105检测到本地已经存储有这些数据时可选择基于本地数据进行后续处理步骤。在此种情况下,示例性系统架构100也可以不包括终端设备101、102、103和网络104。

本申请后续各实施例所提供的气象预警文本处理方法一般由拥有处理该类型数据能力的服务器105(即存储有要素匹配模板、归一化规则、组合顺序等重要参数的设备)来执行,相应地,气象预警文本处理装置一般也设置于服务器105中。但同时也需要指出的是,在某些特定的终端设备也具有满足要求的处理能力和运算资源时,也可以将这些特定的终端设备完成上述本交由服务器105做的各项运算,进而输出与服务器105同样的结果。相应的,气象预警文本处理装置也可以设置于终端设备101、102、103中。在此种情况下,示例性系统架构100也可以不包括服务器105和网络104。

应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。

请参考图2,图2为本申请实施例提供的一种气象预警文本处理方法的流程图,其中流程200包括以下步骤:

步骤201:获取待处理气象预警文本;

本步骤旨在由气象预警文本处理方法的执行主体(例如图1所示的服务器105)获取待处理气象预警文本。

其中,待处理气象预警文本可以实时的从终端设备(例如图1所示的终端设备101、102、103)接收到,终端设备可以是某气象局的气象预警发布设备,也可以是信息发布接口。

某些情况下可能无法直接获取到待处理气象预警文本,而是记载有相应信息的图片或图表等,此时可以利用诸如光学字符识别技术、结构化信息提取技术从中提取出相应的待处理气象预警文本。

步骤202:利用预设的要素匹配模板从待处理气象预警文本中提取出各实际气象预警要素;

在步骤201的基础上,本步骤旨在由上述执行主体利用预先设置的要素匹配模板从待处理气象预警文本中提取出其中包含的各类型实际气象预警要素。本申请至少要求从中提取出“发布单位”、“发布时间”、“预警类别”、“预警级别”、“预警时效”和“预警区域”6种类型的实际气象预警要素,例如“北京气象局”、“于12时15分发布”、“暴雨预警”、“橙色”、“将自今日16时持续至今日19时”、“覆盖海淀、东城大部分城区”。

其中,该要素匹配模板从样本气象预警要素的上下文中经聚类处理得到,样本气象预警要素从样本气象预警信息中抽取得到,上下文信息则指聚类处理的对象并非仅包含各类型的样本气象预警要素,还包含有该样本气象预警要素的相关语境信息,以通过增加的语境信息使得经聚类处理得到更准确的聚类中心,进而生成更加准确的要素匹配模板。

步骤203:对各实际气象预警要素进行归一化处理,并将得到的各归一化预警要素按照预设顺序组合得到关键气象预警文本。

在步骤202的基础上,本步骤旨在由上述执行主体对提取出的各实际气象预警要素通过归一化处理统一表述,然后将表述统一的各实际气象预警要素按照一定的顺序进行组合,最终得到仅包含关键信息、表述统一的关键气象预警文本。

用于统一表述的归一化处理可根据气象预警要素种类的不同,具体采用不同的归一化方式,例如针对包含时间的“发布时间”和“预警时效”可采用相同预设的时间表示格式,而针对包含位置的“发布单位”和“预警区域”则设置应采用官方认可的名称来替换等。当然,还可以考虑到“发布时间”往往是一个时刻,而“预警时效”往往是一个时段,也可以分别采用相应的预设时刻表示格式和时段表示格式,此处不做具体限定。

本申请实施例提供的气象预警文本处理方法,所使用的要素匹配模板是预先从样本气象预警要素抽取出的要素上下文经聚类处理得到,每种类型的气象预警要素将对应有相应的要素匹配模板,使用要素上下文作为聚类处理的输入数据得以尽可能的结合上下文语境提升聚类中心的准确性,聚类处理的应用则提升了基于聚类中心生成的要素匹配模板的泛化性,使得各式待处理气象预警文本均能够被较好的提取出准确的气象预警要素。

进一步的,在得到表述较待处理气象预警文本更精简、表述更不容易引起歧义、便于用户更快拾取关键信息的关键气象预警文本之后,还可以将该关键气象预警文本及时的推送给出于所有可能出现在实际的预警区域内的用户。具体的,可由上述执行主体根据该关键气象预警文本中包含的预警区域要素确定信息推送区域,然后通过预设路径将关键气象预警文本推送给位于信息推送区域的用户。更进一步的,由于气象预警信息的发布时间往往早于预警时效,因此还可以结合预警时效将推送范围精确至所有可能在实际的预警时效内出现在实际的预警区域的用户。例如可以获取到授权的情况下通过读取用户预先设置的出现计划或当前已经制定的出行规划来判断是否会在实际的预警时效内新进入或离开实际的预警区域。

在上述实施例的基础上,为了尽可能的加深对本申请如何得到要素匹配模板的认识和理解,本申请在此处还分别通过图3和图4提供了两种不同的要素匹配模板生成方法的流程图。

其中图3所示的流程图中示出的流程300包括如下步骤:

步骤301:从气象预警信息的权威发布机构获取样本数据;

本步骤旨在由上述执行主体预先获取到用于提炼聚类中心的样本气象预警数据。为了保证结果的准确性,样本气象预警数据从气象预警信息的权威发布机构获取,例如国家气象总局、各地的气象局等等。

同样的,若无法直接获取到文本形式的样本数据,还可以根据获取到的表示形式(例如图片、表格、图表)采用相应的转换操作,以使最终都得到统一的文本形式的样本数据。

步骤302:获取样本数据中包含的各类型气象预警要素的位置信息;

在步骤301的基础上,本步骤旨在由上述执行主体获取到各类型气象预警要素在相应的样本数据中的位置信息,该位置信息可以是各个实际的气象预警要素在样本数据中的起止位置,也可以是覆盖式的高亮标记等等。样本数据中的气象预警要素的位置信息通常由有经验的技术人员标注得到,以尽可能的保障用于经聚类处理得到的要素匹配模板的准确性。

步骤303:根据位置信息抽取出相应类型的气象预警要素的上下文信息;

在步骤302的基础上,本步骤旨在由上述执行主体根据位置信息抽取出相应类型的气象预警要素的上下文信息,即根据气象预警要素的位置信息的基础上往前和往后多抽取一些前后文语境。

步骤304:将相同类型的气象预警要素的上下文信息按预设的聚类中心数进行聚类处理,得到聚类中心;

在步骤303的基础上,本步骤旨在由上述执行主体将相同类型的气象预警要素的上下文信息按预设的聚类中心数进行聚类处理,得到聚类中心。其中,聚类中心数可以根据实际需求自行设定得到,在样本数据量足够大、运算能力足够的情况下,为了尽可能的准确,可以将聚类中心数设为一个较大的数,以得到区分精度更高的各聚类中心。

步骤305:根据得到的聚类中心生成相应类型的气象预警要素的要素匹配模板。

在步骤304的基础上,本步骤旨在由上述执行主体根据得到的聚类中心生成相应类型的气象预警要素的要素匹配模板。

即每种类型的气象预警要素都会对应由多个聚类中心,而根据每个聚类中心都可以生成一个要素匹配模板,最终得到与每种类型的气象预警要素对应的多个要素匹配模板。

在实际使用要素匹配模板从待处理气象预警文本中提取相应实际的气象预警要素时,可以通过并行或串行的匹配模板尝试方式,具体选用哪种可根据实际情况灵活选择。

其中图4所示的流程图中示出的流程400包括如下步骤:

步骤401:从气象预警信息的权威发布机构获取样本数据;

步骤402:获取样本数据中包含的各类型气象预警要素的位置信息;

步骤403:根据位置信息抽取出相应类型的气象预警要素的上下文信息;

步骤404:对实际长度不足预设长度的上下文信息,使用预设字符进行补位填充,直至上文、下文或上文和下文信息的补位后长度为预设长度;

区别于图3中的流程300,本实施例还考虑到某些位于样本数据开头或结尾的气象预警要素可能抽取不到足够长度的上下、下文或上下文信息,因此针对实际长度不足预设长度的上下文信息,使用预设字符进行补位填充,直至上文、下文或上文和下文信息的补位后长度为预设长度。例如可要求每个气象预警要素各有20个字符的上文和下文,总长度为40个字符。

应当理解的是,统一的长度有助于尽可能的消除后续不同处理结果之间的差异。

步骤405:将补位后长度为预设长度的上下文信息转换为上下文向量;

在步骤404的基础上,本步骤将文本形式的上下文信息转换为更便于聚类处理的向量形式,以便于提升后续处理效率。

应当理解的是,表达形式的转换不应导致信息内容的丢失,同时也可以换用其它便于进行聚类处理的形式。

步骤406:将相同类型的气象预警要素的上下文向量按预设的聚类中心数进行聚类处理,得到聚类中心;

步骤407:根据得到的聚类中心生成相应类型的气象预警要素的正则表达式列表。

本步骤在具体选用正则表达式作为要素匹配模板,正则表达式列表中记录有相应类型的气象预警要素的不同聚类中心分别生成的各正则表达式。

相较于图3所示的实施例,图4所示的实施例进一步的考虑了不同气象预警要素的上下文信息的长度是否统一以及如何统一长度的问题,还进一步为了增加处理效率将文本形式的上下文信息转换为向量形式,最终选用了适用范围更广、编辑更方便的正则表达式来作为具体的要素匹配模板。

在上述任意实施例的基础上,本申请还考虑到如何更有效的利用生成的关键气象预警文本,以尽可能的发挥数据的价值。例如可以根据仅包含关键信息的关键气象预警文本中的气象预警要素之间的关联性从统计层面来挖掘一些可能存在的规律,进而用于预测等等,也可以简单的用于年度统计等等。一种包括且不限于的处理方式为:根据预设时间段内发布的各关键气象预警文本,统计得到存在预设的目标气象预警要素或目标气象预警要素组合的实际数量,然后根据实际数量生成统计和预测结果。

为加深理解,本申请还结合一个具体应用场景,给出了一种具体的实现方案,请参见如图5所示的总体流程示意图:

如图5所示,该气象预警信息处理系统所主要进行的要素提取任务可拆分为用要素(匹配)模板来定位待处理气象预警文本中的各气象预警要素和对定位抽取出的各气象预警要素进行归一化。其中,归一化主要是通过规则、建立词典和文本相似度计算完成。

下面将分别针对上述两部分进行详细展开说明:

1.定位待处理气象预警文本中的各气象预警要素

1.1要素(匹配)模板生成

为了获得不同格式气象预警信息中各要素的上下文模板,需要做以下准备工作(请参见图6所示的流程图):

1)使用网页抓取程序从中国天气网的预警列表页面持续抓取每天的省、市、县级气象预警信息,直至覆盖大多数气象预警信息格式;

2)对收集到的气象预警文本进行人工标注,分别标记6种类型的气象预警要素在住区到的样本气象预警文本中的位置;

3)对每种气象预警要素,批量获取其在样本气象预警文本中的上下文(要素前20个字符至要素后20个字符);

4)对同一种气象预警要素的上下文进行补位填充(用默认字符补齐20个字符上文、20个字符下文)并进行字符级one-hot编码(将每组要素上下文转换为20+20=40个字符的整数型字符ID);

5)以40个字符ID组成每条上下文的特征向量,应用k-means聚类算法,在每种气象预警要素的上下文中进行聚类,设定较大的聚类中心数n,如n=100;

6)聚类完成后,人工评估并筛选所有聚类中心对应的气象预警要素的上下文,将筛选后的气象预警要素的上下文作为要素(匹配)模板;

7)将所有类型的气象预警要素(匹配)模板均转写为正则表达式的形式。将每种类型的气象预警要素的(匹配)模板列表(正则表达式列表)存储在要素(匹配)模板文件中。

1.2要素定位执行

对每种类型的气象预警要素,使用该种类型的气象预警要素对应要素(匹配)模板列表中的所有正则表达式依次对用于测试的气象预警文本进行匹配测试。若匹配成功则完成要素定位,没有模板匹配成功则要素定位失败。

2.对定位抽取出的各气象预警要素进行归一化

2.1时间的归一化(请同步参见如图7所示的流程图)

气象预警信息中的时间包括发布时间和预警时效(有效时间区间):

1)预警发布时间格式统一,总为xxxx年xx月xx日xx时xx分的格式,如2020年10月26日14时25分。只需要去除发布时间字符串中的空格字符,即可完成预警发布时间的归一化。如没有定位到预警发布时间,取当前时间为预警发布时间;

2)预警有效时间区间有3种表述形式:“未来xx小时内”、“未来xx-xx小时”和“xx日xx时xx分至xx日xx时xx分”。分别编写对应的正则表达式,可以提取出相对于预警发布时间的时间区间或不完整的绝对时间。再参考已经完成归一化的预警发布时间,就可以确定预警有效时间区间的完整形式,如2020年9月30日22时30分至2020年10月1日2时30分。

2.2预警类型的归一化

各气象台发布的气象预警信息中,预警类型(如台风、暴雨、暴雪)都是准确无歧义的,不需要进行归一化。

2.3预警等级的归一化

根据《气象灾害预警信号发布与传播办法》和从收集到的气象预警信息中归纳的预警等级别名,以预警等级为单位构造气象预警等级词典。预警等级词典中的条目为特定文本到预警等级标准表述的映射,如“一般预警”->“蓝色预警”、“IV级预警”->“蓝色预警”、“4级预警”->“蓝色预警”、“蓝色预警”->“蓝色预警”。借助预警等级词典,可以快速完成预警信息等级的归一化。

2.4地名的归一化

作为地名归一化准备工作,从中国民政部官网抓取县以上行政区划的树状关系、代码和名称,建立行政区划归属关系表,对每一条行政区划记录,记录其名称、行政区划级别(省、市、县等)和其所有直属下辖行政区划的代码。

执行预警信息的地名归一化时分以下几个步骤(请同步参见如图8所示的流程图):

1)使用正则表达式提取发布预警信息的气象部门所在地的地名,记为name_public。

2)遍历省、市级行政区划记录,将当前行政区划名称记为name_i,计算name_public与name_i的编辑距离edit_diff,进而计算两个名称的文本相似度sim_i=edit_diff/len(name_public)。取文本相似度sim_i最高的行政区划作为发布预警信息气象部门所在地的行政区划。

3)在行政区划归属关系表中查询发布预警信息气象部门所在地的所有直属下辖行政区划的名称,作为“预警区域”要素的候选归一化结果;将发布预警信息气象部门所在地行政区划名称作为“预警区域”要素的默认归一化结果。

4)如果定位“预警区域”要素失败,取发布预警信息气象部门的所在地为预警区域。

5)如果定位“预警区域”时,要素文本不含“、”、“,”、“和”、“与”等列表元素分隔字符,记要素文本为name_raw,遍历候选归一化结果,将当前归一化结果记为name_j,计算name_raw与name_j的编辑距离edit_diff,进而计算两个名称的文本相似度sim_j=edit_diff/len(name_raw)。取文本相似度sim_j最高的行政区划的名称作为预警区域归一化结果。

6)如果定位“预警区域”时,要素文本包含“、”、“,”、“和”、“与”等列表元素分隔字符,根据分隔符的情况从要素文本中提取地名列表,对列表中每个地名,执行5),进行归一化。将地名归一化结果按位置替换回要素文本中,将替换后的要素文本作为预警区域归一化结果。

进一步的,上述操作的最后将输出经归一化处理后的各气象预警要素,后续可按照一定的顺序组合这些气象预警要素,将得到的关键气象预警文本推送给相应的用户。

进一步参考图9,作为对上述各图所示方法的实现,本申请提供了一种气象预警文本处理装置的一个实施例,该装置实施例与图9所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。

如图9所示,本实施例的气象预警文本处理装置900可以包括:气象预警文本获取单元901、气象预警要素提取单元902、归一化处理及组合单元903。其中,气象预警文本获取单元901,被配置成获取待处理气象预警文本;气象预警要素提取单元902,被配置成利用预设的要素匹配模板从待处理气象预警文本中提取出各实际气象预警要素,要素匹配模板从样本气象预警要素的上下文中聚类得到;归一化处理及组合单元903,被配置成对各实际气象预警要素进行归一化处理,并将得到的各归一化预警要素按照预设顺序组合得到关键气象预警文本。

在本实施例中,气象预警文本处理装置900中:气象预警文本获取单元901、气象预警要素提取单元902、归一化处理及组合单元903的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-203的相关说明,在此不再赘述。

在本实施例的一些可选的实现方式中,气象预警文本处理装置900还可以包括:

信息推送区域确定单元,被配置成根据关键气象预警文本中包含的预警区域要素确定信息推送区域;

预警信息推送单元,被配置成通过预设路径将关键气象预警文本推送给位于信息推送区域的用户。

在本实施例的一些可选的实现方式中,气象预警文本处理装置900还可以包括要素匹配模板生成单元,要素匹配模板生成单元可以包括:

样本数据获取子单元,被配置成从气象预警信息的权威发布机构获取样本数据;

要素位置信息获取子单元,被配置成获取样本数据中包含的各类型气象预警要素的位置信息;

上下文信息抽取子单元,被配置成根据位置信息抽取出相应类型的气象预警要素的上下文信息;

聚类处理及要素匹配模板生成子单元,被配置成将相同类型的气象预警要素的上下文信息按预设的聚类中心数进行聚类处理,并根据得到的聚类中心生成相应类型的气象预警要素的要素匹配模板。

在本实施例的一些可选的实现方式中,要素匹配模板生成单元还可以包括:

补位填充子单元,被配置成响应于存在上文或下文信息的实际长度不足预设长度,对相应的气象预警要素的上文或下文信息使用预设字符进行补位填充,直至上文、下文或上文和下文信息的补位后长度为预设长度;

表达形式转换子单元,被配置成将补位后长度为预设长度的上下文信息转换为上下文向量;以及

聚类处理及要素匹配模板生成子单元包括被配置成将相同类型的气象预警要素的上下文信息按预设的聚类中心数进行聚类处理的聚类处理模块,聚类处理模块被进一步配置成:

将相同类型的气象预警要素的上下文向量按预设的聚类中心数进行聚类处理。

在本实施例的一些可选的实现方式中,聚类处理及要素匹配模板生成子单元包括被配置成根据得到的聚类中心生成相应类型的气象预警要素的要素匹配模板的要素匹配模板生成模块,要素匹配模板生成模块可以被进一步配置成:

根据得到的聚类中心生成相应类型的气象预警要素的正则表达式列表;其中,正则表达式列表中记录有相应类型的气象预警要素的不同聚类中心分别生成的各正则表达式。

在本实施例的一些可选的实现方式中,气象预警文本处理装置900还可以包括:

目标要素出现次数统计单元,被配置成根据预设时间段内发布的各关键气象预警文本,统计得到存在预设的目标气象预警要素或目标气象预警要素组合的实际数量;

统计及预测结果生成单元,被配置成根据实际数量生成统计和预测结果。

本实施例作为对应于上述方法实施例的装置实施例存在,本实施例提供的气象预警文本处理装置所使用的要素匹配模板是预先从样本气象预警要素抽取出的要素上下文经聚类处理得到,每种类型的气象预警要素将对应有相应的要素匹配模板,使用要素上下文作为聚类处理的输入数据得以尽可能的结合上下文语境提升聚类中心的准确性,聚类处理的应用则提升了基于聚类中心生成的要素匹配模板的泛化性,使得各式待处理气象预警文本均能够被较好的提取出准确的气象预警要素。

根据本申请的实施例,本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图10示出了可以用来实施本申请的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图10所示,设备1000包括计算单元1001,其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序,来执行各种适当的动作和处理。在RAM 1003中,还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。

设备1000中的多个部件连接至I/O接口1005,包括:输入单元1006,例如键盘、鼠标等;输出单元1007,例如各种类型的显示器、扬声器等;存储单元1008,例如磁盘、光盘等;以及通信单元1009,例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理,例如气象预警文本处理方法。例如,在一些实施例中,气象预警文本处理方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元1008。在一些实施例中,计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM1003并由计算单元1001执行时,可以执行上文描述的气象预警文本处理方法的一个或多个步骤。备选地,在其他实施例中,计算单元1001可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行气象预警文本处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本申请的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决传统物理主机与虚拟专用服务器(VPS,Virtual Private Server)服务中存在的管理难度大,业务扩展性弱的缺陷。

本实施例所提供的技术方案中所使用的要素匹配模板是预先从样本气象预警要素抽取出的要素上下文经聚类处理得到,每种类型的气象预警要素将对应有相应的要素匹配模板,使用要素上下文作为聚类处理的输入数据得以尽可能的结合上下文语境提升聚类中心的准确性,聚类处理的应用则提升了基于聚类中心生成的要素匹配模板的泛化性,使得各式待处理气象预警文本均能够被较好的提取出准确的气象预警要素。

应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。

上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号