举报内容的处理方法、装置、电子设备及存储介质

摘要

本发明公开了一种举报内容的处理方法、装置、电子设备及存储介质，首先从业务线上抽取被用户举报为违规内容的业务数据；其中，业务线有若干条，以及各个业务线均通过唯一协议接口进行业务数据的传输；而后利用风险控制系统中的审核策略对业务数据进行审核，确认其是否为违规内容；最后在业务数据是违规内容的情况下，依据业务数据违规的程度，对业务数据进行相应的处理。本发明技术方案中的协议接口唯一，进而用户在业务线上只需要按照规定传递参数就可以将业务数据进行传输，进而针对于不同的业务线无需开发新的举报方式及审核流程，也减少业务平台的开发成本。

说明书

技术领域

本发明涉及软件开发技术领域，尤其涉及一种举报内容的处理方法、装置、电子设备及存储介质。

背景技术

通常，用户可以在业务平台上发布基于各种业务线的帖子，以向其他用户展示自己想要公布的信息或者内容，进而吸引其他用户进行浏览或者进行交易等。但是，发布帖子的用户中也不乏一些违规操作的用户，例如，发布虚假信息诱导其他用户、发表违规言论或者违规信息等。

针对于这种违规用户或者发布出来的违规信息，其他用户可以通过业务平台上的各个业务线的举报页面进行举报。而后业务平台的风险控制系统会根据不同的业务线采用不同的审核标准及审核流程对被举报的信息或者用户进行审核。然而，目前各个业务线有其各自的信息举报方式，进而针对于不同的举报方式有着不同的信息审核流程，每次接入一个新的业务线都需要开发一个新的举报方式以及审核流程，这样，使得业务平台的开发成本过高。

发明内容

本发明提供了一种举报内容的处理方法、装置、电子设备及存储介质，以解决目前业务平台上处理举报内容使得开发成本过高的问题。

第一方面，本发明提供了一种举报内容的处理方法，包括：

从业务线上抽取被用户举报为违规内容的业务数据；其中，所述业务线有若干条，以及各个业务线均通过唯一协议接口进行所述业务数据的传输；

利用风险控制系统中的审核策略对所述业务数据进行审核，确认其是否为违规内容；

在所述业务数据是违规内容的情况下，依据所述业务数据违规的程度，对所述业务数据进行相应的处理。

结合第一方面，在第一方面的一种可实施方式中，所述从各个业务线上抽取被用户举报为违规内容的业务数据的步骤之前，包括：

从业务线上抽取被用户对于举报页面的配置数据；

利用所述配置数据，为用户生成所述业务线上的举报页面。

结合第一方面，在第一方面的一种可实施方式中，所述利用风险控制系统中的审核策略对所述业务数据进行审核，确认其是否为违规内容的步骤，包括：

根据用户对所述业务数据的举报内容，在所述风险控制系统中选择的相应的审核策略；其中，所述举报内容包括至少一种举报原因，每一种举报原因对应一种审核策略；

利用所述审核策略对所述业务数据进行审核，在所述业务数据至少命中一种审核策略的情况下，确认所述业务数据为违规内容；

在所述业务数据并未命中任一种审核策略的情况下，确认所述业务数据为合格内容。

结合第一方面，在第一方面的一种可实施方式中，所述在所述业务数据是违规内容的情况下，依据所述业务数据违规的程度，对所述业务数据进行相应的处理的步骤，包括：

在所述业务数据是违规内容的情况下，确定所述业务数据命中的审核策略的数量，进而确定所述业务数据违规的程度；

根据所述业务数据违规的程度，删除所述业务数据和/或对发布所述业务数据的用户进行禁言处理或者封号处理。

结合第一方面，在第一方面的一种可实施方式中，所述利用风险控制系统中的审核策略对所述业务数据进行审核，确认其是否为违规内容的步骤，包括：

根据用户对所述业务数据的举报内容，设置若干参数，其中，每一个参数对应所述举报内容中的一个举报原因；

利用所述参数生成审核指令，并发送给所述风险控制系统；

控制所述风险控制系统根据所述参数调用对应的审核策略。

第二方面，本发明提供了一种举报内容的处理装置，包括：

数据抽取模块，用于从业务线上抽取被用户举报为违规内容的业务数据；其中，所述业务线有若干条，以及各个业务线均通过唯一协议接口进行所述业务数据的传输；

内容审核模块，用于利用风险控制系统中的审核策略对所述业务数据进行审核，确认其是否为违规内容；

处理模块，用于在所述业务数据是违规内容的情况下，依据所述业务数据违规的程度，对所述业务数据进行相应的处理。

结合第二方面，在第二方面的一种可实施方式中，所述装置还包括：

配置数据获取模块，用于从业务线上抽取被用户对于举报页面的配置数据；

举报页面生成模块，用于利用所述配置数据，为用户生成所述业务线上的举报页面。

结合第二方面，在第二方面的一种可实施方式中，所述内容审核模块，还用于：根据用户对所述业务数据的举报内容，在所述风险控制系统中选择的相应的审核策略；其中，所述举报内容包括至少一种举报原因，每一种举报原因对应一种审核策略；利用所述审核策略对所述业务数据进行审核，在所述业务数据至少命中一种审核策略的情况下，确认所述业务数据为违规内容；在所述业务数据并未命中任一种审核策略的情况下，确认所述业务数据为合格内容。

结合第二方面，在第二方面的一种可实施方式中，所述处理模块，还用于：在所述业务数据是违规内容的情况下，确定所述业务数据命中的审核策略的数量，进而确定所述业务数据违规的程度；根据所述业务数据违规的程度，删除所述业务数据和/或对发布所述业务数据的用户进行禁言处理或者封号处理。

结合第二方面，在第二方面的一种可实施方式中，所述内容审核模块，还用于：根据用户对所述业务数据的举报内容，设置若干参数，其中，每一个参数对应所述举报内容中的一个举报原因；利用所述参数生成审核指令，并发送给所述风险控制系统；控制所述风险控制系统根据所述参数调用对应的审核策略。

第三方面，本发明提供了一种电子设备，包括：

存储器，用于存储程序指令；

处理器，用于调用并执行所述存储器中的程序指令，以实现第一方面所述的举报内容的处理方法。

第四方面，本发明提供还提供了一种存储介质，所述存储介质中存储有计算机程序，当举报内容的处理装置的至少一个处理器执行所述计算机程序时，举报内容的处理装置执行第一方面所述的举报内容的处理方法。

由以上技术方案可知，本发明提供的举报内容的处理方法、装置、电子设备及存储介质，首先从业务线上抽取被用户举报为违规内容的业务数据；其中，业务线有若干条，以及各个业务线均通过唯一协议接口进行业务数据的传输；而后利用风险控制系统中的审核策略对业务数据进行审核，确认其是否为违规内容；最后在业务数据是违规内容的情况下，依据业务数据违规的程度，对业务数据进行相应的处理。本发明技术方案中的协议接口唯一，进而用户在业务线上只需要按照规定传递参数就可以将业务数据进行传输，进而针对于不同的业务线无需开发新的举报方式及审核流程，也减少业务平台的开发成本。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例示出的一种举报内容的处理方法的流程图；

图2为本发明实施例示出的一种获取业务线上数据的示意图；

图3为本发明实施例示出的一种审核业务数据的方法流程图；

图4为本发明实施例示出的第二种审核业务数据的方法流程图；

图5为本发明实施例示出的第三种审核业务数据的方法流程图；

图6为本发明实施例示出的一种举报内容的处理装置的结构框图；

图7为本发明实施例示出的一种电子设备硬件结构示意图。

具体实施方式

为使本发明的目的和实施方式更加清楚，下面将结合本发明示例性实施例中的附图，对本发明示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本发明一部分实施例，而不是全部的实施例。

需要说明的是，本发明中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本发明的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

通常，用户可以在业务平台上发布基于各种业务线的帖子，以向其他用户展示自己想要公布的信息或者内容，进而吸引其他用户进行浏览或者进行交易等。但是，发布帖子的用户中也不乏一些违规操作的用户，例如，发布虚假信息诱导其他用户、发表违规言论或者违规信息等。

针对于这种违规用户或者发布出来的违规信息，其他用户可以通过业务平台上的各个业务线的举报页面进行举报。而后业务平台的风险控制系统会根据不同的业务线采用不同的审核标准及审核流程对被举报的信息或者用户进行审核。然而，目前各个业务线有其各自的信息举报方式，进而针对于不同的举报方式有着不同的信息审核流程，每次接入一个新的业务线都需要开发一个新的举报方式以及审核流程，这样，使得业务平台的开发成本过高。

基于以上内容，本发明实施例提供了一种举报内容的处理方法、装置、电子设备及存储介质，采用唯一的协议接口进行业务数据的传输，进而用户在业务线上只需要按照规定传递参数就可以使业务平台获得业务数据，针对于不同的业务线无需开发新的举报方式及审核流程，也减少业务平台的开发成本。

图1为本发明实施例示出的一种举报内容的处理方法的流程图。如图1所示，本发明实施例提供的举报内容的处理方法可以包括：

步骤S101，从业务线上抽取被用户举报为违规内容的业务数据。

本发明实施例中所提供的举报内容的处理方法通常只针对于一个业务平台上的举报内容而言，并且一个业务平台上的业务线有若干条，例如，一个房源租售平台上，可以存在租房业务线、售房业务线、聊天业务线、同城业务线等，以及，在本发明实施例中，可以设计一个具有统一协议的接口，各个业务线均可以通过这个唯一协议接口进行业务数据的传输。

在举报阶段，用户可以在任何一个业务线上进行举报操作，如，用户在房源租售平台的租房页面上浏览到虚假的信息，那么用户可以直接在发布虚假信息的帖子页面进行举报，此时租房业务线会将被用户举报的帖子数据以及帖子的相关数据保存，等待进一步审核处理。其中，租房业务线以租房页面的形式展示，租房页面的所有数据即为租房业务线上的所有业务数据。

在审核处理阶段，本发明实施例中所提供的举报内容的处理方法，可以通过之前设计好的唯一协议接口从业务线上抽取到被用户举报为违规内容的业务数据，进行审核处理。这样，调用接口的方式都是相同的，在审核阶段，不必再针对各个业务线设计不同的数据抽取方法，只需根据不同业务线修改抽取方法中传递的参数即可。

另外，本发明实施例中提供唯一协议接口之后，需要生成加密跳转URL(UniformResource Locator，统一资源定位系统)地址，加密方式可以采用AES加密，这样可以防止业务线前端篡改数据，URL地址可以由业务平台统一维护并且动态更改，协议统一也方便后续的维护。

在本发明实施例中，违规内容具体可以指内容虚假、内容涉黄、语言不文明，内容不雅等。

步骤S102，利用风险控制系统中的审核策略对业务数据进行审核，确认其是否为违规内容。

通常，业务平台都会有自己的风险控制系统进行风险评估与控制。在风险控制系统中，针对业务数据的类型预置了很多不同的审核策略或者审核模型等，当业务数据命中了审核策略时，风险控制系统就会将业务数据判定为违反了审核策略对应的要求，即违规。例如，用户将租房页面中某一个帖子内容举报为虚假信息，风险控制系统中，会选择针对于虚假信息审核的审核策略对该帖子的内容进行审核，该审核策略可以判断帖子发布者与浏览者聊天的内容是否与发帖者发布的内容一致，来确定帖子内容是否虚假，如果一致，则内容真实，该帖子内容未命中审核策略；如果不一致，则内容虚假，该帖子内容命中审核策略。

或者，用户将聊天页面中的对方用户的聊天信息举报为语言不文明，在风向控制系统中，会选择针对于语言审核的审核策略对该聊天信息的内容进行审核，该审核策略可以通过语义规则等判断出聊天信息中是否存在不文明的词汇或者语言等，如果存在，则该聊天信息命中了审核策略，如果不存在，则该聊天信息未命中审核策略。

步骤S103，在业务数据是违规内容的情况下，依据业务数据违规的程度，对业务数据进行相应的处理。

通常，用户在举报页面可以选择的举报原因有多种，并且可以进行多选，当业务数据被举报为多项原因时，风险控制系统可以采用多种审核策略分别对业务数据进行审核。本发明实施例中所说的业务数据违规的程度可以是指业务数据命中审核策略的数量的多少，命中的越多，那么业务数据的违规程度越重，反之，业务数据的违规程度越轻。并且，处理的方式包括删帖、删除数据、修改数据、对发布违规内容的用户禁言、对发布违规内容的用户封号等。

由以上内容可知，本发明实施例提供的举报内容的处理方法，可以通过之前设计好的唯一协议接口从业务线上抽取到被用户举报为违规内容的业务数据，进行审核处理。这样，调用接口的方式都是相同的，在审核阶段，不必再针对各个业务线设计不同的数据抽取方法，只需根据不同业务线修改抽取方法中传递的参数即可。

本发明实施例中，还可以为用户提供一个异构化的举报页面，首先搭建配置中心，配置中心可实现页面元素、举报原因、举报原因对应的附件、场景、模板、字段管理、页面字段映射的设置，为前端举报页面的展示提供积木式的组合方式，并且，可以根据用户在业务线上对于举报页面的展示需求以及业务线的需求等，调整举报页面上的显示内容以及布局等，使页面更加灵活。并且，用于设置举报页面的配置数据也是由业务线传输的。

图2为本发明实施例示出的一种获取业务线上数据的示意图。

在一些实施例中，如图2所示，在举报内容的审核处理阶段之前，可以先从业务线上抽取被用户对于举报页面的配置数据；再利用配置数据，为用户生成业务线上的举报页面。用户可以在新的举报页面上进行举报处理。被举报的业务数据再通过业务线传输到风险控制系统中进行审核处理。

可见，业务线的数据分为两种用途，一种是用来展示举报页面的配置数据，一种是用来被审核的业务数据，在展示页面过程中利用上述配置中心的字段管理和数据映射等功能来展示业务线的异构数据。并且，本发明实施例中支持两种方式获取业务线上的数据，一种是由业务线通过协议传递的，一种是通过由业务线提供的接口获得的，数据提交过程中业务平台将两种数据合并成一个JSON(JavaScript Object Notation,JS对象简谱)格式。

图3为本发明实施例示出的一种审核业务数据的方法流程图。在一些实施例中，如图3所示，利用风险控制系统中的审核策略对业务数据进行审核，确认其是否为违规内容的步骤可以包括：

步骤S201，根据用户对业务数据的举报内容，在风险控制系统中选择的相应的审核策略。

其中，举报内容包括至少一种举报原因，每一种举报原因对应一种审核策略。

步骤S202，利用审核策略对业务数据进行审核，在业务数据至少命中一种审核策略的情况下，确认业务数据为违规内容。

例如，一个被举报的业务数据的举报原因包括“信息虚假”、“内容低俗”和“语言不文明”，其中，“信息虚假”对应审核策略a，“内容低俗”对应审核策略b，“语言不文明”对应审核策略c。那么在该业务数据命中审核策略a、审核策略b和审核策略c中任一项时，即可认为其是违规内容。

步骤S203，在业务数据并未命中任一种审核策略的情况下，确认业务数据为合格内容。

可见，本发明实施例还可以实现多种审核策略并行的方式，进而可以提高审核的正确率和效率。

图4为本发明实施例示出的第二种审核业务数据的方法流程图。

如前述实施例所述，业务数据违规的程度可以是指业务数据命中审核策略的数量的多少，进而在一些实施例中，如4所示，在业务数据是违规内容的情况下，依据业务数据违规的程度，对业务数据进行相应的处理的步骤可以包括：

步骤S301，在业务数据是违规内容的情况下，确定业务数据命中的审核策略的数量，进而确定业务数据违规的程度。例如，命中数量越多，违规程度越大。

步骤S302，根据业务数据违规的程度，删除业务数据和/或对发布业务数据的用户进行禁言处理或者封号处理。

本发明实施例中，针对于违规程度较轻的业务数据，可以采取删除业务数据、修改业务数据或者删帖的方式以净化业务环境，针对于违规程度较重的业务数据，需要对发布业务数据的用户进行封号或者禁言处理，给与该用户比较严重的处罚，以免其再次发布类似内容。并且，可以针对每个审核策略设置其对应的处理操作，这样，即使业务数据命中一个审核策略，也可以根据审核策略对应的处理操作对其进行处理，这样可以加大处理的力度。

另外，本发明实施例中，根据业务数据违规的程度进行具体处理的操作可以由不同的处理模块或者处理单元实现。每个处理单元都有组和优先级的属性，当业务数据同时命中多个审核策略时，可以按照组间并行组内优先的原则执行优先级最高的处理操作，这样是为了避免策略和处理单元的冲突。

并且，为了实现零成本开发，本发明实施例中实现了处理过程的命令式调用，处理模块或者处理单元获取处理参数配置并抽取业务数据的部分字段结合反射，最终封装成命令语句，然后调用实际的处理接口进行处理，例如，删除数据，修改数据等。

图5为本发明实施例示出的第三种审核业务数据的方法流程图。

在一些实施例中，利用风险控制系统中的审核策略对业务数据进行审核的方式还可以通过向风险控制系统发送审核指令来实现，其中，在审核指令中，为了区分被举报内容的各个举报原因，可以根据各个举报内容，设置对应的若干参数，风险控制系统接收到审核指令后，可以通过解析其中的参数，进而获取到举报原因。而后，再根据各个参数调用不同的审核策略对业务数据进行审核。

进而，在一些实施例中，如图5所示，利用风险控制系统中的审核策略对业务数据进行审核，确认其是否为违规内容的步骤，可以包括：

步骤S401，根据用户对业务数据的举报内容，设置若干参数。

其中，每一个参数对应举报内容中的一个举报原因。

步骤S402，利用参数生成审核指令，并发送给风险控制系统。

步骤S403，控制风险控制系统根据参数调用对应的审核策略。

由以上实施例的内容可知，本发明实施例提供的举报内容的处理方法，首先从业务线上抽取被用户举报为违规内容的业务数据；其中，业务线有若干条，以及各个业务线均通过唯一协议接口进行业务数据的传输；而后利用风险控制系统中的审核策略对业务数据进行审核，确认其是否为违规内容；最后在业务数据是违规内容的情况下，依据业务数据违规的程度，对业务数据进行相应的处理。本发明技术方案中的协议接口唯一，进而用户在业务线上只需要按照规定传递参数就可以将业务数据进行传输，进而针对于不同的业务线无需开发新的举报方式及审核流程，也减少业务平台的开发成本。

图6为本发明实施例示出的一种举报内容的处理装置的结构框图。如图6所示，本发明实施例提供的举报内容的处理装置可以包括：数据抽取模块601，用于从业务线上抽取被用户举报为违规内容的业务数据；其中，所述业务线有若干条，以及各个业务线均通过唯一协议接口进行所述业务数据的传输；内容审核模块602，用于利用风险控制系统中的审核策略对所述业务数据进行审核，确认其是否为违规内容；处理模块603，用于在所述业务数据是违规内容的情况下，依据所述业务数据违规的程度，对所述业务数据进行相应的处理。

在一些实施例中，所述装置还包括：配置数据获取模块，用于从业务线上抽取被用户对于举报页面的配置数据；举报页面生成模块，用于利用所述配置数据，为用户生成所述业务线上的举报页面。

在一些实施例中，所述装置还包括：所述内容审核模块，还用于：根据用户对所述业务数据的举报内容，在所述风险控制系统中选择的相应的审核策略；其中，所述举报内容包括至少一种举报原因，每一种举报原因对应一种审核策略；利用所述审核策略对所述业务数据进行审核，在所述业务数据至少命中一种审核策略的情况下，确认所述业务数据为违规内容；在所述业务数据并未命中任一种审核策略的情况下，确认所述业务数据为合格内容。

在一些实施例中，所述处理模块，还用于：在所述业务数据是违规内容的情况下，确定所述业务数据命中的审核策略的数量，进而确定所述业务数据违规的程度；根据所述业务数据违规的程度，删除所述业务数据和/或对发布所述业务数据的用户进行禁言处理或者封号处理。

在一些实施例中，所述内容审核模块，还用于：根据用户对所述业务数据的举报内容，设置若干参数，其中，每一个参数对应所述举报内容中的一个举报原因；利用所述参数生成审核指令，并发送给所述风险控制系统；控制所述风险控制系统根据所述参数调用对应的审核策略。

图7为本发明实施例示出的一种电子设备硬件结构示意图。如图7所示，本发明还提供了一种电子设备，包括：存储器701，用于存储程序指令；处理器702，用于调用并执行所述存储器中的程序指令，以实现上述实施例中所述的举报内容的处理方法。具体可以参见前述实施例中的相关描述。

本发明实施例中，处理器702和存储器701可通过总线或其他方式连接。处理器可以是通用处理器，例如中央处理器、数字信号处理器、专用集成电路，或者被配置成实施本发明实施例的一个或多个集成电路。存储器可以包括易失性存储器，例如随机存取存储器；存储器也可以包括非易失性存储器，例如只读存储器、快闪存储器、硬盘或固态硬盘。

本发明实施例还提供了一种存储介质，所述存储介质中存储有计算机程序，当举报内容的处理装置的至少一个处理器执行所述计算机程序时，举报内容的处理装置执行上述实施例中所述的举报内容的处理方法。

所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于服务构建装置和服务加载装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

以上所述的本发明实施方式并不构成对本发明保护范围的限定。