用于经由社交媒体内容检测事件的方法和系统

摘要

本发明涉及一种用于经由社交媒体内容检测事件的方法和系统。一种方法包括：从至少一个社交媒体源获得多个图像；从所述多个图像提取至少一个可视语义概念；区分事件语义概念信号与背景语义概念信号以便检测所述多个图像中的事件；以及检索与所述事件语义概念信号关联的一个或多个图像以便呈现为所检测事件的可视描述。

说明书

技术领域

本发明的实施例一般地涉及信息技术，更具体地说，涉及社交媒体技 术。

背景技术

在现有方法中，使用支持向量机（SVM）分类器经由基于文本的输入 （例如，基于文本的微博）执行社交媒体通道上的事件检测，以便从单个 输入检测单个事件。但是，现有方法不包括用于理解相关图像以试图直观 量化事件特性的机制。例如，在破坏性事件的情况下，事件特性的量化可 以包括物理结构的损坏评估。

相应地，现有方法仅承载有限的信息并且是语言特定的。因此，需要 将非结构化图像转换为结构化语义，因为结构化语义随时间的变化趋势可 以用于可训练且可扩展的事件检测。

发明内容

在本发明的一个方面，提供用于社交媒体事件检测和基于内容的检索 的技术。一种用于经由社交媒体内容检测事件的示例性计算机实现的方法 可以包括以下步骤：从至少一个社交媒体源获得多个图像；从所述多个图 像提取至少一个可视语义概念；区分事件语义概念信号与背景语义概念信 号以便检测所述多个图像中的事件；以及检索与所述事件语义概念信号关 联的一个或多个图像以便呈现为所检测事件的可视描述。

在本发明的另一个方面，一种用于经由社交媒体内容检测事件的示例 性计算机实现的方法可以包括以下步骤：从至少一个社交媒体源获得多个 图像；从所述多个图像提取至少一个可视语义概念；区分事件语义概念信 号与背景语义概念信号以便检测所述多个图像中的事件；检索与所述事件 语义概念信号关联的一个或多个图像；将与所述事件语义概念信号关联的 所述一个或多个图像分组；使用用户反馈注释包含所述一个或多个图像的 组；以及将所注释的包含所述一个或多个图像的组显示为所检测事件的可 视描述。

本发明的另一个方面或其元素可以以制品的形式实现，所述制品有形 地包含计算机可读指令，当所述计算机可读指令被执行时，导致计算机执 行在此描述的多个方法步骤。此外，本发明的另一个方面或其元素可以以 装置的形式实现，所述装置包括存储器和至少一个处理器，所述至少一个 处理器连接到所述存储器并且可操作以执行所述方法步骤。此外，本发明 的另一个方面或其元素可以以构件的形式实现，所述构件用于执行在此描 述的方法步骤或其元素；所述构件可以包括硬件模块（多个）或硬件和软 件模块的组合，其中所述软件模块存储在有形的计算机可读存储介质（或 多个此类介质）中。

从以下将结合附图阅读的对本发明的示例性实施例的详细描述，本发 明的这些和其它目标、特性和优点将变得显而易见。

附图说明

图1是示出根据本发明的一个实施例的生成事件概率数据的示意图；

图2是示出根据本发明的一个实施例的图像和语义的关联数据以便表 示事件的示意图；

图3是示出根据本发明的一个实施例的用于经由社交媒体内容检测事 件的技术的流程图；

图4是示出根据本发明的一个实施例的用于经由社交媒体内容检测事 件的技术的流程图；以及

图5是其中可以实现本发明的至少一个实施例的示例性计算机系统的 系统图。

具体实施方式

如在此描述的，本发明的一个方面包括使用时间解析的图像语义概念 的社交媒体事件检测和基于内容的检索。如在此使用的，“事件”可以被 视为用户可能有兴趣主动检测或追溯检索的未计划状态更改。本发明的至 少一个实施例包括通过观察图像语义随时间的更改而检测大规模社交事 件。此外，本发明的至少一个实施例包括捕获和检索与所检测事件相关的 图像。实例事件可以包括各种活动，例如检阅、地震、龙卷风、体育事件 等。

如在此详述的，本发明的至少一个实施例包括随时间监视上传到一个 或多个社交媒体网站的图像的语义。在一个实例实施例中，可以将图像流 化到并行系统，所述并行系统实时向图像应用一组生成的语义模型（例如， 1000个或更多）。此类语义例如可以包括各种类型的场景、物体、人员以 及各种数量的场景、物体、人员。此外，可以测量语义信号的背景水平， 并且可以将与背景水平的特定偏差视为事件。与语义关联的图像（包括特 定事件信号）可以进一步被分组并呈现为事件的表示。

如上所述，所监视和提取的图像语义可以包括各种类型的场景、物体 和/或人员。可以先验提供一组标准语义分类器，或者用户可以训练他或她 的一组专用语义分类器。在本发明的至少一个实施例中，直接从丰富的社 交媒体可视数据（例如用户张贴的图像或视频）提取此类图像语义。本发 明的各方面另外使用该信息直接从上传到社交媒体流的图像和视频检测大 规模事件。可以在不受限制的时段内，从图像/视频语义更改检测不受限制 的区域（例如城市、地区、州或国家）的未计划状态更改（或“事件”， 如在此使用的）。

根据本发明的一个或多个实施例，可以使用各种技术执行事件检测。 一种实例技术包括在预定或用户指定的背景时间内测量语义的平均差和标 准差。用户还可以针对事件检测设置异常值（outlier）阈值。例如，用户 可以指定当在给定时间内（如果给出背景时段）上传的“碎石”照片数的 概率小于5%时，发生事件。

此外，在本发明的至少一个实施例中，用户可以指定背景时段和事件 时段。背景时段可以被视为不包含事件特性的时段。此类实施例的一个附 加方面包括学习足以将事件与非事件区别开的区分性特性图像语义，从而 便于在将来检测类似于指定事件的事件。学习此类区分性特性图像语义例 如可以通过以下操作实现：使用所有语义作为从中训练支持向量机（SVM） 分类器的特征，并且将表征事件的图像作为正例，将未表征事件的图像作 为反例。

图1是示出根据本发明的一个实施例的生成事件概率数据的示意图。 步骤102包括执行图像分析，例如特征提取、语义分类等。步骤104包括 生成语义模型向量数据。该步骤可以包括量化图像（多个）的各种上下文 方面，例如示出的绿色植物、水泥和/或沥青的数量。在本发明的一个实例 实施例中，该步骤还可以包括产生每个语义的置信度得分。步骤106包括 例如通过使用交互式机器学习和/或统计分析来执行事件检测。此外，步骤 108包括生成事件概率数据。

相应地，图1中所示的技术包括通过图像分析系统流化来自一个或多 个社交媒体网站的图像以便提取语义内容。如步骤104中所述，这可以包 括将流化后的数据表示为语义模型向量。语义模型向量是所有语义分类器 的向量形式的串联输出。例如，可以随时间收集来自社交媒体通道的图像。 在未发生感兴趣事件的背景时段（在此称为规则状态）内，图像和视频将 具有其语义组成（semantic makeup）的一种特定统计分布。在本发明的至 少一个实施例中，可以针对在时帧△t内收集的所有图像计算实例语义模 型向量值的平均值。

当发生感兴趣事件（在此称为不规则状态）时，同样长的时段内的语 义组成将根据事件特性而更改。在地震的一个示例性实例中，在该时段内， 可能观察到更多包含建筑物、沥青和水泥的图像和视频。

还如图1中所示，本发明的一个方面包括通过语义信号执行事件检测 以便计算事件发生概率。本发明的一个实例实施例可以包括统计分析。例 如，此类分析可能包括测量背景“规则状态”语义的平均差和标准差，并 标识远离“规则状态”语义信号平均值的更改超过阈值数量的标准差的时 段。

还如所述的，本发明的一个实例实施例还可以包括实现监管式机器学 习算法。例如，用户可以突出显示其中未发生感兴趣事件的时段，然后突 出显示其中发生各种感兴趣事件的时段。机器学习算法可以确定每种类型 事件语义之间的区别或确定没有事件语义，并且能够在将来根据该区别识 别此类事件。同样，用户可以指定背景时段和事件时段两者。系统然后可 以学习足以将事件与非事件区别开的区分性特性图像语义，从而使系统能 够在将来检测类似于指定事件的事件。

此外，本发明的至少一个实施例可以经由基于时间间隔的SVM或k 最近邻（kNN），或者具有序列对齐内核的SVM来执行事件检测。这例 如可以通过以下操作实现：提供表征事件的图像作为正例，未表征事件的 图像作为反例。可以从所有图像提取语义模型向量，并且这些向量可以用 作提供给SVM组件以便训练的特征。

此外，可以考虑时间信息。并不使用个体图像作为实例，而是可以按 时间顺序以多个串联语义模型向量的形式提供图像组序列，这些序列可以 按时间区域按组聚合成单个表示，也可以不聚合。这些表示然后用作正例 和反例，并且可以与考虑序列信息的SVM内核结合使用。此类内核包括 使用动态编程的序列对齐内核或两部分（bi-partite）匹配内核。此外，监 管式机器学习算法可以与基于文本的事件检测技术结合实现，以便改进每 种方法的稳健性。此外，实现机器学习算法的本发明的一个实施例还可以 包括将对事件检测的贡献最显著的图像评估为事件相关。

图2是示出根据本发明的一个实例实施例的图像和语义的关联数据以 便表示事件的示意图。举例来说，图2示出有关实例事件信号的平均语义 组成的数据202、有关是否可以将实例图像视为不与事件相关的数据204， 以及有关是否可以将实例图像视为与事件相关的数据206。

相应地，如图2中所示，本发明的至少一个实施例包括聚集和/或组织 与语义关联的图像（当展开时足以表示事件）。这可以例如通过以下操作 执行：使用训练后的事件模型随时间对图像组进行评分，并返回或突出显 示产生最高得分（多个）的那些图像组。例如，这可以包括实现图像检索 系统，其中检索具有类似于事件信号的语义组成的图像以便向用户显示。 呈现可以采取各种形式，例如根据获得图像的位置，将相关图像放置在地 图上。该接口可以提供事件的可视特性以及地理信息。可以根据可视特性， 从图像标题和/或图像定位算法中的全球定位系统（GPS）信息提取地理信 息。还可以显示图像而没有地理信息。

同样，在本发明的至少一个实施例中，当检测到事件时，可以检索描 述该事件的附加相关图像和视频，作为该事件的丰富描述。例如，在地震 期间，可能观察到室外照片（包括街道、损坏的道路、碎石等的照片）数 量增加。可以检索与表征事件的那些语义关联的图像，以便提供更详细的 事件描述。此外，如所述的，如果在元数据中使用全球定位系统（GPS） 位置信息标记图像，则本发明的至少一个实施例包括将图像叠加到地图上， 以便提供发生事件的位置和影响和/或作用的可能范围的地理空间表示。

还如在此详述的，本发明的至少一个实施例包括作为开域运行，以便 处理社交媒体张贴的图像或视频（例如，来自Twitter、Facebook等）； 即，本发明的各方面并不限于预先指定的电视转播事件、位置或时间。相 反，本发明的各方面包括在不受限制的时空域中检测未计划的事件。

图3是示出根据本发明的一个实施例的用于经由社交媒体内容检测事 件的技术的流程图。步骤302包括从至少一个社交媒体源获得多个图像。 所述图像可以包括从照片和视频输入（例如，用户在至少一个社交媒体源 上张贴的图像或视频）获得的图像。在本发明的至少一个实施例中，获得 步骤包括实时流化来自至少一个社交媒体源的多个图像。步骤304包括从 多个图像提取至少一个可视语义概念。如在此描述的，可视语义概念表征 事件。

步骤306包括区分事件语义概念信号与背景语义概念信号以便检测多 个图像中的事件。区分步骤例如可以基于将提取的至少一个可视语义概念 中的每个可视语义概念的信号强度与预定异常值阈值相比较。此外，区分 步骤可以包括在用户指定的背景时段内测量每个语义概念的平均差和标准 差。

此外，在本发明的至少一个实施例中，区分步骤包括使用交互式机器 学习算法，以及例如将多个图像中对事件检测的贡献最显著的图像评估为 事件相关。此外，区分步骤可以包括执行统计分析以便计算事件发生概率。

步骤308包括检索与事件语义概念信号关联的一个或多个图像以便呈 现为所检测事件的可视描述。此外，图3中所示的技术可以包括随时间测 量每个语义概念的信号，以及标识表示实时事件的一个或多个语义概念信 号峰值。

如在此详述的，本发明的至少一个实施例还可以包括将使用GPS功能 标记的图像叠加到地图上以便提供事件的地理空间表示。此外，图3中所 示的技术另外可以包括指定背景时段和事件时段，将图像流化到并行系统， 所述并行系统实时向图像应用一组生成的语义模型，以及/或者在指定时段 内监视上传到一个或多个社交媒体网站的图像的语义。此外，可以检索与 所检测事件相关的附加图像。

图4是示出根据本发明的一个实施例的用于经由社交媒体内容检测事 件的技术的流程图。步骤402包括从至少一个社交媒体源获得多个图像。 步骤404包括从多个图像提取至少一个可视语义概念。步骤406包括区分 事件语义概念信号与背景语义概念信号以便检测多个图像中的事件。步骤 408包括检索与事件语义概念信号关联的一个或多个图像。步骤410包括 分组与事件语义概念信号关联的一个或多个图像。步骤412包括使用用户 反馈注释包含所述一个或多个图像的组。步骤414包括将所注释的包含所 述一个或多个图像的组显示为所检测事件的可视描述。

如在此描述的，图3和图4中所示的技术还可以包括提供一种系统， 其中所述系统包括不同的软件模块，每个不同软件模块包含在有形的计算 机可读可记录存储介质中。例如，所有模块（或其任何子集）可以在同一 介质中，或者每个模块可以在不同介质中。模块可以包括附图中示出和/ 或在此描述的任何或全部组件。在本发明的一个方面，模块例如可以在硬 件处理器上运行。然后可以使用所述系统的不同软件模块（如上所述，在 硬件处理器上执行）执行所述方法步骤。此外，计算机程序产品可以包括 有形的计算机可读可记录存储介质，其具有适合于被执行的代码以便执行 在此描述的至少一个方法步骤，包括为所述系统提供不同的软件模块。

此外，图3和图4中所示的技术能够通过可以包括计算机可用程序代 码的计算机程序产品来实现，计算机可用程序代码存储在数据处理系统内 的计算机可读存储介质中，并且其中计算机可用程序代码通过网络从远程 数据处理系统下载。此外，在本发明的一个方面，计算机程序产品可以包 括存储在服务器数据处理系统内的计算机可读存储介质中的计算机可用程 序代码，并且其中计算机可用程序代码通过网络下载到远程数据处理系统， 以便在远程系统的计算机可读存储介质中使用。

所属技术领域的技术人员知道，本发明的各个方面可以实现为系统、 方法或计算机程序产品。因此，本发明的各个方面可以具体实现为以下形 式，即：完全的硬件实施方式、完全的软件实施方式（包括固件、驻留软 件、微代码等），或硬件和软件方面结合的实施方式，这里可以统称为“电 路”、“模块”或“系统”。此外，本发明的各个方面还可以实现为在一 个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含 计算机可读的程序代码。

本发明的一个方面或其元素可以以装置的形式实现，所述装置包括存 储器和至少一个处理器，所述至少一个处理器连接到所述存储器并且可操 作以执行示例性方法步骤。

此外，本发明的一个方面可以使用在通用计算机或工作站上运行的软 件。参考图5，此类实现例如可以采用处理器502、存储器504和输入/输 出接口（例如，由显示器506和键盘508形成）。术语“处理器”如在此 使用的，旨在包括任何处理设备，例如包括CPU（中央处理单元）和/或 其它形式处理电路的处理设备。进一步，术语“处理器”可以指多个单独 的处理器。术语“存储器”旨在包括与处理器或CPU关联的存储器，例 如RAM（随机存取存储器）、ROM（只读存储器）、固定存储器件（例 如，硬盘驱动器）、可移动存储器件（例如，软盘）、闪存等。此外，词 组“输入/输出接口”如在此使用的，旨在包括例如用于将数据输入到处理 单元的机构（例如，鼠标），以及用于提供与处理单元关联的结果的机构 （例如，打印机）。处理器502、存储器504和输入/输出接口（例如显示 器506和键盘508）例如可以通过总线510互连，作为数据处理单元512 的一部分。还可以例如通过总线510为网络接口514（例如网卡，其可以 用于与计算机网络连接）以及介质接口516（例如软盘或CD-ROM驱动器， 其可以用于与介质518连接）提供合适的互连。

因此，如在此描述的，包括用于执行本发明方法的指令或代码的计算 机软件可以被存储在关联的存储器件（例如，ROM、固定或可移动存储器） 中，并且当准备使用时，被部分或全部加载（例如，加载到RAM中）并 由CPU执行。此类软件可以包括但不限于固件、驻留软件、微代码等。

适合于存储和/或执行程序代码的数据处理系统将包括至少一个通过 系统总线510直接或间接连接到存储元件504的处理器502。存储元件可 以包括在程序代码的实际执行期间采用的本地存储器、大容量存储装置以 及提供至少某些程序代码的临时存储以减少必须在执行期间从大容量存储 装置检索代码的次数的高速缓存存储器。

输入/输出或I/O设备（包括但不限于键盘508、显示器506、指点设 备等）可以直接（例如通过总线510）或通过中间I/O控制器（为清楚起 见而被省略）与系统相连。

网络适配器（例如网络接口514）也可以被连接到系统以使数据处理 系统能够通过中间专用或公共网络变得与其它数据处理系统或远程打印机 或存储设备相连。调制解调器、电缆调制解调器和以太网卡只是当前可用 的网络适配器类型中的少数几种。

如在此（包括权利要求）使用的，“服务器”包括运行服务器程序的 物理数据处理系统（例如，如图5中所示的系统512）。应当理解，此类 物理服务器可以包括也可以不包括显示器和键盘。

如所述的，本发明的各个方面可以实现为计算机可读介质中的计算机 程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。此外， 可以采用计算机可读介质的任意组合。计算机可读介质可以是计算机可读 信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是-但 不限于-电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或 者上述的任意合适的组合。计算机可读存储介质的更具体的例子（非穷举 的列表）包括：具有一个或多个导线的电连接、便携式计算机盘、硬盘、 随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存 储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器（CD-ROM）、 光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计 算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被 指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括例如在基带中或者作为载波一部分传 播的数据信号，其中承载了计算机可读的程序代码。此类传播的数据信号 可以采用多种形式，包括-但不限于-电磁信号、光信号或上述的任意合 适的组合。计算机可读的信号介质可以是计算机可读存储介质以外的任何 计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令 执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用一种适当的介质传输，包括 -但不限于-无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以至少一种程序设计语言的任意组合来编写用于执行本发明的各 个方面的操作的计算机程序代码，所述程序设计语言包括面向对象的程序 设计语言-诸如Java、Smalltalk、C++等，还包括常规的过程式程序设计 语言-诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用 户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执 行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算 机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任 意种类的网络-包括局域网（LAN）或广域网（WAN）-连接到用户计 算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过 因特网连接）。

在此参照根据本发明实施例的方法、装置（系统）和计算机程序产品 的流程图和/或框图描述本发明的各个方面。应当理解，流程图和/或框图 的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指 令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它 可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通 过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图 和/或框图中的一个或多个方框中规定的功能/动作的装置。

也可以把这些计算机程序指令存储在计算机可读介质中，这些指令使 得计算机、其它可编程数据处理装置、或其它设备以特定方式工作，从而， 存储在计算机可读介质中的指令就产生出包括实现流程图和/或框图中的 一个或多个方框中规定的功能/动作的指令的制品（article of  manufacture）。因此，本发明的一个方面包括有形地包含计算机可读指令 的制品，当计算机可读指令执行时，导致计算机执行在此描述的多个方法 步骤。

也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、 或其它设备上，使得在计算机、其它可编程装置或其它设备上执行一系列 操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装 置上执行的指令提供实现流程图和/或框图中的一个或多个方框中规定的 功能/动作的过程。

附图中的流程图和框图显示了根据本发明的不同实施例的系统、方法 和计算机程序产品的可能实现的体系结构、功能和操作。在这点上，流程 图或框图中的每个方框可以代表一个模块、组件、程序段或代码的一部分， 所述模块、组件、程序段或代码的一部分包含至少一个用于实现规定的逻 辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所 标注的功能可以以不同于附图中所标注的顺序发生。例如，两个连续的方 框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依 所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及 框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的 基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

应当注意，在此描述的任何方法都可以包括提供一种系统的额外步骤， 所述系统包括包含在计算机可读存储介质中的不同软件模块；所述模块例 如可以包括在此详述的任何或全部组件。然后可以使用所述系统的不同软 件模块和/或子模块（如上所述，在硬件处理器502上执行）执行所述方法 步骤。此外，计算机程序产品可以包括计算机可读存储介质，其具有适合 于被执行的代码以便执行在此描述的至少一个方法步骤，包括为所述系统 提供不同的软件模块。

在任何情况下，应当理解，在此示出的组件可以以各种形式的硬件、 软件或它们的组合来实现，例如，专用集成电路（多个）（ASIC）、功能 电路、具有关联存储器的经过适当编程的通用数字计算机等。给予了在此 提供的本发明的教导后，相关技术领域的技术人员将能够构想本发明的组 件的其它实现。

在此使用的术语只是为了描述特定的实施例并且并非旨在作为本发明 的限制。如在此使用的，单数形式“一”、“一个”和“该”旨在同样包 括复数形式，除非上下文明确地另有所指。还将理解，当在此说明书中使 用时，术语“包括”和/或“包含”指定了声明的特性、整数、步骤、操作、 元素和/或组件的存在，但是并不排除其它特性、整数、步骤、操作、元素、 组件和/或其组的存在或增加。

以下的权利要求中的对应结构、材料、操作以及所有功能性限定的装 置或步骤的等同替换，旨在包括任何用于与在权利要求中具体指出的其它 单元相组合地执行该功能的结构、材料或操作。

本发明的至少一个方面可以提供有益的效果，例如区分从社交媒体内 容获得的特性图像语义以便检测事件与非事件。

出于示例目的给出了对本发明的不同实施例的描述，但所述描述并非 旨在是穷举的或是限于所公开的实施例。在不偏离所述实施例的范围和精 神的情况下，对于所属技术领域的普通技术人员来说许多修改和变化都将 是显而易见的。在此使用的术语的选择，旨在最好地解释实施例的原理、 实际应用或对市场中的技术的技术改进，或者使所属技术领域的其它普通 技术人员能理解在此所公开的实施例。