利用脑特征活动图谱数据库来表征内容的装置和方法

摘要

一种计算机实现的方法，该方法包括：向生物体提供刺激，测量生物体响应于刺激的脑活动，并产生表征脑活动的脑特征活动图谱。针对不同的刺激重复提供、测量和产生的操作，以形成脑特征活动图谱数据库。接收到新的刺激。将新的刺激特征映射到投射的脑活动图谱。将投射的脑活动图谱与脑特征活动图谱数据库进行比较，以识别投射的脑活动图谱和脑特征活动图谱数据库中的条目之间的相似性和差异性，从而标明匹配。基于匹配表征新的刺激。

说明书

相关申请的交叉引用

本申请要求于2018年12月4日提交的序列号为62/775,018的美国临时专利申请的优先权，该美国临时专利申请的内容通过引用并入本文。

发明领域

本发明总体上涉及自动评估内容以确定认知分类。更具体地，本发明涉及利用脑特征活动图谱数据库(brain feature activity map database)来表征内容的技术。

发明背景

机器学习和深度学习是人工智能领域的分支，它们基于计算系统可以从数据中进行学习的构思。人脑一直是这些方法的灵感来源，尤其是对于计算系统的学习过程。人脑及其底层生物神经网络具有一种有效的方式来处理少量数据，以迅速获得认知分类。

个人发布不良内容(objectionable content)(例如暴力内容、色情内容、辱骂性内容或攻击性内容)会损害用户社交媒体体验。社交媒体提供商努力移除此类内容，但现有技术是手动的，且因此既慢又麻烦。因此，需要自动评估内容以确定认知分类(例如，不良的与非不良的、虚假的与真实的、愉快的与不愉快的，等等)。

发明概述

一种计算机实现的方法，该方法包括向生物体提供刺激，测量生物体响应于刺激的脑活动，并产生表征脑活动的脑特征活动图谱。针对不同的刺激重复提供、测量和产生的操作，以形成脑特征活动图谱数据库。接收新的刺激。将新的刺激特征映射到投射的脑活动图谱(brain activity map)。将投射的脑活动图谱与脑特征活动图谱数据库进行比较，以识别投射的脑活动图谱和脑特征活动图谱数据库中的条目之间的相似性和差异性，从而标明(designate)匹配。基于匹配来表征新的刺激，以建立认知分类。

附图简述

结合以下结合附图的详细描述，更充分地理解本发明，其中：

图1示出了根据本发明的实施例配置的系统。

图2示出了根据本发明的实施例构建脑特征活动图谱数据库的处理操作。

图3示出了利用脑特征活动图谱数据库来表征内容的处理操作。

在附图的几个视图中，相似的附图标记指的是相对应的部分。

发明详述

图1示出了系统100，其中客户端设备102通过网络106与服务器104通信，网络106可以是有线网络和无线网络的任意组合。脑活动测量装置107，诸如磁共振成像(MRI)装置，也连接到网络106。如下文详细讨论的，脑活动测量装置107用于针对提供给诸如人类的生物体的不同刺激生成脑特征活动图谱。通过将来自脑的响应于给定刺激的可测量的脑信号投射到脑的解剖图谱(anatomical atlas)(例如，Brodmann图谱、AAL图谱等)来生成脑特征活动图谱。在这个过程中，给定的刺激被分解成一组预定义的特征，其中每个特征与脑活动之间的相关性是通过相似性分析来测试的。然后，使用脑特征活动图谱来生成脑特征活动图谱数据库，该脑特征活动图谱数据库被用于根据新的刺激的内容对该新的刺激进行分类(例如，暴力的、色情的、攻击性的、辱骂性的、积极的、消极的、中性的等)，并且该脑特征活动图谱数据库被用于关于新的刺激的不良或非不良性质的决策过程。因此，该系统提供了对新的内容进行分类和表征的自动化技术。

可以将新的内容从客户端设备102提交给服务器104。新的内容可以是图像、视频、音频或感觉内容(sensory content)。客户端设备102可以是计算机、平板电脑、智能手机等。客户端设备102包括经由总线114连接到输入/输出设备112的中央处理单元110。输入/输入设备112可以包括键盘、鼠标、触摸屏等。网络接口电路116也连接到总线114，以提供到网络106的连接。存储器120也连接到总线114。存储器120存储可用于与服务器104交互的客户端应用122。客户端设备102和服务器104可以是在没有用户输入的情况下自动运行的基于云的资源。

服务器104包括中央处理单元130、输入/输出设备132、总线134和网络接口电路136。存储器140连接到总线134。存储器140存储由处理器130执行以实现本文公开的操作的指令。存储器140存储脑特征活动图谱生成器142，该脑特征活动图谱生成器142包括产生脑特征活动图谱的指令，该脑特征活动图谱表征响应于呈现给生物体的刺激的脑活动。使用不同的刺激和不同的受试者(subject)来收集脑特征活动图谱，以形成脑特征活动图谱数据库144。存储器140还存储新的刺激处理器146。服务器104接收诸如来自客户端设备102的新的刺激，并将新的刺激的特征映射到投射的脑活动图谱。投射的脑活动图谱是对新的刺激的脑响应的估计。所述估计是通过以下操作进行的：提取新的刺激的预定义特征，(通过相似性分析)从脑特征活动图谱中找到最接近的特征组的匹配，以及通过结合所有特征的相关脑特征活动来计算对新的刺激的脑响应。

在创建投射的脑活动图谱的过程中，还估计了脑特征活动图谱的标记。新的刺激标签(label)的生成是由一组预测器进行的。该一组预测器预测每个特征与来自脑特征活动图谱数据库144的相对应的脑响应的标记之间的相似性和差异性。基于匹配或标明的匹配的组合来表征新的刺激。

图2示出了构建脑特征活动图谱数据库144的处理操作。起初，选择生物体200。典型地，生物体是人类，但是根据本发明的实施例可以使用其他生命形式。生物体连接到脑活动测量装置107。然后，刺激被提供给新的生物体202。测量新的生物体响应于刺激的脑活动204。典型地，该测量是图像形式的，然后如下详细描述的，将其转换成脑特征活动图谱。然后，可以将同一生物体暴露于新的刺激(210-是)，在这种情况下，再次执行操作202-206。如果不向受试者呈现新的刺激(210-否)，则确定是否要测试另一生物体208。如果是(208-是)，则重复操作200-210。因此，该过程潜在地构建关于多个生物体针对多个刺激的多个脑特征活动图谱。当没有其他生物体要被评估时(208-否)，则脑特征活动图谱被加载到脑特征活动数据库212中。然后，如下文详细描述的，脑特征活动图谱可以与标签相关联214。

一旦脑特征活动图谱数据库144被构建，它就可以被用于表征新的刺激。特别地，新的刺激处理器146可以用于从客户端机器102接收新的刺激。可替代地，新的刺激处理器146可以在客户端机器102上实现。图3示出了接收新的刺激300的初始操作。将新的刺激特征映射到投射的脑活动图谱302。该操作与图2的产生脑特征活动图谱206的操作一致。将投射的脑活动图谱与脑活动图谱数据库144进行比较以找到匹配304。基于匹配来表征新的刺激306。换句话说，与匹配相关联的标签与新的刺激相关联。

脑特征活动图谱利用一种变换，该变换使用功能编码方法将非特定图像特征与脑活动的模式相关联，或将非特定系列的视频帧与脑活动的一系列模式相关联。通过以下项中的一项或更多项来执行测量：解剖磁共振成像(MRI)、扩散MRI(dMRI)、功能MRI(fMRI)、脑电图(EEG)、脑磁图(MEG)、红外成像、紫外成像、计算机断层扫描(CT)、脑图谱绘制超声(Brain Mapping Ultrasound)、体内细胞数据、体内分子数据、基因组数据和光学成像。脑活动包括在预定义的脑区域中的脑信号(诸如，来自fMRI的bold信号、来自EEG的ERP信号等)。

脑特征活动模型集成了解剖学、连通性(connectivity)和活动分析。分析该方法中的活动信号以提取刺激特征相关的区域脑响应。使用相同区域之间的连通性矩阵来去相关脑活动响应，以增加特征之间的可变性。

在一个实施例中，评估来自脑活动测量装置107的图像，以确定在预定义的脑区域中的脑信号(诸如，来自fMRI的BOLD信号、来自EEG的ERP信号等)的活动可以如何(参见下一节定义)解释所选择的认知层。例如，脑活动记录分析可以是fMRI的BOLD信号可以如何解释图像中面部的存在。这种方法(类似于加兰特实验室利用fMRI进行编码-解码的发表内容)可以提供不同认知层的全脑整体表示。然后，认知层乘以连通性关联矩阵，以形成特征特定的脑关联矩阵，称为脑连接组(Brain Connectome)。

脑连接组的计算可以是功能性的(静息态fMRI)、结构性的(基于扩散的纤维追踪)、或这两者的结合，并且可以由组织的各种微观结构估计结果(例如，流线(streamline)数量、轴突直径分布等)来加权。

每个刺激经历分解成特征和特征集。这些特征可以表示倒易空间(reciprocalspace)中的图像内容，诸如图像特征的傅立叶变换。整套与事件相关的测量结果经历通过建模(诸如一般线性模型或其他方法)进行的分析，以表示区域特征特定的脑活动。

在逆向工程方法中，使用脑特征活动图谱数据库，新的刺激被解构到其特征空间中，以及然后(通过GLM或示例)被建模以创建图像特定的脑响应区域代码。这种模拟或建模提供了区域脑响应，就好像图像的感知是通过脑活动测量装置测量的一样。

在一个实施例中，收集脑中不同网络和子网络的灰质结构、白质结构和动态功能。灰质数据被转换成标准化的区域灰质指数(“脑区域”)。所分析的白质数据被转换成加权的神经元连接(“脑连接组”)。脑功能和生理数据通过脑区域进行增强，以及然后根据脑连接组进行加权，从而创建附加的脑活动加权图谱。脑活动图谱根据其刺激特定的活动来标记每个脑区域(“活动标签(Activity Label)”)。活动标签是一个连续的数字指数，该数字指数表示每个脑区域内的脑活动的强度，同时考虑脑区域之间的相互作用(即，根据连接组进行加权)。

根据脑灰质解剖数据(例如，解剖磁共振成像(MRI)、扩散张量成像(DTI)以及灰质的其它体内成像技术)计算脑区域，并在分割的脑图谱上进行平均。脑连接组是根据脑白质解剖数据(例如，解剖磁共振成像(MRI)、扩散张量成像(DTI)、红外成像以及脑的白质的其它体内成像技术)来计算的。白质指数基于脑组织的微观结构估计(例如，平均扩散率、分数各向异性、径向扩散率、轴突密度、轴突直径、轴突传导速度等)，并用于表征脑连接组的微观结构水平。通过这些特征，脑连接组的表征创建了一个矩阵，该矩阵包含脑区域之间的生物权重。例如，连接两个脑区域的大量轴突(脑组织的微观结构特征)展示了网络中这两个中枢之间的高度连通性(即，轴突数量越多，连接越强)。使用神经成像技术来揭示白质的微观结构特性产生了揭示脑网络的潜在连通性的脑连接组。

活动标签是根据脑功能和生理成像(例如，扩散张量成像(DTI)、功能MIR(fMRI)、脑电图(EEG)以及脑的其他生理和功能体内成像技术)来计算的，以识别每个脑区域的刺激特定的活动。活动标签是在进行脑功能和生理成像的同时将刺激引入生物体时被创建的。在这个阶段期间，生物体需要在感知刺激时完成标记任务。刺激可以是能够被生物体感觉(例如，视觉、听觉、触觉、气味和味觉)感知的任何数据。呈现刺激的过程包括根据其性质传递刺激的装置，例如，分别用于视觉、听觉、触觉、气味和味觉刺激的屏幕、扬声器、触觉刺激器、气味释放装置和味觉传递装置。传递刺激的装置配备或集成有软件以将刺激传递给脑功能和生理成像装置。这个软件还负责记录给定刺激的时间和顺序。一旦脑多模型成像完成，并且记录了脑特征活动数据，生物体就经历标记阶段。在这个阶段中，刺激被再次引入到生物体，因此生物体可以标记刺激。一旦完成，脑特征活动图谱及其进行标记的原始数据就利用变换进行分析，该变换使用功能编码方法将刺激特征与脑活动的模式或模式序列相关联。如上所述，脑功能和生理数据通过脑区域进行增强，且然后根据脑连接组进行加权，以创建活动标签。为了提高活动标签的特异性，通过将脑活动图谱乘以脑连接组矩阵来对脑活动图谱进行加权。

所有上述多模型脑成像技术都是用于形成活体脑的结构和功能的复杂表示的组件。多模态的组合产生了多层连通性矩阵。用至少两种不同的方法测量脑区域、脑连接组和活动标签的组合。

刺激内容可以表示硬分类(例如，特定对象、声音、触觉、气味等)或软分类(主观的、个体特定的分类)，诸如情感内容、语境(context)、效价(valence)或唤醒(arousal)。该模型使用所分析的神经成像数据，通过建模(诸如，一般线性模型或其他与特定分类相关的方法)来提供一组区域脑响应。本发明的实施例涉及根据视频文件或图像序列估计的脑特征活动图谱的序列。视频被分割成帧的序列，且每一帧被分解到其特征空间，以创建投射的脑活动图谱。然后，组成按次序的脑活动图谱来表示脑响应的动态(例如，创建视频特定的脑响应序列，就好像视频的感知是通过连续的脑活动测量装置来测量的一样)。在创建投射的脑活动图谱的过程期间，给出了标记的按次序的脑活动图谱。刺激和标签被加在一起，以形成按次序的脑特征活动图谱数据库144。一旦被创建，新的图像序列或视频文件就可以基于按次序的脑活动图谱数据库的匹配或标明的匹配的组合来被表征。

本发明的实施例涉及内容污染分数(content contamination score)(CCS)。CCS是通过计算活动标签的累积强度来估计不同内容类型的暴露水平的可测量的指数。当新的刺激出现时，它转换成活动标签的投射的脑活动图谱，并根据其内容进行标记。CCS是一种通过存储每个内容类别的每个刺激的每个活动标签来跟踪有害内容的估计暴露水平及其潜在影响的方法。举例来说，给定的暴力内容刺激集的高CCS评分可能对潜在观看者的健康(wellbeing)产生高负面影响。后者可能会将刺激集标记为“工作不安全(not safe forwork)”(NSFW)，或者将观看者标记为处于影响区(IZ)。以同样的方式，给定的暴力内容刺激集的低CCS评分可以表示对潜在观看者的健康的低负面影响。后者可能会将刺激集标记为“工作安全(safe for work)”(SFW)，或者将观看者标记为处于安全区(SZ)。

本发明的实施例涉及用于对脑特征活动图谱和数据库进行建模的丰富的学习阶段(“丰富的学习模型”)。在丰富的学习模型期间，新的刺激被解构到其特征空间中，以创建投射的脑活动图谱(即，创建图像特定的脑响应，就好像图像的感知是通过脑活动测量装置来测量的一样)。在创建投射的脑活动图谱期间，给出(而不是估计)对脑特征活动图谱的标记。刺激标签被添加到现有的脑特征活动图谱数据库144，以创建丰富的脑特征活动图谱数据库。在丰富学习阶段之后，可以基于匹配或标明的匹配的组合来表征新的未标记的刺激。

本发明的实施例涉及一种计算机存储产品，该计算机存储产品具有计算机可读存储介质，该计算机可读存储介质具有在其上用于执行各种计算机实现的操作的计算机代码。介质和计算机代码可以是为本发明的目的而专门设计和构造的，或者它们可以是计算机软件领域的技术人员所熟知和可获得的类型。计算机可读介质的示例包括但不限于：磁介质，诸如硬盘、软盘和磁带；光学介质，诸如CD-ROM、DVD和全息器件；磁光介质；以及专门被配置用于存储和执行程序代码的硬件设备，例如专用集成电路(“ASIC”)、可编程逻辑器件(“PLD”)以及ROM和RAM设备。计算机代码的示例包括机器代码，诸如由编译器产生的代码，以及包含由计算机使用解释器执行的高级代码的文件。例如，可以使用

本发明的实施例涉及可以模拟脑特征活动图谱的过程的硬件电路。硬件由可以同时运行至少200个电路的多核硬件组成。每个电路都通过数字突触矩阵与装置中的所有其他电路物理连接，但两个电路之间的通信将根据生物体的脑连接组进行。一旦刺激被呈现给硬件装置，计算机处理器介质就执行各种计算机实现的操作来分解给定刺激的特征。然后，这些特征被变换到另一个计算机可读存储介质中，该另一计算机可读存储介质上具有用于跨不同的硬件电路执行脑特征活动操作的计算机代码。

出于解释的目的，前面的描述使用了特定的术语来提供对本发明的全面理解。然而，对于本领域的技术人员明显的是，具体的细节并不是实施本发明所必需的。因此，本发明的特定实施例的前述描述是出于说明和描述的目的而被呈现的。它们并非旨在是详尽的或将本发明限制于所公开的准确形式；显然，鉴于以上教导，许多修改和变型都是可能的。选择和描述实施例是为了最好地解释本发明的原理及其实际应用，从而使本领域中的技术人员能够以适合于所设想的特定用途的各种修改最好地利用本发明和各种实现方式。所附权利要求及其等同物旨在限定本发明的范围。