社区问答服务中基于主客观上下文的问题转发系统和方法

摘要

一种社区问答CQA服务中基于主客观上下文的问题转发系统和转发方法，该系统根据社区问答服务中用户、话题、问题三者之间的关联关系，为每个用户问题配置话题Topic、社会Social和上下文Context的三维属性，然后综合该三维属性信息分析用户问题的内容及其提问意图，为CQA服务提供一种有效的、更精细的问题转发方法：利用相似性计算方法计算用户问题特征与其三维属性相关的三种问题特征的相似度值，作为每个用户问题的三维属性值，再根据这些属性值，将用户问题转发给适宜的候选人集合。本发明弥补了现有CQA服务的技术缺陷，从主客观多角度出发分析用户问题，有助于深层次分析CQA用户问题，为CQA提问用户寻找到潜在的更适宜的回答者，即提供确实有效的问题转发服务。

说明书

技术领域

本发明涉及一种社区问答服务中基于主客观上下文的问题转发系统和转发方法，属于知识发现、数据挖掘和机器学习的技术领域。

背景技术

随着Web2.0技术的发展，在线社会网路得到迅速普及，导致互联网中不断地涌现出大量的用户生成内容，这种状况在为信息的流动与传播提供便利的同时，也为传统的信息检索方式带来了新的挑战：用户对信息获取的需求逐渐偏向个性化与精准化。然而，传统的Web搜索引擎很难在海量信息中找到满足用户个性化需求的信息。传统搜索引擎虽然掌控着庞大的数字帝国，不断地更新索引、甚至努力发展实时搜索。但其寻找到的信息依然是古老、陈旧的。

随着社会化应用越来越普及，涉及的人群也更为广泛，人们浏览网页和对网页的喜好程度要比基于网站之间链接关系的算法更为准确。此外，搜索结果的可信程度不仅与事实有关，还取决于用户好友的意见和情感，以及查询者的意图。将基于事实的搜索结果与用户好友的经验结合在一起，能够反映出用户所信任的人的意见和网络上的集体智慧。因此，传统的只分析信息内容、而忽略人和/或忽略查询上下文的搜索方式已经无法满足用户日益增长的信息需求和高效方便地获取信息资源的要求。

与搜索引擎不同，社区问答CQA（Community Question and Answering）服务作为一种新兴的知识共享模式，具有交互性、开发性的特点，能够弥补Web搜索引擎的缺点，更好地满足用户的个性化需求。CQA系统基于用户的在线活动和用户的社会关系，将有相似兴趣的用户聚集在一起，通过发布、回答，以及讨论问题形成一个个知识社区。除了基本的问答功能，关注“follow”机制是CQA系统的另一个重要特征。CQA系统中的实体通常被组织为三类：{用户，问题，话题}，图1展示了这三类实体之间的关系，CQA将用户问题聚合为话题，并允许用户协作来编辑和回答这些问题和话题。用户也可以关注他们感兴趣的多个话题或问题，并在系统中找到相应的答案。目前典型的CQA站点包括Yahoo！Answers、Quora、Facebook Questions和中国的知乎网站等。CQA拥有海量的真实用户数据，包括用户的个人信息、用户之间的关系以及用户的在线活动等信息。充分利用这些用户数据，可以推测用户的兴趣喜好，提高用户对搜索结果的满意程度。因此，CQA的发展吸引了来自学术界和产业界的广泛关注。下面介绍与本发明相关的现有技术：

（1）Aardvark系统：D.Horowitz和S.Kamvar在2010年的WWW会议上发表文章，介绍了Aardvark系统：其为一个社区问答站点，旨在为用户找到正确的回答问题的人，以满足用户的信息需求。它能够解决传统搜索引擎不能解决的问题，如用户查询较长，上下文强相关、以及较为主观或推荐性质的查询。Aardvark在对潜在回答者进行排序时，除了考虑回答者针对某一话题领域的专业程度外，用户的社会关系也得到了很好的利用。

（2）Quora（https://www.quora.com/）：Quora也是一个著名的社区问答站点，由社区用户创建、编辑和组织维护。Quora将问题和答案聚合为话题，采用用户、话题和问题之间的关注机制来形成知识社区。用户可以通过回答问题、编辑问题、编辑其他用户的答案来相互协作。Quora系统的重点是知识共享和知识讨论，该系统中的社会关系因素较弱。

（3）Beepl（http://www.beepl.com）：Beepl是另一个与用户的Facebook、Twitter和LinkedIn账户相关联的社区问答站点，用户可以从领域专家、热心人及其社交关系图中寻找答案和建议。Beepl需要学习理解问题相关的话题和用户的兴趣与专长，以便于问题能够自动寻找到最好的回答者。Beepl中，语义技术、自然语言处理方法被用来学习理解用户的专业知识领域。Beepl和Quora的区别是：Beepl允许话题关注用户，而不是用户关注话题，Quora正好相反，允许用户关注话题。该系统中社会关系因素的权重适中，介于Aardvark和Quora之间。

（4）《Socializing or knowledge sharing Characterizing Social Intent inCommunity Question Answering》（刊于CIKM09）：该文章将内容分析技术与社会网络分析技术结合起来分析用户的意图，将用户意图划分为两类：社会意图与非社会意图。通过分析两个CQA服务：Yahoo！Answers和MSN QnA，作者得出了结论：除了信息共享，CQA服务中的用户也参与社交。

（5）《A classification-based approach to question routing in communityquestion answering》（刊于WWW2012-CQA Workshop）：该文章提出一种新的问题路由方法，旨在将问题路由到有可能提供正确答案的参与者。作者将问题路由看作一个分类任务：分析许多不同的局部特征和全局特征，用于捕捉问题、用户以及用户关系的不同方面。实验结果表明：问题与用户关系特征在提高整个系统性能方面能够起到至关重要的作用。

综上所述，现有技术的工作虽然在一定程度上缓解了传统搜索引擎的问题，为用户提供了更加个性化的服务，然而，大多数CQA服务都还没有将问题的类型、提问者的意图，以及该问题相关的可能的受众考虑在内。

举例说明：假设CQA服务中的提问者提出以下三个不同的问题：

问题1：谁是机器学习领域最好的专家？

问题2：我打算今年夏天去云南旅游，有谁想跟我一起吗？

问题3：八达岭高速现在堵不堵车？

从直觉出发，可以很容易地区分这三个问题：第一个问题希望找到具有机器学习领域专业知识的人来回答，该问题中的社会关系是次要的。针对第二个问题，人们总是希望找到熟知的人一起旅行。因此，这个问题中社会关系比专业知识显得更为重要。第三个问题询问交通状况，是时间和地理位置敏感的。因此，用户希望找到的可信的回答者，必须是此时此地就在八达岭高速的。在这个问题当中，专业知识和社会关系都不是很重要，而上下文相关的信息，如时间、位置、天气条件等等，则应该在选择回答者时首先考虑在内。

因此，为了能够在CQA服务中支持对问题的智能分析与精准转发，业内技术领域的科研人员对下述几个问题特别加以关注：例如，CQA服务是如何定义问题类型的？如何分析提问者的主观意图？当主客观上下文已知时，CQA服务是如何制定问题转发策略的？为此许多科研人员作出了大量的研究与探索。

发明内容

有鉴于此，本发明的目的是为社区问答服务提供一种基于客观上下文与主观上下文的问题转发系统和转发方法，即从客观和主观多个角度出发对用户问题进行分析，有助于深层次分析CQA用户问题，为提问者找到潜在的最适宜的回答者。

为了达到上述目的，本发明提供了一种社区问答CQA（Community Questionand Answering）服务中基于主客观上下文的问题转发系统，其特征在于：该系统根据社区问答服务中用户、话题、问题三者之间的关联关系，为用户的每个问题配置话题Topic、社会Social和上下文Context的三维属性，然后综合该三维属性信息分析用户问题的内容及其提问意图，为CQA服务提供一种有效的、更精细的问题转发方法；该系统设有：爬虫模块、知识库、问题聚类模块、数据预处理模块、特征提取模块、相似度计算模块，问题表示模块、问题转发模块和问题扩展模块；其中：

爬虫模块，负责采用其网络爬虫功能抓取现有社区问答服务中的用户数据和问题数据，并将抓取的所有用户数据和问题数据存储于知识库；其中，用户数据包括用户的个人资料、系统维护的用户好友关系、用户关注的问题与话题、用户的提问历史与回答历史；问题数据包括与问题相关的话题、与问题相关的用户、问题与答案列表；

知识库，负责存储爬虫模块抓取的所有用户数据和问题数据，以及针对这些数据所执行的全部操作行为记录，包括所有用户、话题、问题及其答案的标识，以供问题聚类模块对用户问题及其答案的历史进行聚类分析，以及问题扩展模块对用户问题进行扩展分析；

问题聚类模块，负责根据知识库中存储的用户数据与问题数据，将其中存储的所有用户问题聚类为分别对应问题的三维属性、即话题Topic、社会Social和上下文Context三类：专家回答的问题、好友回答的问题和上下文相关的问题，再将聚类后的三类问题传递到数据预处理模块进行分析处理；

数据预处理模块，设有分词、过滤与匹配三个单元，分别对来自问题聚类模块的三类问题数据进行相应处理，再将处理后的三类问题的三类关键词集合输出到特征提取模块，以供提取特征；其中，分词单元负责对问题内容进行分词，且对中文文本和外文文本分别根据不同的分词方法进行处理；过滤单元用于过滤和删除问题文本中的停用词和没有实际涵义的虚拟动词与形容词；匹配单元负责提取经过分词和过滤后的问题中的关键词集合；

特征提取模块，负责根据数据预处理模块传递的三类关键词集合，分别提取每类问题的相关特征集合：专家问题特征集合Expertise:{feature₁,feature₂,...,feature_i,...,feature_I}，社交问题特征集合Socializing:{feature₁,feature₂,...,feature_j,...,feature_J}和与上下文相关的其他问题特征集合Others:{feature₁,feature₂,...,feature_k,...,feature_K}；以便将该三类问题特征用于相似度计算模块计算用户问题的三维属性值；其中，自然数i和I、j和J、以及k和K分别是Expertise特征集合、Socializing特征集合和Others特征集合中的特征序号及其总个数；

问题扩展模块，负责根据用户输入的问题以及知识库中存储的、包括该用户的个人资料及其历史行为、该用户的好友资料及其好友的历史行为的相关信息，对该用户问题进行扩展：将简短的用户问题扩展为信息丰富的问题文本，使得扩展后的问题文本包含更多的关键词；再将该问题文本传送给问题表示模块进行后续处理；

问题表示模块，负责利用经典的语言模型描述来自问题扩展模块的用户问题文本的关键词序列，并采用特征提取方法选取该问题文本的特征Question：{feature₁,feature₂,...,feature_m,...,feature_M}，并将该问题文本的特征Question与特征提取模块的三种问题特征Expertise、Socializing和Others一起传送到相似度计算模块，计算其相似度值；式中，自然数m和M分别是问题文本的特征Question集合中的特征序号及其总个数；

相似度计算模块，负责采用包括余弦相似度计算公式的相似度计算方法，分别计算用户问题文本特征Question与三种问题特征Expertise、Socializing和Others的三个相似度值，用于分别表示该用户问题的三维属性Topic、Social和Context；再将该用户问题的三维属性值传递到问题转发模块，以供指导用户问题的转发；

问题转发模块，负责根据来自相似度计算模块的用户问题的三维属性值Topic、Social和Context，将用户问题转发到适宜的回答者候选人集合中，最后，将提问者、问题和回答者的信息都存储于知识库中。

为了达到上述目的，本发还明提供了一种社区问答CQA服务中基于主客观上下文的问题转发系统的转发方法，其特征在于：先分析与用户问题相关的客观上下文和与提问者相关的主观上下文，还分析CQA用户、CQA问题和上下文的多维度信息和CQA服务的历史数据，得到与用户问题的每种三维属性相关的三种问题特征，再利用相似性计算方法计算用户问题特征与三种问题特征的相似度值，作为给每个用户问题分配的三维属性值，然后根据这些属性值，将用户问题转发给适宜的候选人集合；所述方法包括下述操作步骤：

（1）获取知识：爬虫模块利用网络爬虫功能抓取CQA站点的用户数据与问题数据，并将抓取的所有用户数据与问题数据存储于知识库中；

（2）对知识库中存储的所有问题进行分类：问题聚类模块先从知识库中读取用户的问答历史，再根据聚类分析方法将所有用户问题区分为与问题的三维属性相对应的三类：专家回答的问题，好友回答的问题和上下文相关的问题；

（3）提取问题特征：先由数据预处理模块对来自问题聚类模块的三类问题数据进行分词、过滤与匹配处理，得到每类问题的关键词序列；再由特征提取模块根据这些关键词序列，提取出每类问题相关的专家问题特征集合Expertise，社交问题特征集合Socializing，以及与上下文相关的其他问题特征集合Others；

（4）描述用户问题：对用户输入的新问题，先由问题扩展模块通过学习知识库中的历史数据，以及基于存储在CQA站点中的包括该用户的个人资料与历史行为，以及该用户的好友资料与好友的历史行为信息，将简短的用户问题扩展为信息丰富的问题文本，以使扩展后的问题文本包含更多的关键词；再将该问题文本输入到问题表示模块，利用经典的语言模型描述扩展后的用户问题；

（5）计算问题的三维属性：相似度计算模块采用包括余弦相似度计算公式的相似性计算方法，依据来自问题表示模块的问题特征Question，分别与特征提取模块得到的三种问题特征进行相似度的量化计算，得到相应的三个相似度值，分别代表该用户新问题的三维属性值Topic、Social和Context；

（6）转发问题：问题转发模块依据相似度计算模块计算的用户问题的三维属性值Topic、Social和Context，将问题转发给适宜的回答者候选人集合，并将提问者、问题和回答者的信息都存储于知识库中。

本发明方法的创新优点是：充分利用社区问答服务中用户、话题、问题三者之间的关联关系，分析与问题相关的客观上下文和与提问者相关的主观上下文。在指导问题转发时，本发明首先为每个用户问题分配三维属性：话题Topic属性、社会Social话题和上下文Context属性，用于分别代表主题相关（或专业领域相关）的属性，社会关系相关的属性，以及上下文相关的属性（参见图2所示）。通过对社区问答CQA服务中历史数据的分析学习，得到与每种属性相关的问题特征。再利用相似性计算方法量化计算该用户问题特征与三种问题特征的相似度值，作为给该用户问题配置的三维属性值，然后根据这些量化的三维属性值将用户问题转发给适宜的候选人集合。

本发明方法与文章《A classification-based approach to question routing incommunity question answering》相比较的区别是：尽管两者目的都是寻找一种有效方法，将问题转发给最适宜的回答者，但是该文章考虑的特征只包含问题特征和用户的社会关系特征，没有考虑上下文因素（如地理位置或时间敏感的信息等）。而本发明除了考虑上述两个特征以外，同时还分析了用户意图，用来补充问题内容本身的局限性。而且，为了改进问答质量，本发明将用户的社会关系、上下文信息和专业程度三者结合起来研究分析用户提出的问题。

本发明方法与文章《Socializing or knowledge sharing?Characterizing SocialIntent in Community Question Answering》的区别是：虽然两者都考虑了用户意图，但该文章的用户意图是由人工标记的，而本发明提供了一种自动区分用户意图的方法。该文章只将用户意图分为社会与非社会两类，而本发明对用户意图采用多维度的信息进行分类。除了分析用户问题的内容和用户意图，本发明还提出一种问题转发方法。

总之，本发明方法能够弥补现有CQA服务的缺点，从客观和主观多个角度出发对用户问题进行分析，有助于对CQA用户进行更深层次的分析，并通过分析多维度的上下文来弥补传统信息获取方法的不足，从而为CQA提问用户寻找到潜在的更适宜的回答者，也就是提供确实有效的问题转发服务。

此外，本发明提供的目标回答者的定位方法，同样适用于搜索相关性的排序功能。因此，本发明具有很好的推广应用前景。

附图说明

图1是本发明社区问答CQA服务中用户、问题、话题三者之间的相互关系示意图。

图2是本发明方法将用户问题分成三维属性的示意图。

图3是本发明基于主客观上下文的问题转发系统结构组成示意图。

图4是本发明问题转发系统的转发方法示意图。

图5是本发明基于主客观上下文的问题转发系统转发方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。

本发明是一种社区问答CQA服务中基于主客观上下文的问题转发系统，该系统不同于以前只考虑将用户问题划分为社会/非社会的两维，而是根据社区问答服务中用户、话题、问题三者之间的关联关系，为每个问题配置话题Topic、社会Social和上下文Context的三维属性。

参见图2，介绍本发明的三维属性：话题Topic属性、社会Social属性和上下文Context属性，用于分别代表主题或专业知识领域的相关属性，社会关系的相关属性和上下文的相关属性；其中，Context属性用于描述与问题相关的包括时间、地理位置和天气状况的上下文因素。

本发明的三维属性能够更细粒度地描述用户问题，能够综合该三维属性信息来分析用户问题的内容及其提问意图：将主题相关的专业知识信息即话题信息、社会关系信息，以及上下文相关的信息结合起来分析用户的问题内容及其提问目的，为CQA服务提供一种有效的、更精细的问题转发机制，为用户问题寻找到更适宜的回答者，缩小了传统社区问答服务中提问者与回答者之间存在的鸿沟。

参见图3，介绍本发明系统的结构组成。设有：爬虫模块、知识库、问题聚类模块、数据预处理模块、特征提取模块、相似度计算模块，问题表示模块、问题转发模块和问题扩展模块共九个组成部件。其中：

（一）爬虫模块：负责采用其网络爬虫功能抓取现有社区问答服务中的用户数据和问题数据，并将抓取的所有用户数据和问题数据存储于知识库；其中，用户数据包括用户的个人资料、系统维护的用户好友关系、用户关注的问题与话题、用户的提问历史与回答历史；问题数据包括与问题相关的话题、与问题相关的用户、问题与答案列表。

（二）知识库：负责存储爬虫模块抓取的所有用户数据和问题数据，以及针对这些数据所执行的全部操作行为记录，包括所有用户、话题、问题及其答案的标识，以供问题聚类模块对用户问题及其答案的历史进行聚类分析，以及问题扩展模块对用户问题进行扩展分析。

（三）问题聚类模块：负责根据知识库中存储的用户数据与问题数据，将其中存储的所有用户问题聚类为分别对应问题的三维属性、即话题Topic、社会Social和上下文Context三类：专家回答的问题、好友回答的问题和上下文相关的问题，再将聚类后的三类问题传递到数据预处理模块进行分析处理。其中，存储在知识库的上述三类问题分别是由领域专家回答的最多的问题、由用户好友回答的最多的问题，以及与上下文相关的、包括分别与时间、地理位置或/和天气条件相关的问题。

（四）数据预处理模块：设有分词、过滤与匹配三个单元，分别对来自问题聚类模块的三类用户问题数据进行相应处理，再将处理后的三类问题的三类关键词集合输出到特征提取模块，以供提取问题特征。其中，分词单元负责对问题内容进行分词，且对中文文本和外文文本分别根据不同的分词方法进行处理；过滤单元用于过滤和删除问题文本中的停用词和没有实际涵义的虚拟动词（如脸部表情等）与形容词；匹配单元负责提取经过分词和过滤后的问题中的关键词集合。

（五）特征提取模块：负责根据数据预处理模块传递的三类关键词集合，分别提取每类问题的相关特征集合：专家问题特征集合Expertise:{feature₁,feature₂,...,feature_i,...,feature_I}，社交问题特征集合Socializing:{feature₁,feature₂,...,feature_j,...,feature_J}和与上下文相关的其他问题特征集合Others:{feature₁,feature₂,...,feature_k,...,feature_K}；以便将该三类问题特征用于相似度计算模块计算用户问题的三维属性值；其中，自然数i和I、j和J、以及k和K分别是Expertise特征集合、Socializing特征集合和Others特征集合中的特征序号及其总个数。

（六）问题扩展模块：负责根据用户输入的问题以及知识库中存储的、包括该用户的信息（包括用户的个人资料及其历史行为、该用户的好友资料及其好友的历史行为的相关信息），对该用户问题进行扩展：将简短的用户问题扩展为信息丰富的问题文本，使得扩展后的问题文本包含更多的关键词；再将该问题文本传送给问题表示模块进行后续处理。

（七）问题表示模块：负责利用经典的语言模型描述来自问题扩展模块的用户问题文本的关键词序列，并采用特征提取方法选取该问题文本的特征Question：{feature₁,feature₂,...,feature_m,...,feature_M}，并将该问题文本的特征Question与特征提取模块的三种问题特征Expertise、Socializing和Others一起传送到相似度计算模块，计算其相似度值；式中，自然数m和M分别是问题文本的特征Question集合中的特征序号及其总个数。

（八）相似度计算模块：负责采用包括余弦相似度计算公式的相似度计算方法，分别计算用户问题文本特征Question与三种问题特征Expertise、Socializing和Others的三个相似度值，用于分别表示该用户问题的三维属性Topic、Social和Context；再将该用户问题的三维属性值传递到问题转发模块，以供指导用户问题的转发途径。

（九）问题转发模块：负责根据来自相似度计算模块的用户问题的三维属性值Topic、Social和Context，将用户问题转发到适宜的回答者候选人集合中，最后，将提问者、问题和回答者的信息都存储于知识库中。

参见图4，介绍问题转发模块根据三维属性值Topic、Social和Context转发用户问题的方法如下：

设用户问题Q的三维属性值分别为（a）Topic、（b）Social和（c）Context时，则将该问题分别转发给话题属性相关性大于等于（a）Topic、或社会属性相似性大于等于（b）Social、或上下文属性相关性大于等于（c）Context的用户集合。

本发明社区问答CQA服务中基于主客观上下文的问题转发系统的转发方法是：先分析与用户问题相关的客观上下文和与提问者相关的主观上下文，还分析CQA用户、CQA问题和上下文的多维度信息和CQA服务的历史数据，得到与用户问题的每种三维属性相关的三种问题特征，再利用相似性计算方法计算用户问题特征与三种问题特征的相似度值，作为给每个用户问题分配的三维属性值，然后根据这些属性值，将用户问题转发给适宜的候选人集合。

参见图5，介绍本发明方法的下述操作步骤：

步骤1，获取知识：爬虫模块利用网络爬虫功能抓取CQA站点的用户数据与问题数据，并将抓取的所有用户数据与问题数据存储于知识库中。其中，用户数据包括：用户的个人资料，系统维护的用户好友关系，用户关注的问题与话题，以及用户的提问历史与回答历史。问题数据包括：与问题相关的话题信息、与问题相关的用户信息、问题与答案列表。

步骤2，对知识库中存储的所有问题进行分类：问题聚类模块先从知识库中读取用户的问答历史，再根据聚类分析方法将所有用户问题区分为与问题的三维属性相对应的三类：专家回答的问题，好友回答的问题和上下文相关的问题。其中，知识库中存储的专家回答和好友回答的问题分别是领域专家回答的最多的问题和用户好友回答的最多的问题；上下文相关的问题是知识库中存储的与上下文强相关的问题，包括分别与时间、地理位置或/和天气条件相关的各种特殊问题。

步骤3，提取问题特征：先由数据预处理模块对来自问题聚类模块的三类问题数据进行分词、过滤与匹配处理，得到每类问题的关键词序列；再由特征提取模块根据这些关键词序列，提取出每类问题相关的专家问题特征集合Expertise，社交问题特征集合Socializing，以及与上下文相关的其他问题特征集合Others。

步骤4，描述用户问题：对用户输入的新问题，先由问题扩展模块通过学习知识库中的历史数据，以及基于存储在CQA站点中的包括该用户的个人资料与历史行为，以及该用户的好友资料与好友的历史行为信息，将简短的用户问题扩展为信息丰富的问题文本，以使扩展后的问题文本包含更多的关键词；再将该问题文本输入到问题表示模块，利用经典的语言模型描述扩展后的用户问题。

步骤5，计算用户问题的三维属性：相似度计算模块采用包括余弦相似度计算公式的相似性计算方法，依据来自问题表示模块的问题特征Question，分别与特征提取模块得到的三种问题特征进行相似度的量化计算，得到相应的三个相似度值，分别代表该用户新问题的三维属性值Topic、Social和Context。

步骤6，转发问题：问题转发模块依据相似度计算模块计算的用户问题的三维属性值Topic、Social和Context，将问题转发给适宜的回答者候选人集合，并将提问者、问题和回答者的信息都存储于知识库中。