话题发现

摘要： 针对涉案舆情领域同一案件下不同话题的新闻文档要素信息较为接近,已有的话题发现方法不能很好地进行表征和区分的问题,提出融合近邻标题图的涉案新闻话题发现方法。在话题发现的过程中引入标题的关联关系,构建近邻标题图,通过图卷积网络提取标题的全局特征,同时使用深度网络提取文档的局部特征,加入到标题的编码过程中去,更好地实现聚类。实验结果表明,联合标题和文档进行话题建模可以提升涉案新闻话题发现的准确性指标。

摘要： 基于知识本体和可比语料库方法,针对俄汉敏感网络新闻话题发现问题开展研究。首先,分析俄汉敏感网络新闻可比语料话题特征并抽取话题要素,设计话题本体的总体框架,建立话题类和属性关系用于话题发现实验;其次,设计基于话题本体的俄汉网络新闻话题发现算法,包括跨语言文本相似度算法和话题发现算法;最后,将设计好的算法结合本体中的话题实例开展话题发现实验,实验验证本体方法和话题发现算法的有效性。该成果可为面向网络空间安全的俄汉跨语言话题监测、话语分析和舆情监控等研究提供帮助。

摘要： 微博话题发现技术是目前关于微博的热门研究领域之一,进行微博话题发现研究对于舆情监控具有重要意义.本文首先对微博新媒体的特点进行了归纳,进而分析了微博新媒体与公共事件之间的关系以及基于微博新媒体进行事件与舆论分析研究的意义与挑战.其次,本文就此领域的相关研究工作进行了总结和梳理,该工作对于未来进行深入研究和探寻改进方向提供了理论依据.

摘要： 检测微博新话题是对微博话题分析研究的基本工作内容.以前的研究虽然归纳出一些方法,但是对于语言文字短小,语法个性化不规范,文章内容结构松散的微博内容而言,仍然有着很多的问题.本文提出如何利用微博当中广大用户的参与,提供互动平台,以此搭建一种搜索微博新话题的发现思路.此方法主要是用每个参与话题讨论者的认知水平使用习惯,建立一个基于语言特征与时序的话题分辨模型,借助集群投票的方式来进行判定,从而提高检测精度.

摘要： 话题发现是网络社交平台上进行热点话题预测的一个重要研究问题.针对已有话题发现算法大多基于传统余弦相似度衡量文本数据间的相似性,无法识别各维度取值成比例变化时数据对象间的差异,文本数据相似度计算结果不准确,影响话题发现正确率的问题,提出基于双向改进余弦相似度的话题发现算法(TABOC),首先从方向和取值两个角度改进余弦相似度,提出双向改进余弦相似度,能够区分各维度取值成比例变化的数据对象,保留传统余弦相似度在方向判别上的优势,提高衡量文本相似度的准确性;进一步定义集合的双向改进余弦特征向量和双向改进余弦特征向量的加法等相关定义定理,舍弃无关信息,直接计算新合并集合的特征向量,减小话题发现过程中的时间和空间消耗;还结合增量聚类框架,高效处理新增数据.采用百度贴吧数据进行实验表明,TABOC算法进行话题发现是有效可行的,算法正确率和时间效率总体上优于其他对比算法.

摘要： 针对传统微博话题发现算法中,计算文本距离时仅仅考虑词与词的距离和最小而产生的问题,提出了使用CWMD(cos-word mover's distance)作为聚类标准的算法.结合余弦距离和WMD计算句子之间的相似性;使用TF-IDF向量代替WMD中词频权重向量,将所有词对文档的贡献纳入考量;使用CWMD代替传统的距离作为SP(Single-Pass)聚类的标准;并且提出了构建文本待定池的SP算法,旨在避免话题发现过程中数据到达的先后顺序对结果产生的影响,从而提高话题发现的准确性.通过对中文语料数据库中的部分数据进行对比实验,证实了该话题发现模型效果更好.进一步将该模型应用到爬取的微博数据中,将提取的簇的关键词和微博热搜话题进行比对,结果显示二者具有很强的相关性.

摘要： 【目的】从舆论热点话题与信息传播模式等视角理解自然灾害期间微博平台的舆情特征与演变模式。【方法】采用机器学习方法对微博有效数据进行提取,采用深度学习方法对微博文本进行聚类分析,采用复杂网络分析方法对微博信息传播模式进行研究。【结果】微博分类器准确率达到0.82,有效提取出灾害相关数据;文本聚类结果能较好地体现出舆情热点演变情况;发现信息传播网络的“幂律性”和“时间不变性”,信息传播网络结构稀疏,社团规模稳定扩张但分布模式不变;灾害期间用户之间的交互加强,不同地区用户对信息来源的偏好有所差异。【局限】缺乏对不同社交平台数据的实验验证和分析比较。【结论】所提研究方法和结果可以为灾害期间的舆情发现和管理提供一定启发。

摘要： 针对汉越跨语言新闻话题发现任务中汉越平行语料稀缺,训练高质量的双语词嵌入较为困难,而且新闻文本一般较长导致双语词嵌入的方法难以很好地表征文本的问题,提出一种基于跨语言神经主题模型(CL-NTM)的汉越新闻话题发现方法,利用新闻的主题信息对新闻文本进行表征,将双语语义对齐转化为双语主题对齐任务.首先,针对汉语和越南语分别训练基于变分自编码器的神经主题模型,从而得到单语的主题抽象表征;然后,利用小规模的平行语料将双语主题映射到同一语义空间;最后,使用K-means方法对双语主题表征进行聚类,从而发现新闻事件簇的话题.实验结果表明,所提方法相较于面向中英文的隐狄利克雷分配主题改进模型(ICE-LDA)在Macro-F1值与主题一致性上分别提升了4个百分点与7个百分点,可见所提方法可有效提升新闻话题的聚类效果与话题可解释性.

摘要： [目的]从舆论热点话题与信息传播模式等视角理解自然灾害期间微博平台的舆情特征与演变模式.[方法]采用机器学习方法对微博有效数据进行提取,采用深度学习方法对微博文本进行聚类分析,采用复杂网络分析方法对微博信息传播模式进行研究.[结果]微博分类器准确率达到0.82,有效提取出灾害相关数据;文本聚类结果能较好地体现出舆情热点演变情况;发现信息传播网络的"幂律性"和"时间不变性",信息传播网络结构稀疏,社团规模稳定扩张但分布模式不变;灾害期间用户之间的交互加强,不同地区用户对信息来源的偏好有所差异.[局限]缺乏对不同社交平台数据的实验验证和分析比较.[结论]所提研究方法和结果可以为灾害期间的舆情发现和管理提供一定启发.

摘要： 微博热点话题发现是指从大量的微博文本中发现用户讨论的热点话题,话题发现主要通过文本聚类的方法实现,聚类算法的选择和改进通常对结果有着重要的影响.针对微博话题发现任务,论文提出通过改进的SinglePass算法和层次聚类的方法,完成微博的话题发现,并且根据横向和纵向对比分析,验证算法话题发现的有效性.

摘要： 在线新闻话题发现是目前话题检测与追踪(TDT)领域的研究热门方向之一,在线新闻话题发现研究可以帮助公众更加清晰全面地了解网络热点事件,有助于有关部门开展相关工作,对舆情监控、个性化推荐等具有重要意义.本文从在线话题发现技术和应用两个方面对在线新闻话题发现研究现状展开综述,总结了基于传统方法和基于多模态信息融合方法的在线新闻话题发现技术的研究现状,展示了在线新闻话题发现的应用成果,归纳目前存在的不足,探讨研究中的重难点,找寻未来可以深入研究和改进的方向.

摘要： 面对网络上更新快速的海量新闻,如何快速、有效地从中自动发现敏感话题并进行持续跟踪是当下研究的热点.文章以网络舆情分析系统为应用背景,针对其敏感话题发现过程,通过对TDT领域应用较多的Single-pass算法进行改进,提出了一种基于相似哈希的增量型文本聚类算法.基于实际应用中抓取到的新闻文本数据,实验结果表明,文章提出的算法相比于原Single-pass算法在聚类效率方面具有明显提升.从实际应用的效果来看,该算法达到了实时话题发现的预期需求,具有较高的实用价值.

摘要： 随着互联网在藏族地区的蓬勃发展,网络的使用已经成为了生活在甘肃、西藏、青海和四川等地区的藏族人民生活中不可缺失的一部分.话题发现与跟踪技术的提出是为了帮助人们从海量的新闻报道中发现未知的新话题和已知话题的后续相关报道.本文从实际情况出发，针对藏文新闻网站中的新闻文本，进行话题检测与跟踪技术关键技术的研究。研究内容包括藏文的基本研究、文本的表示方法、特征项权重计算方法、文本间相似度的计算方法、文本聚类及分类的研究。研究的成果有一定程度上基本符合预期要求，为藏文新闻文本话题发现与跟踪的进一步研究，起到了一定的基础。

摘要： 基于single-pass 聚类的话题发现算法已经在网络新闻报道的处理中得到了广 泛的应用，这种方法计算简单、处理迅速，但在聚类的精确度、性能和其他一些方面距离实 际应用仍然存在很多不足，于是研究者们提出了不同的改进方法。本文针对single-pass 聚类方法的关键步骤将有关改进算法进行分类，并阐述了各种改进发生的环节、改进的原理、过程、效果和好处，通过这些内容，让人对single-pass算法及其改进算法有一个比较全面和系统的认识。

摘要： 本文研究在大规模微博客文本集上的话题发现的问题。微博客与传统博客不同，首先，它的长度比传统博客短，往往只有只言片语。其次，它可以通过手机，即时通讯软件等，实时发布，从而会在短时间内产生大量数据。对于微博客的短文本数据，传统使用词或短语作为特征来表示文本的方法，会由于同一个词共现在两篇不同短文本中的概率较小，而无法度量它们之间的相似度。本文使用隐主题模型，充分挖掘短文本的隐主题信息，并在隐主题空间上度量短文本之间的相似度，从而有效解决了短文本的数据稀疏性问题。另一方面，对于大规模的数据，传统直接利用聚类方法聚合出新闻话题的方法，很难快速得到理想结果。而本文则首先根据新闻的特点，选择出最有可能谈论新闻事件的微博客，然后用一种两层的K均值和层次聚类的混合聚类方法，将选择出的微博客快速准确地聚合成不同的新闻话题。实验结果表明，本文的方法能有效地从大规模微博客短文本数据集中，挖掘出新闻话题。

摘要： 话题发现与跟踪是一项评测驱动的研究,旨在依据事件对语言文本信息流进行组织利用.自1996年提出以来,该研究得到了越来越广泛的关注.本文在研究已有成熟算法的基础上,针对其不足,提出了基于分治多层聚类的话题发现算法.基于该算法的系统在TDT4中文语料上进行了测试,结果表明该算法属于目前结果最好的算法之一,并显著降低了算法的时间和空间复杂度.

摘要： 网络敏感舆情的蔓延严重地影响社会和谐,因此,网络敏感舆情检测技术成为一项迫在眉睫的课题.本文提出了一种基于贝叶斯网络的敏感舆情发现框架.首先利用互联网主流搜索引擎工具训练出文本敏感度预测模型,其次采用Single-Pass算法进行文本聚类和话题发现,并利用敏感度预测模型对新文本流和话题进行动态敏感度评测,当话题的实时敏感度达到阈值时进行预警、形成敏感知识而入库.实验表明该框架能够从网络海量数据中快速、有效地发现敏感舆情.

摘要： 本发明公开了一种网络话题结构演化发现方法，通过建立t时段出现的帖子与新兴话题、t‑Δt时段之前的历史话题的评价函数，即t时段之前的利益函数B≤t，进而捕捉t‑Δt时段之前的历史话题、t时段之前历史话题的新增帖子和t时段新兴话题，从而实现t时段话题网络的动态结构演化检测；再通过矩阵转化获取t‑Δt时段之前的历史话题在t时段的新增帖子和t时段的新兴话题，并对t‑Δt时段之前的历史话题进行分类，根据分类结果和利益函数Bt+按照是否与历史话题有关将话题划分为两个社区，然后得到每个与历史话题有关的帖子所属历史类别、每个与历史话题无关的帖子新兴话题类别。同时兼顾话题网络社会属性继承和语义相似性，提高了网络话题演化检测的准确性。

摘要： 本发明涉及社交网络控制技术领域，具体涉及一种基于领域差异化的热点话题关键用户发现方法，包括：获取数据源，获得消息、用户、领域的相关数据；构建消息‑用户‑领域三部图模型；根据该模型并将话题中的领域类别映射为具体的角色值，计算出用户在每个领域对应的角色值；引入时间衰弱函数对热点话题在每个领域下的流行度进行阶段性计算；采用RoleRank算法进行迭代计算，识别出关键用户，从而找出热点话题传播过程中的关键用户。本发明的方法实现了在任意领域条件下，对热点话题的流行度进行阶段性的计算，提高了热点话题中关键用户挖掘的精确度。

摘要： 本发明实施例提供一种基于并行关联规则的话题关系发现方法。本发明的基于并行关联规则的话题关系发现方法，在获取大规模频繁关键词集的基础上，采用并行关联规则算法获取关联关键词集，进而进行筛选和组合形成话题相关信息，从而发现多个话题之间的关联关系。本发明实施例还提供一种基于并行关联规则的话题关系发现装置。本发明实施例提供的技术方案能够准确有效地发现相关话题之间潜在的关联关系，寻找具体事件发生的深层次或根本原因。

摘要： 本发明涉及一种基于Single‑pass去除小话题影响的话题发现方法，包括如下步骤：将待处理文档集进行两遍Single‑pass聚类，分别获取经第一遍Single‑pass聚类的第一聚类结果以及经第二遍Single‑pass聚类的第二聚类结果；将所述两遍聚类后的聚类结果进行整合，并分别对应获取候选话题；将所述候选话题对应与已有正式话题进行合并。本发明所提出的一种基于Single‑pass去除小话题影响的话题发现方法，有效地减弱阈值依赖的影响以及话题类中心也不断偏移的问题。

摘要： 本发明涉及面向司法领域的案件话题发现方法，属于自然语言处理技术领域。本发明首先从案件相关的舆情中抽取舆情标题，经由bert模型编码后得到同等长度的语义向量，并且加入舆情发布时间的约束，使用增量聚类的方式得到不同话题，然后使用每个话题下所有的舆情进行关键字提取，进行编码后用于话题合并，最终生成有效话题。本发明对于不同案件下的相关舆情，可以生成准确的话题类别，为后续的话题表征等工作提供了强有力的支撑。

摘要： 本发明公开的一种新闻话题自动发现方法，旨在提供一种能够提高新闻话题发现的准确性的方法。本发明通过下述技术方案予以实现：首先设置增量聚类相关参数和增量聚类触发参数，对增量数据进行分批次聚类，预处理输入文本，对文章统一文本格式编码，计算文本特征，生成文本特征向量，提取文本特征词，构建文本特征向量集，在批次内先做主题聚类，再做主题内层次聚类，然后计算每一个单点主题与所有聚类的相似度即每一个单点到每一个聚类中心的距离，合并到最大的类簇，将跨批次的聚类互相凝聚起来，完成主题间层次聚类；生成新闻话题并进行新类簇融合，将新类簇质心与已有历史类簇质心进行比较，然后对新增数据聚类结果与已有聚类结果做跨批次融合。

摘要： 本发明公开了一种热点话题发现方法包括：获取网页数据，并将所述网页数据进行分词处理，得到处理结果；对所述处理结果进行特征提取，得到特征向量；将所述特征向量输入LDA模型中，得到所述网页数据中每个主题对应的概率；将所述概率大于预设值的主题作为热点话题。由此可见，本发明实施例提供的热点话题发现方法，通过对网页数据的处理特提取得到特征向量，并通过LDA模型提取网页数据中的主题和该主题对应的概率，将概率大于预设值的主题作为热点话题，提高了热点话题的发现效率。本发明还公开了一种热点话题发现系统及一种热点话题发现设备和一种计算机可读存储介质，同样能实现上述技术效果。

摘要： 本发明涉及一种基于Single-pass去除小话题影响的话题发现方法，包括如下步骤：将待处理文档集进行两遍Single-pass聚类，分别获取经第一遍Single-pass聚类的第一聚类结果以及经第二遍Single-pass聚类的第二聚类结果；将所述两遍聚类后的聚类结果进行整合，并分别对应获取候选话题；将所述候选话题对应与已有正式话题进行合并。本发明所提出的一种基于Single-pass去除小话题影响的话题发现方法，有效地减弱阈值依赖的影响以及话题类中心也不断偏移的问题。

摘要： 本发明提出了一种基于改进加权LDA模型的话题发现方法及系统，其方法包括：采集特定情况下的多源样本数据集，将多源样本数据集转换为可描述的文档，并进行预处理，得到文本数据；采用TextRank算法来提取文本数据中的关键词，并计算各关键词的权重值；基于各关键词的权重值构建加权LDA模型，并对加权LDA模型进行优化训练，得到用于话题发现的LDA模型；获取新的多源数据，将其转化为测试文本，输入至用于话题发现的LDA模型中得到测试文本的话题。本发明解决了现有技术中话题提取过于片面，不能准确地概括出整个文本核心内容的问题，通过改进的加权LDA模型，能够更有效的抽取其中的隐藏主题，选取出更加合理的话题。

摘要： 本发明涉及融合近邻标题图的新闻话题发现方法，属于自然语言处理领域。本发明包括：构建新闻话题数据集；使用Bert模型编码新闻标题，增强标题的表征，之后构建新闻近邻标题图优化相似标题的关联关系，通过多个图卷积层学习近邻标题图的表征，融入标题的关联结构信息，之后使用一种融合因子融合图卷积网络学习的标题全局特征和深度网络学习的新闻文档局部特征，最后使用指导模块统一指导两个模块优化参数。本发明通过融合标题的近邻关系并融入新闻文档的表征实现了质量较高的新闻表征，从获取的表征中聚类出话题簇，为后续任务提供了支撑。