主题提取

摘要： 突发事件爆发后网络舆情中往往产生若干热点,一些重要问题被大众忽视而形成舆情盲点。针对网络舆情热点存在局限性的问题,文章构建了突发事件情境下舆情盲点探测的方法,识别舆情发展中没有或较少得到关注的舆情盲点,从而使舆情向着更合理的方向发展,切实解决突发事件中产生的各种问题。以突发公共卫生事件为例,基于4R理论构建事件处置各阶段中应受到重视的关注点体系,获取石家庄疫情的舆情数据进行主题提取,通过比较关注点体系与舆情主题的差异来探测舆情盲点。研究发现在舆情的形成期建立预警系统、编制应急预案、定期培训属于舆情盲点。高潮期舆情盲点包括院内感染控制、物资监管、信息上报、防范境外输入、行政监督等。消散期舆情盲点包括完善法制、责任与奖惩、善后处置等。文章所提出的舆情盲点探测方法为网络舆情主题分布的科学性判断与干预策略提供量化的参考依据与方法,为事件处置提供有益借鉴。

摘要： 双减政策的实施导致大量网络舆情泛滥,及时知晓舆情的演化趋势及舆论焦点,对于全面落实双减政策具有重要的意义。但目前舆情检测模型多以检测舆论的情感极性为主,未将情感极性与舆论焦点相结合。本文将LDA主题模型的主题向量嵌入BERT词向量模型中,在BERT预训练模型的基础上添加CNN卷积层,构建BERTCNN-LDA模型,以获取不同长度词更深层次的信息,从而通过结合文本中蕴含的主题信息更为准确地进行舆论情感分类任务并提取舆论文本的主题词。实验表明,BERTCNN-LDA模型较其他文本分类模型可以更好地进行情感分类任务。

摘要： [目的/意义]提出一种基于评论主题提取和情感分析的图书评价新方法,不仅丰富了中文图书评价体系,也为其他学术成果的评价提供了一种可借鉴的思路。[方法/过程]首先,利用LDA主题模型提取图书评论的主题集;再对读者关注的主题进行NLP情感识别;然后利用模糊综合评价法实现图书的综合评价;最后以63本儿童文学图书为例进行实证研究,并通过替代计量评价方法的检验,证明了该方法的有效性。[结果/结论]该方法不仅缓解了当前图书评价方式和读者需求的错位问题,丰富了图书展示理念,也为识别优秀小众图书提供了方法借鉴。

摘要： 企业生产一线经常会遇到各种工程难题,需要在专家的帮助下才能得到有效解决。当前的学术资源推荐系统没有深入挖掘问题与解决方案之间的潜在知识关联,无法针对某一工程问题推荐出合适的专家。针对待解决的企业工程问题推荐专家进行的系统研究如下:1)通过专家合著网络来计算专家影响力,并结合作者次序信息构成合著者之间的偏序信息,提出了融入合著者偏序信息的主题模型,即APO-ACT模型,使作者-会议-主题(ACT)模型能更好地挖掘核心专家,更适用于推荐系统;2)通过问题知识模型挖掘问题与解决方案间的潜在知识关联。融合企业创新方法案例库,针对待解决的企业工程问题文本描述,提出并实现了一种将理论、技术及实践相结合的专家推荐算法。通过实验证明,基于APO-ACT主题模型的推荐方法在保证推荐准确率的同时能够更好地挖掘核心专家,优于基于内容的推荐和基于ACT主题模型的推荐。

摘要： 现有的产品和服务质量分析常通过问卷调查或利用商品评论,但存在问卷收集难度大、商品评论中存在无效数据等问题。客服对话作为顾客与商家之间沟通的桥梁,包含了丰富的顾客意见,覆盖了从产品到服务的多个方面,然而现在利用客服对话分析产品和服务质量的研究还较少。提出了一种基于客服对话的产品和服务质量分析方法,首先结合产品特征和服务蓝图,确定产品和服务质量的评价要素,并结合重要性‒满意度分析(IPA)法定义评价要素的重要性和满意度指标;然后对客服对话进行主题提取和情感分析,定量分析产品和服务的重要性和满意度。以某消毒除菌产品淘宝旗舰店的真实客服对话为例应用了该方法,建立了18个评价要素,并基于90余万条真实的历史客服对话对评价要素的重要性和满意度进行了量化,从而分析旗舰店产品和服务的质量。最后通过对专业客服的问卷调研,验证了所提方法的有效性。

摘要： [目的/意义]针对突发公共卫生事件,借助自然语言处理技术,快速挖掘舆论热点和舆情演化特征,提升政府部门的应急管理能力.[方法/过程]将新冠肺炎疫情作为研究案例,首先搜集了疫情相关的微博文本,在划分为潜伏期、爆发期、衰退期三个阶段的基础上,使用LDA主题模型和语义规则构建的方法进行主题-情感的融合分析,并结合疫情期间的新闻事件探究了网络舆情的情感演化情况和负面舆论的关注热点.[结果/结论]研究发现,关于疫情的负面情绪微博大多集中在前中期,且主要来源于对疫情信息的不确定性;而后期积极态度随国内疫情好转而成为主流.此外,民众对新冠肺炎的传播、成因、境外输入和官方信息发布等子话题的情绪起伏较大.

摘要： 从舆情分析视角,将多维度舆情信息纳入网络借贷平台风险分析范畴,针对不同类型的舆情信息采用不同文本处理方式,基于实验研究并结合内部平台基础信息指标与外部舆情信息指标,采用神经网络、支持向量机、随机森林和逻辑回归方法构建网络借贷问题平台甄别模型,验证舆情信息指标对甄别模型的性能提升作用。实验结果表明:第一,综合采用平台基础信息、运营信息和舆情信息进行网络借贷问题平台甄别,准确率更高;第二,相较于随机森林模型、支持向量机模型、逻辑回归模型而言,神经网络模型的甄别效果最佳。本研究有助于金融监管部门科学全面地了解网络借贷平台运营状况,并有针对性地开展精准化监管治理工作。

摘要： 电影数据是一个多模态数据集,包含影片、导演和演员3种不同模态的数据,且不同模态的数据类型不同.如何从这些多类型数据中提取特征信息并进行相应的可视化,进一步通过多视图间的联动交互获得模态内部的特点与不同模态间的关系和影响是一个值得研究的问题.首先从电影数据集中提取不同类型数据的特征;其次根据不同类型的数据特点设计可视化布局,并基于Martini玻璃体叙事可视化结构设计可视化交互探索.特别针对影人关系特征,分别定义各个模态影人间的合作关系,并提出了改进的力导引算法可视化影人合作关系.实现了We b环境下的交互式多模态电影数据可视化系统MDVis,并使用豆瓣电影数据集进行用户实验和案例分析,实验结果验证了上述方法分析多模态电影数据的有效性.

摘要： 基于LDA算法原理,提出了两种对语料库提供先验知识的改进策略.一种为对语料库中特定词性的词汇进行增删以进行相对定向的主题词的提取改进;另一种是针对舆情评论文本与新闻的相关性,引入新闻主题以期提高主题提取词汇的语义表达能力.实验证明,改进对提升舆情评论文本的主题提取准确率有明显效果.

摘要： 当前搜索引擎存在着信息过载及主题漂移的问题.主题提取是寻找与用户查询相匹配的高质量文档的过程,可以有效地解决上述问题,它也是目前Web检索领域的热点问题之一.本文通过综合利用网页的各种有用特征如页面文档内容、文档结构信息、锚文本以及链接信息等来改善Web检索的查准率,从而满足用户对高质量文档的需求.实验证明这种方法有助于改善主题提取的质量,提高用户信息检索的效率.

摘要： 传统的主题提取算法存在一些已知的问题.为了更好地满足SEWM-2004中文Web检索测评中的主题提取任务要求,分析经典的基于超链接分析的主题搜索(hyperlink-induced topic search,HITS)等算法,提出了一种以站点作为查询的资源单位,并结合内容分析的主题提取算法CWT100G上的超链接分析(hyperlink analysis withinCWT100(,HAC).HAC算法首先根据网页的URL将网页按站点分组;然后在每个站内结合网页内容和站内链接关系来计算网页的权值,从而找出站内的Hub网页;接着再分析站间的链接关系进一步计算各网页的最终权值,从而找出站间的Hub网页.两组对比的实验结果表明,HAC算法能找到切合主题的更大的Hub站点。

摘要： 随着万维网的日益普及与强大,在网络上搜寻所需的信息变得越来越重要了.诸如AltaVista,Hotbot之类的搜索引擎应运而生.典型的搜索引擎是基于文本匹配的,针对用户的查询会返回多个结果,但要从这许多结果中提取出高质量的页面,还需大量的工作.这种发现高质量页面的过程称为主题提取(topicdistillation).本文中借助基于相似度的模型，我们对ITED系统的特征进行了措述：它完全凭借对链接信息的分析，就在主题提取方面取得了很大的改善；它通过关联规则挖掘的方法，克服了HITS算法中对于相似性的扭曲；它将主题发现的过程结合到主题提取中，使用户能够搜索到更多的相关主题；井且，它以可视化的方式显示主题，方便了用户根据自己的需要选择不同的拨索层次。 在将来，除了完善现有的系统功能而外，我们也试图再进一步改善对于相似度的定义，期望可以在一步中得到有代表性的结果，而不是经过若干次的迭代。

摘要： 标题党新闻识别算法是自然语言处理研究的重点方向,随着互联网技术的发展,在信息爆炸的时代背景下,该类问题已经成为当前读者面临的比较头疼的一个方向,河南广播网和手机APP内容面临的此类问题尤为突出.本文从自然语言处理的角度研究和探讨了基于主题提取分析的标题党识别算法和基于统计计算的标题党识别算法,提出了统计计算和潜在语义相融合的标题党识别算法,改进了标题党识别的正确率.标题党识别算法主要是包括基于词频统计的加权技术和基于潜在语义索引的两类算法.前者利用统计的手段方法,通过评估新闻标题中每个词汇在新闻正文和所有语料库中所占比例的大小来实现标题党识别.研究结果随着该词汇在文章中出现的次数和在整篇文章中所占的比例成正比例的增加,但同时会随着它在所有文档的语料库出现的频率成反比例减小,因此通过标题中词语占新闻中的重要程度判断该新闻是否是标题党新闻.后者通过提取与新闻标题相似的主题的句子和段落的比例的值,判断标题和新闻正文之间的相关性,通过和标题相似的句子的数量和该句子所在段落的数量来判断该文章是否为标题党.该结果随着与标题相似的句子和与标题相似句子的段落数的增加而成正比例增长,反之,随着在文章中相似的句子的数量减少和段落数的减少而减少.针对基于词汇统计计算TF-IDF值算法值的稀疏性和基于LSA潜在语义的句子段落算法值的难划分性,本文提出一种基于词频统计、LSA潜在语义分析相融合的一种方法,采用机器学习方式,通过将正文和标题的向量的计算结果作为特征工程的特征值及成为决策树算法的属性来进行标题党的识别,在准确率和召回率上都有了很大的提升,最终算法结果以准确率91％和召回率92％的值进行数据的识别.为进一步实现上述几种标题党识别算法存在的弊端、优点和缺点,本文以大量的标题党和非标题党新闻数据进行实验和展示,并对其进行分析和总结.

摘要： Blog(博客)作为一种新兴的网络媒体，在很大程度上增强了互联网的开放性，Blog 已经成为互联网上的主要信息源之一，这也使得Blog 空间中的垃圾评论成倍增长。本文首先利用处理垃圾邮件的方法，针对Blog本身的特点，使用规则初步过滤垃圾评论，然后对剩余评论，利用Latent Dirichlet Allocation(LDA)这种能够提取文本隐含主题的产生式模型，对博客中的博文进行主题提取，并结合主题信息进行判断，从而得到垃圾评论。经验证，该方法可以发现大多数垃圾评论，实验取得了较好的结果，使Blog 信息更加准确、有效的为用户使用。

摘要： 主题情感混合模型可以同时提取语料的主题信息和情感倾向.针对短文本特征稀疏的问题,主题情感联合分析方法较少的问题,本文提出了BJSTM模型(Biterm Joint Sentiment Topic Model),在BTM模型(Biterm Topic Model)的基础上,增加情感层的设置,从而形成“情感-主题-词汇”的三层贝叶斯模型.对每个双词的情感和主题进行采样,从而对整个语料的词共现关系建模,一定程度上克服了短文本的稀疏性.实验表明,BJSTM模型在无监督情感分类和主题提取方面都有不错表现.

摘要： 评论数据对于用户去商家消费的决策起着越来越大的作用.然而,用户通常无法阅读所有的评论,获取评论中隐含的所有主题,做出正确的决策.本文针对商家的用户评论,提出了一个评论主题可视分析系统.首先,基于词性标注和Sense2Vec进行语句级别的特征向量提取,再基于特征向量提取评论数据中的主题,然后有机地结合层次图和发散堆叠柱形图,对提取的主题及其情感进行有效地组织和管理,设计了气泡图分析主题的相似性,特定主题可以通过词云和原始文本进行深入可视挖掘和分析.最后,通过案例分析证明了系统的有效性.

摘要： 评论数据对于用户去商家消费的决策起着越来越大的作用.然而,用户通常无法阅读所有的评论,获取评论中隐含的所有主题,做出正确的决策.本文针对商家的用户评论,提出了一个评论主题可视分析系统.首先,基于词性标注和Sense2Vec进行语句级别的特征向量提取,再基于特征向量提取评论数据中的主题,然后有机地结合层次图和发散堆叠柱形图,对提取的主题及其情感进行有效地组织和管理,设计了气泡图分析主题的相似性,特定主题可以通过词云和原始文本进行深入可视挖掘和分析.最后,通过案例分析证明了系统的有效性.

摘要： 评论数据对于用户去商家消费的决策起着越来越大的作用.然而,用户通常无法阅读所有的评论,获取评论中隐含的所有主题,做出正确的决策.本文针对商家的用户评论,提出了一个评论主题可视分析系统.首先,基于词性标注和Sense2Vec进行语句级别的特征向量提取,再基于特征向量提取评论数据中的主题,然后有机地结合层次图和发散堆叠柱形图,对提取的主题及其情感进行有效地组织和管理,设计了气泡图分析主题的相似性,特定主题可以通过词云和原始文本进行深入可视挖掘和分析.最后,通过案例分析证明了系统的有效性.

摘要： 评论数据对于用户去商家消费的决策起着越来越大的作用.然而,用户通常无法阅读所有的评论,获取评论中隐含的所有主题,做出正确的决策.本文针对商家的用户评论,提出了一个评论主题可视分析系统.首先,基于词性标注和Sense2Vec进行语句级别的特征向量提取,再基于特征向量提取评论数据中的主题,然后有机地结合层次图和发散堆叠柱形图,对提取的主题及其情感进行有效地组织和管理,设计了气泡图分析主题的相似性,特定主题可以通过词云和原始文本进行深入可视挖掘和分析.最后,通过案例分析证明了系统的有效性.

摘要： 本发明公开了一种基于主题词向量和网络结构的主题关键词提取方法，具体涉及从文本中提取关键词技术领域。该基于主题词向量和网络结构的主题关键词提取方法基于LDA主题模型对文本语料进行主题聚类，并获得每个主题中与该主题相关度为top100的100个关键词；利用word2vec将文本语料中的每个词表示为一个词向量，通过计算获得每两个词之间的语义相似度，分别计算出与关键词中的每个关键词在语义上相似度top5的词，关键词和每个关键词在语义上相似度top5的词共同组成新的关键词集合；构建关键词网络，并获得每个集合top 20的词作为该主题的关键词。该方法既能对文档中词频较高的关键词进行提取，又可以有效地发现词频较低但是与主题关系强的关键词。

摘要： 本发明公开了一种主题分层建模中主题词/序列的提取方法，包括：获取主题分层建模的模型输出；根据模型输出提取主题词/序列；展示主题的词/序列特征表示结果。本发明可以在挖掘层次化主题结构的过程中更好的表示主题，既体现了上下层级主题间的相关性，也凸显出了上下层级主题间的差异性和同层主题间的差异性，使主题不仅在结构上呈现出层次性，在表示上也体现了层次化。

摘要： 本申请涉及一种主题类别对应的特征词提取和文本主题类别识别方法。所述方法包括：获取多个主题类别的示例文本，以及各个主题类别的示例文本的类别标签；对各个主题类别的示例文本进行分词处理，并对分词处理得到的各个词语分别进行词频统计，得到各个主题类别对应的多个词语的词频信息；针对各个主题类别，根据所述多个词语在本主题类别中的词频信息，以及在多个主题类别中的分布情况，从所述多个词语中筛选出至少一个特征词语，作为对应主题类别的特征词语；所述特征词语为在所述对应主题类别的示例文本中构成的显著性差异达到设定条件的词语。采用本方法能够提高特征词提取效率。

摘要： 本发明公开了一种基于主题词向量和网络结构的主题关键词提取方法，具体涉及从文本中提取关键词技术领域。该基于主题词向量和网络结构的主题关键词提取方法基于LDA主题模型对文本语料进行主题聚类，并获得每个主题中与该主题相关度为top100的100个关键词；利用word2vec将文本语料中的每个词表示为一个词向量，通过计算获得每两个词之间的语义相似度，分别计算出与关键词中的每个关键词在语义上相似度top5的词，关键词和每个关键词在语义上相似度top5的词共同组成新的关键词集合；构建关键词网络，并获得每个集合top 20的词作为该主题的关键词。该方法既能对文档中词频较高的关键词进行提取，又可以有效地发现词频较低但是与主题关系强的关键词。

摘要： 本发明公开了知识图谱的主题知识子模型提取方法，涉及信息处理技术领域。本发明知识图谱的主题知识子模型提取方法，包括以下步骤：步骤一：对知识图谱输入的需求文本进行预处理，得到图谱表示的内容数据；步骤二：根据处理后的内容数据构建标准模型；步骤三：进行用户登录信息的验证和匹配，并由此完成用户操作端的进入，通过接收关于目标知识图谱的检索请求，获取标准模型；步骤四：基于图谱表示的内容数据，查找所需的知识图谱的目标主题知识子选项。本发明通过建立标准模型，将目标操作选项对应的操作子选项融合标准模型进行对应特征的查找和选定，有利于提高主题知识子模型的提取效率和提取精度。

摘要： 本申请提供一种从文本集中提取主题标签的方法、电子设备，该方法包括：将文本集中的每个文本转换为文本向量；将每个文本向量作为最底层的簇，执行自底向上的层级聚类，并确定每一层簇的主题标签；针对任一词语，根据主题标签中包含词汇的簇，获得词语对应的簇集合；簇集合包括至少一个簇，每个簇包含至少一个文本；根据不同词语对应的簇集合以及待提取的关键词，找出关键词映射的目标簇集合；根据目标簇集合中每个簇对应的主题标签，得到从文本集中提取的与关键词相关的主题标签。该方案主题标签的提取更加简便。

摘要： 本发明涉及一种融合主题信息和词向量提取文本特征的新闻分类方法。本发明所述的一种融合主题信息和词向量提取文本特征的新闻分类方法包括：使用Word2vec和LDA模型分别在语料库中训练词向量，word2vec经过TF‑IDF进行加权所得的词向量与LDA训练的特征扩展模型进行拼接得到短文本表示模型，将短文本表示模型输入到BIGRU中提取文本深层次信息的特征向量，最后使用softmax函数得到文本分类结果。本发明所述的一种融合主题信息和词向量提取文本特征的新闻分类方法，在提取过程中加入了文本的主题信息，将主题信息和文本的词向量进行融合，能够尽可能获得文本主题特征，具有分类准确率高的优点。

摘要： 本发明公开了一种基于话题模型的社会化视频主题提取系统及方法，涉及社会化视频主题抽取技术。提取系统包括用户评论采集模块，原始评论数据库，用户评论预处理模块，主题检测模块，主题数据库以及结果展示模块；首先用户评论采集模块爬取某段时间内待处理视频的用户评论数据；用户评论预处理模块对每一条用户评论数据进行预处理，主题检测模块对预处理结果采用主题提取算法进行计算，获得细粒度主题关键词集合；将细粒度主题关键词集合写入主题数据库进行存储；结果展示模块调用主题数据库中的细粒度主题关键词进行展示。本发明基于人物的弹幕数据挖掘，填补了空白，从一定程度上缓解弹幕语义稀疏性的问题，展示的结果更好。

摘要： 本发明实施例提供一种基于平滑短语主题模型的主题提取方法及装置，包括：提取待处理数据集内的有效词，得到预处理数据集；通过Apriori关联算法自预处理数据集中提取出频繁短语，形成频繁短语数据集；根据频繁短语出现频率的高斯分布特性，将预处理数据集中符合预设要求的相邻的频繁短语组合成新的短语，并将新的短语加入到频繁短语数据集，形成候选短语数据集；通过SPLDA平滑短语主题模型对候选短语数据集进行分析，得到主题短语，通过主题短语形成相应的话题。通过平滑短语主题模型对候选短语数据集进行分析得到主题短语，通过主题短语形成相应的话题，提高了话题的可读性，更准确地表述了话题的真实信息。

摘要： 基于层次化主题提取的交通数据可视分析方法，包括如下步骤：1)对数据进行层次化主题建模与可视化；2)提取可视化主题的基本语义；3)提取主题流模式并可视化；4)提取区域属性数据并可视化。本发明还包括基于层次化主题提取的交通数据可视分析系统。本发明允许用户自适应的确定主题粒度，能够满足不同用户、不同阶段的分析需求；支持用户由粗到细认识数据，更符合人的认知规律；层级的数据结构能够引导用户快速锁定感兴趣的局部数据，提升了用户的分析效率；视图设计丰富，能帮助用户充分理解主题；可扩展性强。