LDA主题模型

摘要： 文本分类是自然语言处理的基础任务,文本中的特征稀疏性和提取特征所用的神经网络影响后续的分类效果。针对文本中的特征信息不足以及传统模型上下文依赖关系方面不足的问题,提出经过TF-IDF加权的词向量和LDA主题模型相融合,利用双向门控循环神经网络层(BiGRU)充分提取文本深度信息特征的分类方法。该方法主要使用的数据集是天池比赛新闻文本分类数据集,首先用Word2vec和LDA模型分别在语料库中训练词向量,Word2vec经过TF-IDF进行加权所得的词向量再与LDA训练的经过最大主题概率扩展的词向量进行简单拼接,拼接后得到文本矩阵,将文本矩阵输入到BiGRU神经网络中,分别从前后两个反方向提取文本深层次信息的特征向量,最后使用softmax函数进行多分类,根据输出的概率判断所属的类别。与现有的常用文本分类模型相比,准确率、F1值等评价指标都有了较高的提升。

摘要： 为了揭示粤港澳大湾区人才培养政策演化规律以及产业未来发展趋势,运用LDA主题模型分阶段提取主题及每个主题下的关键词汇,揭示政策内容演化;运用TF-IWF算法分阶段提取每个政策文件的前n个关键词,揭示专业领域演化。研究结果表明:大湾区人才培养政策已经历探索、起步阶段,现处于高速发展阶段,高新技术、绿色金融、健康等专业领域将随着大湾区的发展逐渐壮大。为此,高新技术、绿色金融和健康等产业未来具有上升空间,创业者可加大探索力度,把握住大湾区未来的发展机遇,为大湾区创造价值。

摘要： “躺平”作为2021年“十大网络热词”之一,引发了大量的关注和讨论。本文以新浪微博中有关“躺平”和“内卷”的内容为研究数据,基于词频统计和LDA主题模型提取主题,从文本特征透视青年亚文化的情绪表达。通过对文本数据进行分析发现,“躺平”的微博内容主要呈现出青年的“躺平原因”“内心情感”“寻求寄托”“享受生活”四个主题;而“内卷”的微博内容主要呈现出青年人视角下“内卷严重”“生活压力”“反抗内卷”“教育内卷”四个主题。“躺平”和“内卷”的话语表达折射出了当代青年人的生活现状和内心情感。对文本内容进行分析之后,本文探析了“躺平”和“内卷”流行的成因以及青年亚文化表征,并对青年亚文化的情绪表达进行思考。

摘要： 本文基于乡村振兴战略背景研究温州各高校学生公益实践以及向社会创业转化现状,通过LDA主题模型对温州11所高校33位大学生乡村公益实践活动向社会创业转化的参与者和11位相关负责团学的老师访谈进行分析,发现大学生公益乡村公益实践团队宣传存在不足、难点较多等问题,需要建立专业团队、识别创业机会、平衡公益与创业,以及政府支持助推,以促进大学生公益实践向社会创业转化,从而使大学生乡村公益实践可持续性开展,促进乡村经济发展。

摘要： 固定标签协同过滤推荐算法,未充分考虑标签因子的多样化,主要依靠人工标记,扩展性不强,主观因素多。本文从用户的喜好特征因素角度出发,在固定标签协同过滤推荐算法的基础上,提出一种隐式标签协同过滤推荐算法。该算法利用LDA主题模型生成项目文本的隐式标签,得到项目-标签特征权重,根据算法性能优化的要求选择标签数量,将项目-标签矩阵与用户评分矩阵结合得到用户对标签的偏好矩阵,最后通过协同过滤算法产生推荐。实验结果表明,本文提出的基于LDA的隐式标签协同过滤推荐算法缓解了数据稀疏性问题,项目推荐的召回率、准确度和F1值有较大提升。

摘要： 现有城市形象评价方法大都依赖于评价者主观提出的指标体系,针对此现象,提出一套以微博数据为基础的城市形象评价方法,在一定程度上提升评价过程的客观性与可重复性。首先对获取到的城市数据预处理后,运用K-Means聚类算法得到城市形象的评价类别;其次采用LDA主题模型对有效类别总结主题、提取二级指标操作,利用情感分析技术计算目标城市情感得分即为城市形象评分;最后以武汉市和苏州市为例,利用该方法评价了城市形象。

摘要： 知识类短视频近几年在各视频平台迅速发展。本研究基于词频分析法和LDA主题模型两种研究方法,对B站知识区UP主“无穷小亮的科普日常”播放量前五的视频评论内容进行分析,从文本特征的角度分析用户对知识类短视频的关注倾向和讨论角度。研究发现,用户评论的关注点主要集中于账号运营者和科普内容本身,其文字表达体现出强烈的年轻化语态特征。

摘要： 高效挖掘海量铁路领域科研成果数据中蕴含的主要内容是铁路领域科研人员在大数据时代亟待解决的重要问题。LDA模型是用于主题发现的主流方法,但在面向多单词短语居多的铁路领域研究文献时存在使用受限的问题,因此本文提出一种LDA模型的改进算法:一方面在构建主题模型前,对文本作预处理时抽取语料中的名词短语、动词短语、名词和动词;另一方面在主题模型构建完成后,融合TextRank算法与PMI算法得出关键词组块,并以此替换LDA主题识别结果中的主题词,进一步丰富主题的语义。最后,以铁路领域“牵引供电系统”为例开展实证研究。结果表明,本文提出的改进LDA模型有助于提升铁路领域主题发现结果的可解释性与可识别性,可以为后续铁路领域科研管理中知识服务的实现提供有效的方法支持。

摘要： 基于在线评论的产品设计改进研究,受到越来越多学者的关注。然而,现有研究仍有很多局限,如忽略竞争产品分析以及无法获取细粒度顾客需求等。为解决上述问题,提出一种基于在线评论的重要度绩效竞争对手分析方法(IPCA)。首先,应用隐含狄利克雷分布(LDA)主题模型识别产品主题,基于文档—主题概率分布计算产品特征重要度;其次,通过依存句法分析提取情感标签,并将其量化为产品特征绩效值;然后,构建多个IPCA模型找到目标产品的待改进特征;最后,从原始负面评论中提取用例,获取顾客细粒度需求并发现产品问题,进而提出产品设计改进策略。以汽车之家口碑数据为例,验证了所提方法的有效性。

摘要： 根据微博热搜话题榜上有关在线问诊的热门话题下相关的3077条舆情数据,研究通过LDA主题模型和情感分析考察了围绕在线问诊的舆论焦点和网络情绪,从而了解微博舆论中针对在线问诊这一新型医疗方式的关注重点及网络情绪的类型倾向。研究发现,围绕在线问诊的微博舆论聚焦的主题包括在线问诊与信息监管、在线问诊与死亡戏谑、在线问诊的核心需求;针对在线问诊的网络情绪偏负面,体现出公众对在线问诊一定的不信任感;在围绕在线问诊的微博舆论中,实名认证的微博用户发言更偏中性谨慎,而非实名认证用户的发言则更情绪化。基于该分析结果,研究提出了针对在线问诊的网络舆情应对及情绪引导的相关建议。

摘要： 随着社会的发展,信息已经成为社会发展越来越重要的部分,人类的信息传播活动越来越明显地展示出分众特征,对用户的分类成为人类信息活动的一个重要研究课题.从这一目标出发,分别基于信息内容、拓扑关系和两者综合的方法,按兴趣主题对社会媒体用户进行分类.对于基于信息内容的用户分类,采用LDA主题模型从用户所发布的内容中提取其主题分布,基于这一分布,采用支持向量机、决策树、贝叶斯等多种模型按兴趣主题对用户进行分类.对于基于拓扑关系的分类,依据相同兴趣主题的用户倾向于拥有共同的粉丝这一发现,构建分类模型来按兴趣主题对用户进行分类.然后提出综合信息内容和拓扑关系的分类方法来对用户进行分类.最后基于大规模Twitter数据的实验发现,采用综合方法对用户进行的兴趣分类性能明显高于采用单一信息内容或粉丝拓扑方法的性能.

摘要： 随着社会的发展,信息已经成为社会发展越来越重要的部分,人类的信息传播活动越来越明显地展示出分众特征,对用户的分类成为人类信息活动的一个重要研究课题.从这一目标出发,分别基于信息内容、拓扑关系和两者综合的方法,按兴趣主题对社会媒体用户进行分类.对于基于信息内容的用户分类,采用LDA主题模型从用户所发布的内容中提取其主题分布,基于这一分布,采用支持向量机、决策树、贝叶斯等多种模型按兴趣主题对用户进行分类.对于基于拓扑关系的分类,依据相同兴趣主题的用户倾向于拥有共同的粉丝这一发现,构建分类模型来按兴趣主题对用户进行分类.然后提出综合信息内容和拓扑关系的分类方法来对用户进行分类.最后基于大规模Twitter数据的实验发现,采用综合方法对用户进行的兴趣分类性能明显高于采用单一信息内容或粉丝拓扑方法的性能.

摘要： 随着社会的发展,信息已经成为社会发展越来越重要的部分,人类的信息传播活动越来越明显地展示出分众特征,对用户的分类成为人类信息活动的一个重要研究课题.从这一目标出发,分别基于信息内容、拓扑关系和两者综合的方法,按兴趣主题对社会媒体用户进行分类.对于基于信息内容的用户分类,采用LDA主题模型从用户所发布的内容中提取其主题分布,基于这一分布,采用支持向量机、决策树、贝叶斯等多种模型按兴趣主题对用户进行分类.对于基于拓扑关系的分类,依据相同兴趣主题的用户倾向于拥有共同的粉丝这一发现,构建分类模型来按兴趣主题对用户进行分类.然后提出综合信息内容和拓扑关系的分类方法来对用户进行分类.最后基于大规模Twitter数据的实验发现,采用综合方法对用户进行的兴趣分类性能明显高于采用单一信息内容或粉丝拓扑方法的性能.

摘要： 随着社会的发展,信息已经成为社会发展越来越重要的部分,人类的信息传播活动越来越明显地展示出分众特征,对用户的分类成为人类信息活动的一个重要研究课题.从这一目标出发,分别基于信息内容、拓扑关系和两者综合的方法,按兴趣主题对社会媒体用户进行分类.对于基于信息内容的用户分类,采用LDA主题模型从用户所发布的内容中提取其主题分布,基于这一分布,采用支持向量机、决策树、贝叶斯等多种模型按兴趣主题对用户进行分类.对于基于拓扑关系的分类,依据相同兴趣主题的用户倾向于拥有共同的粉丝这一发现,构建分类模型来按兴趣主题对用户进行分类.然后提出综合信息内容和拓扑关系的分类方法来对用户进行分类.最后基于大规模Twitter数据的实验发现,采用综合方法对用户进行的兴趣分类性能明显高于采用单一信息内容或粉丝拓扑方法的性能.

摘要： 随着社会的发展,信息已经成为社会发展越来越重要的部分,人类的信息传播活动越来越明显地展示出分众特征,对用户的分类成为人类信息活动的一个重要研究课题.从这一目标出发,分别基于信息内容、拓扑关系和两者综合的方法,按兴趣主题对社会媒体用户进行分类.对于基于信息内容的用户分类,采用LDA主题模型从用户所发布的内容中提取其主题分布,基于这一分布,采用支持向量机、决策树、贝叶斯等多种模型按兴趣主题对用户进行分类.对于基于拓扑关系的分类,依据相同兴趣主题的用户倾向于拥有共同的粉丝这一发现,构建分类模型来按兴趣主题对用户进行分类.然后提出综合信息内容和拓扑关系的分类方法来对用户进行分类.最后基于大规模Twitter数据的实验发现,采用综合方法对用户进行的兴趣分类性能明显高于采用单一信息内容或粉丝拓扑方法的性能.

摘要： 本发明公开了一种基于词汇相似性的LDA主题模型最优主题数确定方法，利用LDA模型抽取主题词，基于词向量间的相似性，寻找最优主题数目。首先对文本数据进行分词等预处理，应用LDA主题模型对文本进行主题建模，获得每个主题下对应的词分布；然后将词分布转化为词向量分布，利用向量间的相似性，基于LDA的语义关联，分析主题质量，确定最优主题数目。本发明提出的方法可以自动确定最优主题数目，避免人为设定的局限，更好地服务于微博文本数据的聚类分析。

摘要： 本发明公开了一种基于T‑LDA主题模型的驾驶行为模式识方法，该方法包括以下步骤：S1、驾驶行为词典建立与驾驶行为直方图特征提取，根据驾驶行为数据的聚类结果建立驾驶行为词典；构建驾驶数据‑驾驶行为单词的共现矩阵，即驾驶行为直方图特征；S2、利用驾驶行为直方图特征对改进后的T‑LDA模型进行训练，进而构建驾驶数据、驾驶模式、驾驶行为单词三者之间的关系，并且引入时间信息作为驾驶行为单词的标签；利用带有时间标签的驾驶行为直方图特征对模型进行训练，并使用吉布斯采样方法求解模型参数，输出驾驶行为识别结果。本发明能有效用于驾驶行为模式识别。

摘要： 本发明公开了一种基于LDA主题模型和深度学习的群组推荐方法，包括：获取用户的历史信息，所述用户的历史信息包括：用户参与的服务信息、用户参与的群组信息；基于所述用户的历史信息中的主题内容以及LDA主题模型，获得所述用户的历史信息的期间范围内的动态偏好；描述所述用户的动态偏好与服务之间的对应关系；通过群组中各个用户之间的相互影响，修正群组内各个用户的动态偏好与服务之间的对应关系，之后得到群组对于服务的偏好。采用上述方案，可以解决用户偏好相对于时间因素而产生变化的问题；考虑到用户的社交关系对用户的服务选择的影响，更符合实际生活中推荐系统的需求，提高了推荐的精度和准确度。

摘要： 本发明提出了一种基于LDA主题模型的居民出行规律分析方法，首先对居民历史出行数据和城市POI数据进行采集；然后提取到达位置，通过聚类实现交通小区划分；将POI数据匹配到每一个交通小区，计算不同POI类型所占比例，以此为依据识别每一个交通小区的土地利用类型；结合土地利用类型、居民出行时间和居民到达时间，提取每一条居民历史出行数据中的关键信息，并将关键信息整理为字符串形式，最后，将关键信息输入主题模型以提取土地利用类型对应的居民出行模式，并基于居民出行模式分析居民出行规律。本发明基于居民历史出行数据、城市POI数据，利用LDA主题模型提取居民出行模式，并分析居民出行规律，能够为交通规划与管理提供参考信息，具有较高的应用价值。

摘要： 本发明公开一种基于流式LDA主题模型发现文档隐含主题和主题词的方法，属于机器学习的自然语言处理技术领域。在LDA模型的基础上考虑文档间主题和主题词的互相影响，对连续文档进行准确的隐含主题和主题词发现，包括随机初始化参数和选取超参数、随机生成每篇文档主题的先验分布和每个主题词的主题词分布、将文档中的词分配给某个主题、计算主题和主题词的极大似然函数和后验分布并更新所有的分布和参数、按概率对文档的主题和主题词进行降序排序输出最大概率的几个主题及其主题词五个步骤。具有可充分考虑相邻文档间主题的相互影响，得到的文档的主题分布较现有的技术更加贴近于主题的真实分布，获取文档的主题以及其主题词更加精准等优点。

摘要： 本发明公开了一种基于词汇相似性的LDA主题模型最优主题数确定方法，利用LDA模型抽取主题词，基于词向量间的相似性，寻找最优主题数目。首先对文本数据进行分词等预处理，应用LDA主题模型对文本进行主题建模，获得每个主题下对应的词分布；然后将词分布转化为词向量分布，利用向量间的相似性，基于LDA的语义关联，分析主题质量，确定最优主题数目。本发明提出的方法可以自动确定最优主题数目，避免人为设定的局限，更好地服务于微博文本数据的聚类分析。

摘要： 本发明公开了一种结合LDA主题模型和GloVe词向量技术的API推荐方法。本发明通过挖掘语料库中的全局统计信息，利用LDA主题模型获得单词和API的主题概率分布；同时基于语料库中的局部上下文信息，利用GloVe词向量技术生成单词和API的词向量。最后综合主题概率分布之间的相似度和词向量之间的相似度计算出单词和API之间的相关性，并根据相关性从大到小排序得到API推荐列表。本发明同时使用语料库的全局统计信息和局部上下文信息来获取语义信息，使得相似度的计算更加准确；本发明使用随机打乱策略打乱文档中的单词和API，提高单词和API出现在一个窗口中的概率，有效提高从局部上下文信息中获取语义信息的能力，提高API推荐的准确性。

摘要： 本申请公开基于LDA主题模型的文本分类系统、方法和警情分类系统和方法，所述文本分类方法包括：采集待分类文本；对所述待分类文本分词，基于词袋模型，构件所述待分类文本的文本和文本中词的tf‑idf向量集；通过LSA算法，基于所述待分类文本的文本和文本中词的tf‑idf向量集，拟合LDA主题模型中文本、文本主题以及文本中词的两两相关的分布。

摘要： 本发明涉及一种适用于LDA主题模型的自适应迭代Gibbs采样方法，属于计算机与改进算法优化技术领域。本发明首先对输入的文本数据集进行分词和去停用词处理；将经过预处理的文本数据集转换为词袋模型；将词袋输入到LDA主题模型中，并使用自适应迭代的Gibbs采样算法进行参数估计；当Gibbs采样迭代自动结束时，从而输出文本数据集潜在的主题特征。这种自适应迭代的Gibbs采样算法在进行LDA主题模型的参数估计时不需要进行人为的迭代次数设置，大幅度降低了迭代的次数，提升了LDA主题模型生成主题特征的效率。

摘要： 本发明涉及一种基于LDA主题模型的文档推荐方法，属于信息技术领域。本发明使用了LDA主题模型将每个文档进行向量化，并输出该文档的主题概率，将推荐系统中的所有文档主题概率结合起来便能得到一个文档对主题的矩阵。另一方面，通过给新用户初始化来赋予每个用户一个主题概率，并使用户主题概率的维度与文档主题概率的维度保持一致，然后将所有用户主题概率结合起来得到一个用户对主题的矩阵。最后，通过用户和文档的两个主题概率矩阵，计算出用户对文档的兴趣值并将相应文档推荐给用户。这种推荐方法可以广泛运用在文档推荐系统中，并适用于各类文档。