潜在语义分析

摘要： 近几年来,文本聚类技术作为机器学习领域一种无监督学习的方法,也越来越成为数据挖掘领域备受关注的技术之一。将小规模的文本数据聚为几类,在一定程度上说是一件比较容易实现的工作。可是,当面对大量高维的中文文本数据时,由于在这种情况下对文本聚类,面对的将是高维和稀疏的数据,在保证聚类质量的情况下,提高聚类的速度和可视化效果也成为聚类研究的课题之一。该文提出一种结合词频反文档频率算法(term frequency,inverse document frequency,TFIDF)和潜在语义分析算法(latent semantic analysis,LSA)相结合的方法,来提高kmeans中文文本聚类的速度和可视化效果。将从网页上采集到的11456条新闻作为实验对象,通过基于TFIDF聚类和基于TFIDF+LSA聚类进行实验对比,根据聚类指标轮廓系数(Silhouette coefficient,SC)、卡林斯基-原巴斯指数(Calinski-Harabasz index,CHI)和戴维斯-堡丁指数(Davies-Bouldin index,DBI)的值表明,该方法不仅能保证文本聚类的质量,还能大大提高文本聚类的速度和可视化效果。

摘要： 基于互联网金融提供的客户借款描述,通过潜在语义分析挖掘借款描述文本内容的主题,运用二元分位数回归分析借款描述对互联网金融信用风险的影响。实证结果表明,借款描述中有关情感表达、个人信用和借款目的的描述与违约情况呈负相关,有关财务情况的描述与违约情况呈正相关。

摘要： 经济政策不确定性能够作用于各种宏观经济因素,也会在微观层面影响企业决策层的战略选择.本研究回顾和梳理了经济政策不确定性在企业创新战略领域的理论成果,以及主流测量方式的发展历程.现有的文本测量方式已经能够在一定程度上实现对我国经济政策不确定性的连续测量.但还存在的问题是主题判定词典词语不全导致文章误判,以及通过人工标注更新词典方法的成本过高.本研究通过分析经济政策不确定性在具体测量过程中存在的问题,以及相关自然语言处理模型的适用范围,提出了使用潜在语义分析算法(LSA)进一步提高经济政策不确定性测量效度的技术实现途径.

摘要： 将排序学习的方法应用于构件检索的研究中,首先,采用刻面描述的方法对构件进行全面的描述,并通过word2vec模型和权重设定的方法对刻面描述的构件进行特征提取;然后,对构件特征进行潜在语义分析和余弦相似度计算,得到构件训练数据集;最后,通过使用构件训练数据集和构件数据集对经过改进的Plackett-Luce概率排序模型用最大似然估计方法训练模型参数,从而得到一种构件排序模型.将构件排序模型应用到构件检索中开发实现了一个构件检索方法,通过实验验证了此方法的有效性,其查全率、查准率和效率都优于传统的构件检索方法.

摘要： 当前对于社交网络"标准偶像"现象和机理的研究,仍缺乏足够重视、专门实证探讨和理论自觉.明确提出"标准偶像"的理论概念,并进行其机理实证分析.采用潜在语义分析(LSA)对微博用户的文本数据进行挖掘,结合统计检验和路径分析考察标准偶像的作用.社交网络内容生产中,高粉丝数、高流量、高咖位的用户,其个体的内容整体不是趋向丰富性、垂直细分和特立独行的差异化,而是趋向越来越重复、趋似和标准化.微博用户的粉丝数越高,则其趋同于标准用户的程度相应越高,用户粉丝数和内容之间的关系越来越闭合,促进高粉阶层的异质性不断被削磨,同一化标准化程度不断增加,表现出"标准偶像"的现象、效应及其社会文化逻辑.微博中的"标准偶像"及其传播后果,蕴含着从"大众偶像的胜利"到"标准偶像的胜利"、从多样话语崛起到封闭圈层和"社会窄化"的转向.

摘要： 针对股评论坛主题发现,提出基于频繁项集与潜在语义相结合的短文本聚类(STC_FL)框架.在基于知网的知识获取后得到概念向量空间,挖掘并筛选出重要频繁项集,然后采用统计和潜在语义相结合的方法进行重要频繁项集的自适应聚类.最后,提出TSC-SN(text soft classifying based on similarity threshold and non-overlapping)算法,通过参数调优策略选择和控制文本软聚类过程.股吧论坛数据实证分析发现:所提出的STC_FL框架和TSC-SN算法可充分挖掘文本潜在语义信息,并有效降低特征空间维度,最终实现对短文本的深层次信息挖掘和主题归类.

摘要： This paper presents a method of music emotion classification which combines audio and lyric modes and uses depth belief network. In the selection of classifier, the traditional classifier is replaced by DBN. The LateFusion Sub-taskMerging (LFSM) is improved to complete multi-modal fusion. The feasibility of this method is already verified. The experimental results show that the method is more effective than the one based on single modal classification and the traditional classification method.%文中提出了一种将音频与歌词两种模态结合并利用深度置信网络进行音乐情感分类的方法.在分类器的选择上, 将传统的分类器用DBN进行了替换, 且改进了子任务结合晚融合法 (LFSM) 来完成多模态的融合, 并验证了该方法的可行性.实验结果表明, 该方法对音乐情感分类效果较好, 高于基于单一模态和传统分类器的分类方法.

摘要： 作为问答系统中的关键组成部分——问题分类,它的目的是以自然语言提问的问题的答案类型可以预先确定,进而准确地进行问句分类.问题分类的典型方法是机器学习的方法,并且采用一元词作为特征,增大了特征空间.本文构造一个面向潜在语义分析的中文问题分类模型,使用潜在语义分析技术降低特征空间的方法,将大的特征空间降低到更小更有效的特征空间.将潜在语义分析应用到问题分类中,不仅提高分类效率,节省时间,而且通过去除不相关特征信息提高问题分类的准确性.

摘要： 在潜在语义分析中，词-文档矩阵的确定至关重要。权重计算方法的好坏，会直接影响检索结果的准确与否。在研究传统潜在语义分析权重计算方法的同时，在已有权重计算方法的基础上对权重计算方法进行了改进，提出了一种新的杈重计算算法。试验表明，改进后的权重计算方法能够得到更好的检索效果。

摘要： 快速、准确获取BBS论坛主题已成为目前web信息获取中一个极其重要的研究方向。针对已有的BBS论坛中有影响力主题计算方法的不足,提出了一种基于潜在语义分析的主题发现方法,其思想是借助计算回帖之间的相似度,综合时间、空间因素,对主题进行聚类,发现主题并加以实现。系统对BBS主题发现过程进行可视化和交互,从而更直观反映主题的变化过程,更好地验证了算法的有效性。

摘要： 传统的基于向量空间的文本分类方法很难处理文本的高维特性,本文首先综述了潜在语义分析的理论及方法,并且解释其数学意义,提出基于潜在语义分析的Web文本分类方法,给出Web文本的特征表示,将文本数据由高维空间映射到低维空间,通过奇异值分解提取文本的潜在语义空间.在潜在语义空间中利用支持向量机方法实现文本分类.最后采用两种文本分类方法进行对比实验,实验表明基于潜在语义分析的方法比传统方法取得更好的文本分类效果.

摘要： 语言处理的最核心问题是语法和语义消歧的问题.本文首先介绍了人类探索自然语言理解研究以来的成就和不足,并描述了基于潜在语义分析(LSA)的智能知识模型.分析了它的优点和不足,并在此基础上,提出一种基于句子基本结构和句式的潜在语义分析模型.并给出了相应的算法及算法分析.

摘要： 随着互联网信息量的增长，英文原声电影作为多媒体教学的工具被大量使用。Web上的电影字幕由于大多数由影迷上传从而存在各式各样的缺陷。字幕分类是通过大量的带有类别标注的训练样本来预测字幕的类别，对这些训练样本进行人工标注是一个相当繁琐的工作，宇幕聚类通过一定的相似度度量，将相关字幕归结为一类。然而传统的聚类算法对解空间的搜素带有盲目性和缺乏语义特征，并且大部分字幕存在时间轴错误，对上进问题本文提出了三阶段策略。第一阶段利用贝叶斯潜在语义模型来标注含有潜在类别主题词变量的字幕的类别；第二阶段对无对白场景创建贝叶斯网络，通过对大量图像样本的训练得到支持向量机并且用其进行视频语义探剥得到场景关键词。第三阶段根据类主题变量对前后两场景的潜在语义空间的主题词与无对白场景关键词进行关联匹配，并校正时间轴。经过实验该方法具有良好效果。

摘要： 提出一种基于改进潜在语义分析MLSA(Modified Latent Semantic Analysis)的文档聚类算法.采用新的特征提取方法构建词-文档矩阵,利用潜在语义分析对词-文档矩阵进行奇异值分解以达到垃圾信息过滤的目的,同时使得向量空间模型中文本的高维表示变成在潜在语义空间中的低维表示,缩小了问题的规模.然后将共现数据对转换成概率统计模型来计算,提高了聚类质量.实验表明,本文提出的方法是有效的.

摘要： 针对潜在语义分析(LSA)模型的权重更新问题,提出了一种基于贝叶斯理论的自适应权重更新算法ALSAB.ALSAB采用最大后验概率估计与期望值最大(EM)算法对概率LSA模型参数进行有效的估计,在充分考虑多次更新中不常用字词概率参数降低问题的前提下,采用增量学习方法降低多次更新产生的累积效应.实验结果表明,与现有的权重更新算法相比,提出的ALSAB算法显著地提高了检索的准确率与召回率.

摘要： 随着当今互联网的蓬勃发展,对特定领域的信息采集和统计的需求也日趋明显,然后信息急速膨胀,使有效定向采集和统计特定领域信息并得到其相应的预测结果成为一个日益重要的研究方向。通过运用汉语分词、潜在语义分析和语义匹配等技术,构造用户兴趣模型,并通过该模型,对Web信息结构分析和未知信息相关性预测来控制信息采集统计过程,在保持定向采集精度的同时使用面向服务的体系架构(SOA),可缩短采集时间、减少存储、加快检索,节约了网络资源.

摘要： 在对潜在语义分析和主题模型2种语言模型的基本原理和方法分析的基础上,给出了其在主题内容识别及文本数据挖掘方面的应用前景.进一步从全信息自然语言理解方法论出发,指出了语言计算研究可能的发展方向:一方面需要与认知科学相结合,借鉴认知科学的研究成果;另一方面要重视从语用的维度进行研究.

摘要： 一种基于连续潜在语义分析的模型拟合方法，涉及计算机视觉技术。准备数据集。融合偏好分析和潜在语义分析构造潜在语义空间。分析潜在语义空间的数据分布。在潜在语义空间中自适应地去除离群点。在潜在语义空间中对剩下的数据点进行聚类分析。根据聚类结果估计模型参数，完成模型拟合。通过融合连续偏好分析和潜在语义分析快速有效地构造潜在语义空间，并将输入数据投影到所构造的潜在语义空间中，使得离群点靠近原点而来自不同模型实例的内点分布在不同的子空间中，从而将复杂的模型拟合问题看作成潜在语义空间中子空间恢复问题。本发明能够快速且有效地处理模型拟合问题。

摘要： 本发明公开了一种基于概率潜在语义分析的水下目标信号特征提取方法，包括如下步骤：对混合有噪声的水下目标信号进行处理得到降噪频谱图

摘要： 本发明公开了一种加权词向量和潜在语义分析结合的相似缺陷报告推荐方法。本发明首先计算缺陷报告的加权词向量，得到相似度Sim1和Sim2；然后计算缺陷报告的LSI向量，得到相似度Sim3和Sim4；计算不同缺陷报告所涉及的产品和组件之间的相似度Sim5；计算要查询的缺陷报告和各候选缺陷报告之间的总相似度并进行升序排序，从候选缺陷报告中选出与要查询的缺陷报告总相似度最高的缺陷报告。本发明利用TF‑IDF方法为单个词的词向量增加权重，特别适用于短文本，表示了缺陷报告中各个词的重要程度。同时利用潜在语义索引方法计算缺陷报告的相似度。二者结合能够很好地分析缺陷报告之间的相似度，明显提高向开发者推荐相似的缺陷报告的准确性，加快软件缺陷的修复。

摘要： 基于WordNet以及潜在语义分析的文本分类方法涉及计算机领域。本发明考虑文本中单词的同义词及上下位词，同义词及上下位词根据相似度增加各自词频，从而减少多词同义对分类的影响。不同于一般方法中对一个特征矩阵以单一方法做特征提取，我们通过对WordNet调用参数的调整获得多个特征矩阵，使用遗传算法(GA)辅助潜在语义分析(LSA)共同完成特征提取，得到更好的特征矩阵，从而提高了分类效果。

摘要： 本发明公开了一种基于概率潜在语义分析的水下目标信号特征提取方法，包括如下步骤：对混合有噪声的水下目标信号进行处理得到降噪频谱图利用原始频谱图v和降噪频谱图进行频谱可靠性权重计算，得到加权后第n个频段的降噪频谱图Sn；对Sn进行短时傅里叶变换，得到信号对使用频谱三角滤波器进行滤波，得到滤波后的整个频谱对进行矩阵分解，提取具有最高贡献率的前L个特征向量，构成声学子空间；对提取的前L个特征向量进行归一化计算，将归一化后的L个特征向量连接起来，以构建声学特征向量。本发明所公开的方法实现了从时间与频率相结合来反映声音信号特征，可以降低噪声的污染，从而更有效的表征声音信号。

摘要： 本发明公开了基于潜在语义分析模型的搜索方法，包括如下步骤，输入框内接受所需搜索的文字内容，搜索内容为两句或者两句以上的句子，去除搜索内容中的形容词，然后对搜索内容进行特征划分，并GloVe模型捕获上下文中可能关联的特征，并列所指定的含义，采用协同过滤方式对用户输入的搜索内容进行组划分；本申请可通过判断上下文语境进行搜索进行辅助判断，从而增加搜索的准确度。

摘要： 一种基于潜在语义分析的文档相似度识别方法及装置，包括如下步骤：构建原始文档库，所述原始文档库包括若干原始文本，所述原始文本经预处理得到与原始文本一一对应的原始文本词袋向量；获取输入文本，将输入文本进行预处理得到输入文本词袋向量；计算输入文本词袋向量与原始文本词袋向量的近似程度，得到与输入文本近似程度最高的原始文本。本申请首先构建一个文档库，然后以该文档库作为基本文本，将输入文本作为主对比文本进行对比，借助词袋向量，从基础文本中找到输入文本类似的文档，由于词袋向量本身考虑到了语义，因此可以更好的在潜在语义的基础上获得更好的文档相似度的识别效果。

摘要： 本发明公开了一种基于张量的潜在语义分析文本处理方法及装置，所述方法包括：获取待分类的文本集；其中，文本集包含A个文本，A为正整数；提取文本集中每个文本的特征，获得文本集的K个特征向量，K为正整数；根据特征向量以及特征向量的维数，构建A×m×n的张量模型；其中，张量模型中元素包含K个特征向量，m、n均为正整数；根据张量模型进行奇异值分解处理，获得特征数据；其中，特征数据用于输入目标分类器，以使目标分类器根据张量模型对文本集进行分类。本发明方法处理过程中各个特征之间的相关性会得到保留，可提高文本分类器分类的准确性，挖掘出潜在相关联的特征词。

摘要： 本发明公开了一种加权词向量和潜在语义分析结合的相似软件缺陷报告推荐的方法。本发明首先计算缺陷报告的加权词向量，得到相似度Sim1和Sim2；然后计算缺陷报告的LSI向量，得到相似度Sim3和Sim4；计算不同缺陷报告所涉及的产品和组件之间的相似度Sim5；计算要查询的缺陷报告和各候选缺陷报告之间的总相似度并进行升序排序，从候选缺陷报告中选出与要查询的缺陷报告总相似度最高的缺陷报告。本发明利用TF‑IDF方法为单个词的词向量增加权重，特别适用于短文本，表示了缺陷报告中各个词的重要程度。同时利用潜在语义索引方法计算缺陷报告的相似度。二者结合能够很好地分析缺陷报告之间的相似度，明显提高向开发者推荐相似的缺陷报告的准确性，加快软件缺陷的修复。

摘要： 本发明公开了一种基于潜在语义分析和随机投影的文本相似度计算方法，适用于普遍的无监督文本聚类问题。本发明首先对待处理的标签文本转换为词袋模型，并利用TF‑IDF算法对其进行赋权操作得到权重向量集。然后使用LSA算法对权重向量集进行处理得到LSA索引库，再对权重向量集使用随机投影算法进行处理得到RP索引库。最后将待计算语料进行TF‑IDF处理后，再分别使用LSA算法和RP算法处理后与索引库内容比对，得到文本相似度。本发明可以对文本内容进行有效相似度计算，并通过相似度较高文本进行相关内容推荐。