word2vec

摘要： 为了高效地对大宗商品交易领域的文本数据进行挖掘,基于书籍文本面向大宗商品交易领域构建了领域词典。通过关键词提取以及融合现有基础词典,构建大宗商品交易领域词典。为了使得领域词典更加完善,利用分布式表示方法中的Word2vec算法进行词典扩充。实验结果表明,所构建的领域词典在文本分类任务中具有良好的性能表现。

摘要： 文本分类是自然语言处理的基础任务,文本中的特征稀疏性和提取特征所用的神经网络影响后续的分类效果。针对文本中的特征信息不足以及传统模型上下文依赖关系方面不足的问题,提出经过TF-IDF加权的词向量和LDA主题模型相融合,利用双向门控循环神经网络层(BiGRU)充分提取文本深度信息特征的分类方法。该方法主要使用的数据集是天池比赛新闻文本分类数据集,首先用Word2vec和LDA模型分别在语料库中训练词向量,Word2vec经过TF-IDF进行加权所得的词向量再与LDA训练的经过最大主题概率扩展的词向量进行简单拼接,拼接后得到文本矩阵,将文本矩阵输入到BiGRU神经网络中,分别从前后两个反方向提取文本深层次信息的特征向量,最后使用softmax函数进行多分类,根据输出的概率判断所属的类别。与现有的常用文本分类模型相比,准确率、F1值等评价指标都有了较高的提升。

摘要： 为了帮助商家了解用户需求和产品问题,进一步提升产品和服务质量,对vivo手机评论数据进行基于关键词的词云图分析、社会语义网络分析、舆情时间序列可视化分析,挖掘用户关注焦点与手机特征的内在联系和用户情感倾向趋势;然后对评论数据进行基于LDA的主题特征分析,继而提出一种基于Word2vec和SVM、LDA的混合算法模型,挖掘用户正向和负向情感评论的潜在主题,得到不同情感倾向下用户对vivo手机不同方面的反映情况。分析结果表明,基于混合算法的挖掘结果比基于关键词的可视化分析、基于LDA的主题分析更清晰,更具准确性,为商家提供的建议更有意义。

摘要： 将textrank、word2vec和MMR3种语言模型用于基于文本相似度的新闻自动摘要提取。实验结果表明textrank算法得到的摘要语句可读性较差,理解困难;在textrank算法基础上增加word2vec模型后对整篇新闻的概括度较高,但却不能很好地解决信息冗余和效率低的问题;MMR可以有效去除信息冗余,体现语义的多样性。

摘要： 针对航行通告中出现的Q代码和E项正文部分不规范的问题,通过自然语言处理中的文本相似度计算方法可识别出不规范航行通告。首先,基于统计机器翻译方法将航行通告E项正文部分翻译成中文并建立数据库,将Q代码翻译成中文;然后,利用Word2vec模型计算两者之间的相似度,并制定不规范航行通告识别标准。通过对收集的500条航行通告中的Q代码和E项正文进行相似度计算,设定0.7作为不规范航行通告的识别标准,经数据测试可得不规范航行通告识别准确率为96.2%,验证了基于自然语言处理的不规范航行通告识别方法的可行性。

摘要： [研究目的]针对主流话题发现模型存在数据稀疏、维度高等问题,提出了一种基于突发词对主题模型(BBTM)改进的微博热点话题发现方法(BiLSTM-HBBTM),以期在微博热点话题挖掘中获得更好的效果。[研究方法]首先,通过引入微博传播值、词项H指数和词对突发概率,从文档层面和词语层面进行特征选择,解决数据稀疏和高维度的问题。其次,通过双向长短期记忆(BiLSTM)训练词语之间的关系,结合词语的逆文档频率作为词对的先验知识,考虑了词之间的关系,解决忽略词之间关系的问题。再次,利用基于密度的方法自适应选择BBTM的最优话题数目,解决了传统的主题模型需要人工指定话题数目的问题。最后,利用真实微博数据集在热点话题发现准确度、话题质量、一致性三个方面进行验证。[研究结论]实验表明,BiLSTM-HBBTM在多种评价指标上都优于对比模型,实验结果验证了所提模型的有效性及可行性。

摘要： [目的/意义]中国电影市场近年来蓬勃发展,研究中国观众观影的感知需求与满意度对促进国产电影内循环以及其他来源国电影向中国电影市场跨文化传播具有重大意义。[方法/过程]本文采用网络爬虫技术获取2017-2020年在中国大陆上映的包含中国电影、美国电影、欧洲电影以及日本电影在内的423部电影样本影评数据,共计75548条。利用词频统计、Word2vec模型对影评数据进行特征提取,识别观众感知需求。后引入情感词典和TF-MONO算法实现对中国观众观影满意度的测算。[结果/结论]研究结果发现:首先,中国观众观影感知需求主要表现在故事、角色这两个方面。其次,中国观众对中国电影动作特征表现为高满意;对美国电影的特效、角色、演员这三个特征满意度较高;欧洲电影的故事较其他三个来源国电影表现更为突出;日本电影的艺术、导演/团队特征更能使中国观众满意。整体来看,中国观影者对欧洲电影整体满意度最高,其次是美国电影、日本电影,最后是中国电影。

摘要： 在线图书评论文本数量庞大、纷繁复杂,传统词袋模型无法表征文本隐含的语义信息,也无法通过一个线性分类器实现分类,而人工监控分析又具有很强的滞后性。文中以online_shopping_10_cats数据集中的图书评论部分为语料,经过文本预处理,采用Word2vec进行文本向量表示,得到语义化的特征矩阵,引入SVM模型进行训练和预测,采用增量训练和GridSearchCV进行模型优化,应用Tkinter构建可视化界面,实现文本信息情感识别。实验表明,该系统精确率为0.94,召回率为0.94,f1-score值为0.93,具有良好的适用性。

摘要： Stack Overflow是一个计算机编程领域的问答社区,其中的文本蕴含大量有价值的信息可供挖掘,但由于其本身存在大量的错误词汇,给文本的分析造成影响。对此,提出一种词语自动检测纠错算法,通过词向量的技术以语义相似度为核心,对错误词汇进行分析,结合改进的编辑距离算法对文本进行自动检测纠错。实验结果表明,该算法能够对诸如此类专业性较强的领域主题文本进行自动检测纠错,并且能够较好地还原标准文段用词。

摘要： 学生意见挖掘在课程思政实施过程中具有重要的指导作用。文章基于Word2Vec神经网络和K-Means算法对在传媒专业线课程的学生评价进行聚类分析,发现各分值评论内容在知识、能力和情感三个维度关注程度的差异性。基于此,文章提出层次化的需求模型来描述学生对课程的需求,并建议课程思政建设需要先满足功能性、可靠性、体验性需求的基础上,合理嵌入思政内容满足学生的身份需求和价值诉求。

摘要： 本发明公开了一种基于Word2Vec的云制造服务协作相似度计算方法，包括以下步骤：S1、对云制造服务流程进行建模，获得云制造服务流程网模型；S2、对所述云制造服务流程网模型进行采样并获得字符序列；S3、用所述字符序列构建语料库；S4、利用所述语料库通过Word2Vec为每一个云制造服务训练一个向量；S5、通过判断任意两个向量相似度来判定对应的云制造服务协作相似度。制造流程需要多个环节，在个别服务失效或功能变更时，通过本发明可以迅速匹配协作相似度高的服务进行替换，替换的服务兼顾了服务功能、服务质量、流程协作等多个维度，并且可以减少用户自己检索所使用的时间，提高适配效率和兼容性、缩短替换周期、并且降低替换服务的寻租成本。

摘要： 本发明涉及一种基于Word2Vec、LSTM和注意力机制的中文歌词生成方法，包括以下步骤：1)获取关键词进行预处理；2)输入关键词，基于LSTM和注意力机制的歌词生成模型结合后处理操作，依次生成句中词和结尾词，完成一句歌词的生成；3)重复执行步骤1)‑步骤2)，直至生成一篇完整的歌词。与现有技术相比，本发明具有生成歌词可读性强、语义通顺、对仗工整等优点。

摘要： 本发明涉及文本建模领域，提出一种基于word2vec和语义相似度的专利文本建模方法，包括以下步骤：爬取专利文本集并进行预处理；计算专利文本集每个词的TF‑IDF值，排序选取得到特征词集；文本集导入word2vec模型通过训练得到词向量；计算余弦相似度得到相近词集wordC_1；计算word2vec相似度得到相近词集textC_1；文本集导入文本处理系统进行训练，得到语义相似度，选取相近词集wordC_2；计算语义相似度得到相近词集textC_2；计算混合相似度得到扩展词集textC_f；计算权重形成新的文本标识，完成建模。本发明从word2vec的统计学角度和语义相似度的语义角度为传统向量空间模型增加一部分词语间的信息，在一定程度上降低其文本矩阵的稀疏性，且聚类效果更显著稳定，具有更强的文本标识能力。

摘要： 本发明提出了一种基于Word2vec和ASPE的高效模糊可搜索加密方法，该方法主要应用密态信息模糊搜索领域。该算法首先借助Word2vec生成同义词相关系数，再将系数与关键字矩阵相结合，利用扩展后的ASPE算法得到用户的陷门矩阵。将利用扩展后的ASPE算法生成的文件索引矩阵与陷门矩阵进行哈达玛乘积操作得到文件相关性排序，最后用户通过密钥解密文件得到最终明文。通过实验仿真表明，该算法不仅能有效隐藏明文信息，保护了用户的前向隐私与后向隐私，而且大大改善传统算法计算量大且占用大量存储空间的缺陷，极高地提升了模糊搜索效率。

摘要： 本发明公开了一种基于加权Word2vec的漏洞自动分类方法及系统，包括：步骤1：对原始漏洞文本进行预处理，形成漏洞文本信息词集；步骤2：采用Word2vec模型对漏洞文本信息词集中的每个词进行词向量化，得到词向量；步骤3：使用T‑MI算法对每一个词向量进行加权，得到加权后的词向量；步骤4：将加权后的词向量组成的文本向量输入至训练好的CNN中进行漏洞分类，得到漏洞分类结果；其中，T‑MI算法为将TF‑IDF算法与互信息算法结合得到的算法；本发明针对Word2vec模型无法区分漏洞文本中词汇的重要程度，通过引入改进的TFIDF对Word2vec词向量进行加权，实现加权的Word2vec分类模型，可以更好的实现漏洞的自动分类，提高分类的准确性。

摘要： 本发明公开了一种基于word2vec模型的班轮运输重点航线识别方法，属于水运交通领域，包括以下步骤：步骤一：获取AIS数据并预处理；步骤二：得到集装箱班轮航次挂港序列；步骤三：基于word2vec模型生成港口向量；步骤四：获取集装箱班轮运输航次向量；步骤五：识别集装箱班轮运输重点航线。本发明使用挂靠港口数据，精简了重点航线识别的运算内容，更适用于范围庞大的国际班轮运输网络，并深入挖掘了港口间的潜在关联，从而实现集装箱班轮运输重点航线的识别。本发明有助于交通管理部门和航运公司准确掌握集装箱班轮运输的重点航线，为交通管理部门制定管理政策，航运公司规划与管理海上航线提供有力支持。

摘要： 本发明属于社区发现领域，尤其涉及一种基于Word2vec‑FL的社区发现方法及系统。该方法包括：获取流量数据；提取流量数据中的源IP字段和目的IP字段；基于源IP字段和目的IP字段，构建样本数据；基于样本数据，输入word2vec‑FL模型进行训练，获得每个IP对应的向量；其中，所述Word2Vec‑FL模型包括：将focal loss嵌入word2vec的损失函数；计算所述向量的余弦相似度，基于向量的余弦相似度，对每个IP进行聚类，得到每个IP对应的社区。本发明通过对word2vec损失函数的focal loss改进，使低频词获得更为合理的向量表达。

摘要： 本申请提供一种基于Word2Vec和TFIDF的WIKI知识库搜索词分析方法和装置，属于人工智能技术领域，本申请的方法，采用Word2Vec对知识库中的文本构建语义模型，并结合改进的TF‑IDF提取搜索关键词，首先，对每个用户的搜索文本过滤无用记录，并进行分词和过滤停用词，其次，通过Word2Vec对知识库中的文本构建语义模型，得到搜索词之间的相似性，最后，根据改进的TF‑IDF方法计算得到关键词，能够有效的从用户的搜索词中得到关键词，从而了解搜索动向，以及从中发现知识的缺失，便于知识库的管理。

摘要： 本发明涉及计算机技术相关领域，具体为一种基于word2vec的用户画像拓充方法及装置，所属方法包括：获取所述文本的文本数据；对文本进行分词处理；使用word2vec算法方法将分词转换成词向量；根据原始用户画像遍历每个标签，使用word2vec模型获取每个原始用户画像里的标签最相近的n个词作为新用户画像标签，从而使本发明的技术方案通过使用word2vec把词转换成词向量，得到的语料库可以用于近义词、同义词的获取，有效地处理了获取相近词来用户画像标签不足的问题，进而解决推荐系统推荐结果范围狭小问题。

摘要： 本发明涉及电网运维管理技术领域，具体地说，涉及基于Word2vec的监控告警信息向量化模型建立方法。包括如下步骤：构建Word2vec模型并进行模型训练，实现使用分布式向量表示文本；获取历史监控告警信息，采用Word2vec模型对监控告警信息进行向量化处理：分词，去停用词，向量化建模，平均化处理。本发明设计使用Word2vec表示词向量可以解决传统模型的高维稀疏特征问题，还可以将上下文语义特征引入模型中，有助于短文本的分类；采用Word2vec模型对监控告警信息进行向量化建模，可以为后续事件的识别模型提供输入基础，进而辅助分析异常及影响，提升巡视效率，为调空人员工作减负，提升对电网状态实时掌控能力，提高电网的运行健康度。