TF-IDF

摘要： 为了提高备品备件管理的效率,将文本相似度算法如余弦相似度、TF-IDF相似度算法应用于备品备件管理中,通过将文本映射成空间向量后对向量进行运算,将文字比较转换为数值比较,实现了相似备件识别、同类型备件分类以及备件检索功能,为备品备件管理提供了新思路。

摘要： 鉴于在目前的技术机会识别中存在研判的创新路径往往较为抽象和模糊,并在很多情况下需领域专家参与解读的问题,以冷库技术为例,研究构建基于文本挖掘、机器学习算法及多维空间专利地图的技术创新路径识别模型。首先,构建技术创新路径识别框架对相关专利文献进行分词、清洗等预处理并建立知识图谱;其次,采用融合词频-逆文档频率(TF-IDF)文本挖掘方法对专利文档提取关键词,继而采用隐含狄利克雷分布(LDA)算法对主题聚类降维并萃取创新维度;再次,依据目标技术问题和目标优选创新法则耦合变换于多维空间专利地图并具象出具有现实意义、有价值前景的创新路径;最后,利用可拓学计算各创新路径综合关联度评级优选。以期减少创新成本、提高创新效率,为企业精准开展技术创新、不断提升核心竞争力提供决策参考。

摘要： 为了实现根据商品标题信息进行商品自动分类的功能,提出了基于词频-逆文本频率(TF-IDF)的中文Fasttext商品分类方法。该方法首先利用FastText本身的特点,将词库表示成前缀树;然后对n元语法模型n-gram处理后的词典进行TF-IDF筛选,从而在计算输入词序列向量均值时,偏向高群分度的词条;最后将文本内容以字符顺序进行大小为N的窗口滑动操作,使其更适用于商品标题分类。基于Anaconda平台,对基于FastText的商品分类算法进行实现和优化,经评估,最终的分类器准确率较高,能够满足电商平台对商品分类的需求。

摘要： 文本分类中的一个主要问题是如何提高分类准确性。为了提高分类准确性,提出了一种基于TF-IDF的新的加权方法TF-IDF-IF。此方法引入了一个新的参数来表示类内特征,它用来计算一个类中文档中的术语频率。实验使用CHI卡方统计特征选择方法在数据集中选择1000个特征,然后使用TF-IDF、TF-IDF-CF、LTC和TFC方法在一些常用的分类器如朴素贝叶斯、贝叶斯网络、KNN、SVM中进行实验。实验结果表明,这种方法可以取得很好的效果。

摘要： 由于传统的TF-IDF算法没有很好地分配特征词的权重,从而会出现特征提取不充分并且效率低等问题,导致结果不符合实际情况。为了解决该方法在SQL注入攻击检测时所产生的局限性,本文通过在传统的TF-IDF算法里面加入文本数量比因子和卡方统计量CHI来改进TF-IDF,能够很好地改善一些重要词汇的权重问题。通过选择不同的分类器实现SQL注入攻击的检测,从而获得不同的分类结果。实验结果表明,Boosted Decision Tree和改进的TF-IDF相结合的方法与其它同类方法相比,具有更高的准确率、召回率和F1值。此外,本文算法相较于传统的TF-IDF算法对SQL注入攻击检测的正确率、准确率、召回率、F1值均提高5%左右,具有一定的实际应用前景。

摘要： Objective:To explore the characteristics of intelligent syndrome diagnosis and intelligent syndrome differentiation of pediatric sweat syndrome by retrospectively studying the traditional Chinese medicine(TCM)-based diagnosis and rule of drug use on pediatric sweat syndrome in China Academic Journal Full-text Database(CNKI),Wanfang Database(WF)and VIP database.Methods:Modern literature on pediatric sweat syndrome was collected with Endnote software,and the collected data were input into The Microsoft Excel 2010 table.TF-IDF relative entropy quantitative analysis was used to extract the intelligent diagnosis and intelligent medication rule of pediatric sweat syndrome in modern literature.Results:TF-IDF was used to obtain the syndrome’s type-symptom fuzzy matrix and syndrome’s type-TCM fuzzy matrix of qi-yin deficiency and qi-deficiency.Conclusion:The intelligent syndrome diagnosis and intelligent syndrome differentiation law of modern data mining in the treatment of children sweat syndrome accord with the basic theory of TCM,and can provide clinical reference to a certain extent.

摘要： 区块链技术的出现给各行各业带来了新的变革,同时也给诈骗提供了新的平台。作为金融诈骗的代表形式——庞氏骗局借助智能合约在二代区块链上给人们制造了巨大的损失,这不仅影响区块链技术的发展,同时也在一定程度上扰乱了正常的社会经济秩序,因此,对借助区块链技术实施庞氏骗局的相关平台进行监管势在必行。该文选取区块链平台以太坊作为研究对象,设计了一种基于智能合约混合特征的庞氏骗局检测算法。首先根据交易主体间的关联特征判断其是否符合庞氏骗局中回报不公平的金字塔交易形式,提取智能合约交易特征;其次根据智能合约的操作代码在庞氏骗局合约和其他合约出现频率设计了一种新的ITF算法,提取区分庞氏骗局智能合约的操作码特征;最后采用Catboost集成学习算法来训练庞氏骗局检测模型,算法强调多个特征之间的联系,并解决检测算法训练过程中梯度偏差以及预测偏移问题。与其他算法相比,该算法在庞氏骗局检测上具有较高的准确率(精确率=0.89、召回率=0.78、F1值=0.82)。

摘要： 人文景观是展现城市文化,提升城市文化知名度的重要途径。本文选取携程网和大众点评有效评论作为研究数据,采用词频–逆文档率(TF-IDF)、语义网络和情感分析,研究游客对郭庄、钱王祠、苏堤、雷峰塔、岳王庙、灵隐寺6个西湖人文景观的认知形象、情感形象和整体形象。结果表明:1) 杭州西湖人文景观旅游认知形象要素可归纳为景点的历史文化、建筑与风景、景点活动、交通、设施和服务;2) 旅游情感形象以积极为主,景点整体形象较好,游客对景点的人文历史、风景和服务设施较认可;3) 景点存在人文体验打造不足、服务不到位、门票性价比低等情况。本研究丰富了人文景观旅游研究,为杭州西湖人文景观形象塑造提供建议。

摘要： 随着大数据时代的到来及人民生活水平的不断提高,旅游业迅速发展。鉴于游客满意度直接影响目的地美誉度,有必要对游客目的地印象进行分析。本文根据文本分析理论,首先对“泰迪杯”挑战赛官网、穷游网的网评文本数据进行数据预处理,再用Jieba库分词,接着用TF-IDF算法提取关键词,根据Kmeans得出聚类中心,结合KNN算法将其分类,最后用LDA模型进行主题分析并映射为特征需求。实验结果表明,游客主要关注目的地的服务、位置、设施、性价比、卫生,根据特征需求了解游客偏好,据此对旅游企业健康持续发展提出三条有益建议,有助于优化旅游资源配置,提高游客满意度和提升目的地美誉度。

摘要： 本文分析探讨基于TF-IDF、LSI的文本相似度算法在专利文献相似度计算中的实现,并对现有的TF-IDF、LSI的文本相似度算法的基础文本进行调整,减少了噪声信息的影响。相似度算法可以计算不同文本之间的相似程度。词频-逆文档频率(Term Frequency-Inverse Document Frequency,TF-IDF)模型、潜在语义索引(Latent Semantic Indexing,LSI)模型是常见的文本相似度计算模型。本文分析探讨基于TF-IDF、LSI的文本相似度算法在专利文献相似度计算中的实现,并对现有的TF-IDF、LSI的文本相似度算法的咨询矢量进行调整,减少了噪声信息的影响。

摘要： 为了向用户提供个性化的推荐服务，大多数推荐系统都从用户和商品两个角度出发。本文利用书籍之间通过内容上的相似性相互联系的特点，将描述一本书的属性信息看作有结构的文档，然后利用文档间的相似性考察书籍间的相似性，最后把与该书最相关的书籍作为推荐结果。通过本文的实验证明了原始数据来源网站的推荐策略受非内容相关因素的影响较大，而本文提出的基于书籍属性融合的相似度推荐策略最大程度的考虑了书籍间内容的相似性，从而可为用户提供与书籍内容相关的推荐结果。

摘要： 为了向用户提供个性化的推荐服务，大多数推荐系统都从用户和商品两个角度出发。本文利用书籍之间通过内容上的相似性相互联系的特点，将描述一本书的属性信息看作有结构的文档，然后利用文档间的相似性考察书籍间的相似性，最后把与该书最相关的书籍作为推荐结果。通过本文的实验证明了原始数据来源网站的推荐策略受非内容相关因素的影响较大，而本文提出的基于书籍属性融合的相似度推荐策略最大程度的考虑了书籍间内容的相似性，从而可为用户提供与书籍内容相关的推荐结果。

摘要： 为了向用户提供个性化的推荐服务，大多数推荐系统都从用户和商品两个角度出发。本文利用书籍之间通过内容上的相似性相互联系的特点，将描述一本书的属性信息看作有结构的文档，然后利用文档间的相似性考察书籍间的相似性，最后把与该书最相关的书籍作为推荐结果。通过本文的实验证明了原始数据来源网站的推荐策略受非内容相关因素的影响较大，而本文提出的基于书籍属性融合的相似度推荐策略最大程度的考虑了书籍间内容的相似性，从而可为用户提供与书籍内容相关的推荐结果。

摘要： 为了向用户提供个性化的推荐服务，大多数推荐系统都从用户和商品两个角度出发。本文利用书籍之间通过内容上的相似性相互联系的特点，将描述一本书的属性信息看作有结构的文档，然后利用文档间的相似性考察书籍间的相似性，最后把与该书最相关的书籍作为推荐结果。通过本文的实验证明了原始数据来源网站的推荐策略受非内容相关因素的影响较大，而本文提出的基于书籍属性融合的相似度推荐策略最大程度的考虑了书籍间内容的相似性，从而可为用户提供与书籍内容相关的推荐结果。

摘要： 在中文文本自动分类系统中,文档通常采用向量窄问模型(VSM)表示,所有文档属件构成一个高维度的属性空间,而在文本分类中高维度的特征空间是一个难以解决的问题。TFIDF是文档特征权值表示常用方法,该方法简单易行,但传统的TFIDF没有考虑特征词项在各个类之间分布的不均衡性,本文对TFIDF特征选择算法进行了深入的分析,并基于基尼指数原理提出了一种新的TFIDF特征选择算法,实验结果表明,改进后的算法可以有效地提高文本分类的精确度。

摘要： 在中文文本自动分类系统中,文档通常采用向量窄问模型(VSM)表示,所有文档属件构成一个高维度的属性空间,而在文本分类中高维度的特征空间是一个难以解决的问题。TFIDF是文档特征权值表示常用方法,该方法简单易行,但传统的TFIDF没有考虑特征词项在各个类之间分布的不均衡性,本文对TFIDF特征选择算法进行了深入的分析,并基于基尼指数原理提出了一种新的TFIDF特征选择算法,实验结果表明,改进后的算法可以有效地提高文本分类的精确度。

摘要： 在中文文本自动分类系统中,文档通常采用向量窄问模型(VSM)表示,所有文档属件构成一个高维度的属性空间,而在文本分类中高维度的特征空间是一个难以解决的问题。TFIDF是文档特征权值表示常用方法,该方法简单易行,但传统的TFIDF没有考虑特征词项在各个类之间分布的不均衡性,本文对TFIDF特征选择算法进行了深入的分析,并基于基尼指数原理提出了一种新的TFIDF特征选择算法,实验结果表明,改进后的算法可以有效地提高文本分类的精确度。

摘要： 在中文文本自动分类系统中,文档通常采用向量窄问模型(VSM)表示,所有文档属件构成一个高维度的属性空间,而在文本分类中高维度的特征空间是一个难以解决的问题。TFIDF是文档特征权值表示常用方法,该方法简单易行,但传统的TFIDF没有考虑特征词项在各个类之间分布的不均衡性,本文对TFIDF特征选择算法进行了深入的分析,并基于基尼指数原理提出了一种新的TFIDF特征选择算法,实验结果表明,改进后的算法可以有效地提高文本分类的精确度。

摘要： This paper analyzed the difference between academic database and other text database. The weight of the key words in each paper is the important element in the academic database. First, we used a typical function TFIDF to get the weight. Then we modified TFIDF according to the queried frequency of the key word to get more precise result. The modification reflects the preference from users. An experiment has been done to show the process of the weight adjustment.

摘要： This paper analyzed the difference between academic database and other text database. The weight of the key words in each paper is the important element in the academic database. First, we used a typical function TFIDF to get the weight. Then we modified TFIDF according to the queried frequency of the key word to get more precise result. The modification reflects the preference from users. An experiment has been done to show the process of the weight adjustment.

摘要： 本发明提供一种基于优化TFIDF的特征提取方法及系统，其中方法包括对文本进行分词处理并计算TF和IDF值，还包括以下步骤：记录所有类文档总数和一个类的文档总数，计算类别分布因子

摘要： 本发明公开了一种基于TFIDF与规则引擎的无监督相似文本推荐方法，它包括以下步骤：步骤1：通过数据预处理模块对原始的企业经营范围文本数据进行处理，得到干净并分好词的文本数据，步骤2：利用预处理后的文本数据，通过TFIDF并结合规则引擎建立业务标签抽取模型。有益效果在于：本发明通过基于TFIDF与规则引擎来建立无监督相似文本推荐方法，使得本发明在相似文本推荐的过程中完全不需要人工提取复杂特征与人工标注数据，满足工程应用，不仅能加速项目开发进度，而且还可以推动人工智能在自然语言领域的行业应用。

摘要： 本发明公开了一种基于TFIDF与规则引擎的无监督摘要抽取方法，分别通过数据预处理、文本分割模块、相似得分计算和摘要连贯性模块这四个模块，首先通过数据预处理模块对原始的新闻资讯文本进行处理，去除标题与正文中的html符号、无用字符、不可见字符等垃圾文本，本发明涉及金融证券信息技术领域。该基于TFIDF与规则引擎的无监督摘要抽取方法，可实现在摘要抽取的过程中完全不需要人工提取复杂特征与人工标注数据，同时考虑新闻资讯标题在摘要抽取中的作用，完全满足工程应用，本发明以金融证券行业新闻资讯数据为例，输入标题与正文，输出摘要，很好的解决了金融证券领域摘要抽取不足的为问题，并且满足系统对模型性能的要求。

摘要： 本发明公开了一种基于改进TFIDF的文本特征选择方法，包括如下改进步骤：初步修改IDF公式；针对未考虑类间分布的改进；针对未考虑类内分布的改进；针对未考虑文档内分布的改进；针对词性的改进；针对被修饰词的改进；改进TF‑IDTF‑WI算法。本发明通过实验证明相比于传统的TF‑IDF方法，TF‑IDTF‑WI算法在文本分类中能取得更高的准确率，并且在其它评价指标上也表现更加出色。

摘要： 本发明公开了一种融合TFIDF和LDA实现抽取式文本摘要方法。基于融合TFIDF（Term Frequency Inverse Document Frequency）和LDA（Latent Dirichlet Allocation），综合词位置、词性、词长、词跨度等特征调整词素的权重取值，使用最大边缘相关性最终过滤，选择top‑N个句子。为了衡量本发明的优劣，采用准确率、召回率和F1值作为衡量标准。爬取人民网自2021年1至8月的5000篇新闻数据作为数据集，该数据按照话题划分，并且专家标注了摘要的句子。与TFIDF、LDA和TextRank算法对比，本文方法在三个指标上均处于优势，值得推广应用。但是该方法也有不完善的地方：一是计算工作量大，运行时间长、二是仅在具有鲜明主题的文档上的应用效果较好。

摘要： 本申请提供一种基于Word2Vec和TFIDF的WIKI知识库搜索词分析方法和装置，属于人工智能技术领域，本申请的方法，采用Word2Vec对知识库中的文本构建语义模型，并结合改进的TF‑IDF提取搜索关键词，首先，对每个用户的搜索文本过滤无用记录，并进行分词和过滤停用词，其次，通过Word2Vec对知识库中的文本构建语义模型，得到搜索词之间的相似性，最后，根据改进的TF‑IDF方法计算得到关键词，能够有效的从用户的搜索词中得到关键词，从而了解搜索动向，以及从中发现知识的缺失，便于知识库的管理。

摘要： 本发明提供一种基于优化TFIDF的特征提取方法及系统，其中方法包括对文本进行分词处理并计算TF和IDF值，还包括以下步骤：记录所有类文档总数和一个类的文档总数，计算类别分布因子

摘要： 本发明提供了一种基于TFIDF模型的积分系统数据脱敏方法和系统。在需要共享获取积分系统数据时，对获取数据进行基础分词处理，并调用TFIDF模型，基于关键词典的学习训练，对逐条分词进行相似度判断，超出设定阀值的，进行脱敏过滤处理，并将脱敏过滤后的数据进行输出共享。本发明方法和系统包括数据脱敏处理模块、TFIDF模型模块、数据词典模块和数据脱敏管理模块。

摘要： 本发明涉及一种基于深度学习结合TFIDF算法的中文情感分析方法，将获取的中文语料及维基百科的中文语料进行文本预处理后，使用word2vec模型分别进行训练，然后结合两者训练的得到的词向量，作为深度学习训练模型的输入，然后进行情感分析模型的构建；最后，进行新语料的预测。本发明无需进行复杂的词典构建，减少了人工成本，避免了繁琐的特征工程构建对分类结果的影响，同时将深度学习模型中学习的特征结合了传统的语义信息，增加了分类的准确性。此外，在词向量的训练中将文本自身领域与维基百科的中文语料纳入考虑，提高了词向量对文本语义信息表达的准确性。

摘要： 本发明涉及一种基于tfidf算法和相关词权重修正的文本分类方法，包括以下步骤：S1：提取出类别关键字；S2：构成滑动文本窗，设定词语权重并修正其在滑动文本窗的位置；S3：根据词频统计修正函数计算出词语的词频；S4：根据TFIDF算法加权计算,实现文本词语的向量化；S5：通过SVM分类器进行文本分类。文本分类过程中，增加类别关键字的权重，使得文本向量化之后的结果更好的反应文本信息。本发明引入文本滑动窗口，充分考虑了词语在文本中的位置信息。类别关键词来源于一部分的训练数据以及用户提供，类别关键字的提取利用了tfidf算法，可以高效准确的提取关键词的特性，同时兼顾了实际应用场景类别关键词较少的情况，类别关键字提取全面且准确。