Elasticsearch

摘要： Big data analytics in business intelligence do not provide effective data retrieval methods and job scheduling that will cause execution inefficiency and low system throughput.This paper aims to enhance the capability of data retrieval and job scheduling to speed up the operation of big data analytics to overcome inefficiency and low throughput problems.First,integrating stacked sparse autoencoder and Elasticsearch indexing explored fast data searching and distributed indexing,which reduces the search scope of the database and dramatically speeds up data searching.Next,exploiting a deep neural network to predict the approximate execution time of a job gives prioritized job scheduling based on the shortest job first,which reduces the average waiting time of job execution.As a result,the proposed data retrieval approach outperforms the previous method using a deep autoencoder and Solr indexing,significantly improving the speed of data retrieval up to 53%and increasing system throughput by 53%.On the other hand,the proposed job scheduling algorithmdefeats both first-in-first-out andmemory-sensitive heterogeneous early finish time scheduling algorithms,effectively shortening the average waiting time up to 5%and average weighted turnaround time by 19%,respectively.

摘要： 随着信息技术应用创新和信息系统集约化进程的不断推进,气象部门政务管理信息系统正加速实施国产化自主可控迭代升级,其对历史数据迁移的平滑与否是衡量升级成败的关键因素之一。借助分布式全文检索框架ElasticSearch的动态映射、分布式可扩展以及非结构化数据处理等能力,本文提出一种异构数据迁移方法,能够解决传统方法在系统替换场景中存在的不足。应用该方法对中国气象局电子公文系统进行全国产化替代,取得了良好的效果,不仅满足了历史数据向国产化自主可控生态下的物理迁移需求,还能支持新的系统对历史数据更加灵活的二次使用。

摘要： 【目的】整合多种教学资源,并在此场景下设计和实现一种高效准确的搜索策略,帮助用户获取丰富的教学内容。【应用背景】教学资源类型众多,数量庞大,用户对于准确检索的需求日益增长,仅基于ElasticSearch进行搜索的效果不尽人意。【方法】在对用户输入的Query进行预处理和分词后,通过ER-BERT语义相似度模型在Query库中匹配出n条近似结果,将其输入到ElasticSearch并构建相关度计算公式,最后按照综合评估的最终得分将匹配结果进行排序。【结果】利用知识图谱技术整合复杂的教学资源,并在此基础上实现了一种基于ElasticSearch和语义相似度匹配的教学资源搜索策略,在保证检索速度的同时可以根据用户检索Query的语义信息进行检索。【结论】实验结果表明使用该教学资源搜索策略增加了检索结果的数量,并在保证检索速度的同时提升了结果的准确性,显著改善了用户的搜索体验。

摘要： 针对图书馆信息资源多采用传统模式搜索信息,搜索结果与需求往往难以匹配,经常会出现“搜”非所问的情况,提出了基于知识图谱的图书馆资源智能搜索。首先,全面梳理搜索引擎的关键技术,对常用的搜索引擎进行分析比较,探讨适合图书馆资源搜索的ElasticSearch的分布式全文搜索系统;其次,提出一套适合图书馆资源知识图谱构建的全流程架构;最后,通过搭建图书馆资源知识图谱的资源库,完成资源从搭建知识图谱到输出的过程,使得搜索资源的准确率得到一定提升。

摘要： Nginx日志详细记录了网站访问信息,可从中了解网站运行实况和用户访问行为,分析Nginx日志,可洞悉业务整体负载情况,帮助优化服务器结构,避免业务安全和运行事故,提升竞争力。基于Elasticsearch,构建日志实时采集、清洗、存储的完整日志处理流程,自主开发Nginx日志分析平台,实现日志实时分析与可视化,并探讨总结了平台自底向上的高可用设计。在实践中应用表明,该平台具有很高的日志分析、业务洞悉能力,能有效指导智能监控运维工作。

摘要： 联合作战训练中的导调人员通过拟制导调文书创设演练环境和战场情况,需要管理大量的文书素材。本文在分析导调人员对导调文书素材管理的使用需求基础上,提出了导调文书素材管理系统,并予以设计实现。系统采用Vue + SpringMVC作为基础框架,具有开发速度快、扩展性能好等优点。系统创新性地在文书素材管理中引入MinIO存储技术和Elasticsearch技术,具有存储速度快、运维成本低等优点,且显著提升了检索效率。系统为训练导调的文书拟制提供了强大的信息化支持。

摘要： 在电力行业,调度工作位于日常工作的核心地位,负责依据各类信息采集设备反馈的数据,及现场监控人员提供的信息,结合电网实际运行的参数,综合考虑各项生产工作的开展情况,由调度员通过电话、传真等方式下达电力调度指令,确保电网持续安全运行。对调度通话进行录音有助于事后还原、查证调度命令发出时的现场情况以及规范调度员的工作,并可用于培训目的。本文设计并实现了一个基于B/S架构的电力调度录音查询系统,提供调度录音,录音文件转文本,输入关键字查询录音记录,表单生成,数据统计等功能,适用于日常的电力调度工作,取得了良好的效果。

摘要： 聊天机器人依据其对话生成技术主要分为检索模型和生成模型,但这两种模型各有优劣。通过设计一种混合检索与生成的混合对话模型,保留了两种模型的优点并尽量避免其缺点。混合模型既具有检索模型的信息性,又具有生成模型的多样性,人机对话更加流畅、生动。使用Elasticsearch搜索服务器大大降低了系统回复生成的时间,回复速度提高了10%。此外,考虑到聊天机器人在对话过程中难以保持一致的个性,采用PostKS(Posterior Knowledge Selection)模型嵌入个性属性,实现了个性化的智能聊天机器人系统。文中提出的混合模型实现了个性化的回复且具有较快的回复速度,更加符合用户的需求。

摘要： 个人敏感信息泄露是目前多发的网络安全事件之一,可能危及人身和财产安全,损害公民名誉和身体健康等.本文通过爬虫技术获取网页内容及附件,然后提取其正文并通过ElasticSearch实现全文索引和查询,实现了个人敏感信息的检测.以手机号码为例,采用不同分词器和查询方式对查询效率进行测试后得出结论:通过自定义分词器进行全文索引并使用正则表达式查询进行个人敏感信息检测具有最高的效率.

摘要： 在复杂多变的Web应用场景下,传统的关系型数据库难以应付大流量高并发的业务需求,而非关系型数据库(Not OnlySQL,NoSQL)具有灵活的数据模型、大数据、高性能高可用等特点,很好地解决高并发访问的性能需求,在许多业务场景下得到了广泛应用。本文首先分析了NoSQL数据库的特点,其次根据Redis和Elasticsearch的优势对网络投票系统的数据库架构进行改造,最后进行对比实验。实验结果证明,该方法有效提高了投票系统的高并发访问性能。

摘要： 本申请涉及数据查询技术领域，揭露一种基于ElasticSearch的日志查询方法、装置、设备及存储介质，其中方法包括：获取用户端所输入的结构化查询语言SQL以及预先配置的配置管理数据库信息；解析结构化查询语言SQL，以获取关键字信息；识别关键字信息中的每个位置上的关键字字符形式，对关键字进行组合排列和封装处理，得到多个ElasticSearch查询语句；解析配置管理数据库信息，以获取ElasticSearch查询范围信息；基于多个ElasticSearch查询语句和ElasticSearch查询范围信息，从ElasticSearch数据库中进行检索，得到查询结果。本申请还涉及区块链技术，查询结果存储于区块链中。本申请通过对结构化查询语言SQL的关键字信息重新适配和组合，进行日志查询，有效提高基于ElasticSearch的日志查询准确性。

摘要： 本发明公开了一种基于Elasticsearch的数据库多表关联查询速度优化方法，包括数据存储层优化、数据同步层优化、数据检索层优化、数据引用层优化、应用层优化、计算查询请求的分页参数，并与分页阈值进行比较，根据比较的结果确定向Elasticsearch发送数据请求的方式，并发送数据查询请求；连接多张数据库表的查询，对多表连接查询的SQL进行抽取。本发明实现数据快速查询，并优化了查询的效率，且对于现有复杂业务数据检索方法的优化，提高了该优化方法的检索效率，同时降低了对硬件需求。

摘要： 本发明公开了一种Elasticsearch与MySQL的联合查询方法，包括以下步骤：获取用户端查询字符串的查询请求；根据所述查询请求生成查询条件；调用驱动器在Elasticsearch数据库和MySQL数据库中查询符合所述查询条件的查询结果；将所述查询结果发送给用户端；其中，在查询Elasticsearch数据库时，合并Elasticsearch数据库中相同别名所包含时间切片索引的映射，将空白索引的空白映射作为所述别名的映射发送至Presto系统。通过定时维护Elasticsearch数据库中别名，建立以时间范围命名的别名的时间切片索引，通过在别名下新建空白索引，以同别名中的其他索引的映射并集作为该空白索引的映射，同时作为该别名的映射告知Presto系统，当Presto系统对Elasticsearch数据库和MySQL数据库进行联合查询，可直接查询到符合查询条件的数据。

摘要： 本发明公开了一种基于Elasticsearch的检测报告搜索方法及装置。本发明通过根据业务场景从元数据库中获取元数据组合来创建业务索引，根据业务索引确定检测报告的索引数据，根据对索引数据设置的分词属性对检测报告进行分词处理来生成词典，根据词典建立倒排索引，使词典与检测报告映射，以在用户输入待搜索数据请求搜索检测报告时，根据拆分待搜索数据得到的各个搜索单词所在的词典与检测报告之间的映射关系，快速搜索到目标检测报告，从而能够支持全文索引，有效提高检测报告搜索效率。

摘要： 本发明公开了一种Elasticsearch的列表分页方法及系统，其中，所述方法包括：设置列表下n页的第一分页参数，其中，所述第一分页参数包括from+size+旧页码+旧页码最后一位唯一排序字段；设置列表上n页的第二分页参数，其中，所述第二分页参数包括from+size+旧页码+旧页码第一位唯一排序字段；根据所述第一分页参数和所述第二分页参数，获取数据信息。解决了现有技术Elasticsearch默认查询数据总量1w，限制分页的深度，影响翻页功能和数据导出的技术问题。

摘要： 本发明提供了基于linux内核块设备加密功能的Elasticsearch加密搜索方法，其对来自用户终端的原始数据进行标识打包后，得到目标文件包，并将其发送到linux内核块设备；利用linux内核块设备的dm‑crypt加密模块根据相应的加密策略，将原始数据加密形成加密数据，以及将加密数据写入到硬盘空间中；当外界终端需要对硬盘空间进行数据访问时，利用linux内核块设备的密钥环进行认证，成功后，将加密数据的数据副本进行解密，再反馈回外界终端；上述方法将对数据的加密和解密都限定在linux内核块设备的内核层上实施，使得数据的加密和解密对于应用层而言是透明的，并且不会对应用层的运行产生任何影响，有效避免应用层发生运行卡顿，并且还提高数据加密和解密的安全性和高效性。

摘要： 本发明涉及一种基于ElasticSearch搜索引擎的软件代码溯源方法，属于软件代码溯源技术领域。该代码溯源方法通过设计索引，代码特征提取，构建起代码特征索引库，为代码溯源提供溯源样本库；通过代码特征提取，代码特征搜索比对和代码相似度计算，完成软件代码溯源。该方法主要是利用ElasticSearch搜索引擎强大的索引和实时搜索能力，以代码文件为单位，在海量软件样本库中快速溯源相似代码，并计算代码相似度，提高代码相似性比对效率，解决海量数据条件下代码快速溯源问题。

摘要： 本发明公开了一种基于ElasticSearch的轨迹碰撞方法，属于计算机数据挖掘技术领域，该方法将不同来源、不同类型的轨迹数据融合到同一个ElasticSearch索引进行关联分析，自定义轨迹碰撞关联查询分析的存储结构和查询分析方法；该方法的实现包括确定轨迹碰撞索引结构、创建索引和轨迹碰撞，所述轨迹碰撞索引结构，对时间、平面空间分别建立索引，并先从时间范围过滤，缩小搜索范围，再从空间范围进行过滤。本发明能够实现快速精准的分析多种轨迹碰撞，可高效获得行为轨迹库中多种轨迹碰撞后的结果集，大大减少了轨迹碰撞模型的资源占用，并提升了计算效率。

摘要： 本发明涉及数据处理技术领域，具体公开了一种基于ElasticSearch的匹配数据的方法，包括如下步骤：基于前台页面接收目标主体的标签，并触发配置页面；对各个数据进行标签分类，并和各个标签的主体进行关联；接收目标标签并触发标签规则生成页面；基于该规则配置目标标签，并存储至Elasticsearch；根据需求查询显示页面，显示各个标签的分类信息及各个分类标签；基于关联信息确定与目标主体关联的数据。通过ElasticSearch来存储标签的值，并使用ElasticSearch进行标签的快速检索，而无需对数据库进行直接搜索，可以提高数据搜索效率，避免影响数据库的性能。

摘要： 本发明公开了一种基于Elasticsearch的大数据分析处理方法及装置，包括以下步骤：步骤1：创建基于Elasticsearch的主数据库，再基于主数据库创建子数据库；步骤2：定义数据类型，将数据输入主数据库，根据定义数据类型使主数据库中的数据自动归类到子数据库；步骤3：识别查询接口对应的Elasticsearch查询语句；步骤4：基于Elasticsearch查询语句调取子数据库中的相关数据；通过基于Elasticsearch创建主数据库，再基于主数据库创建子数据库，然后通过定义数据类型，将数据输入主数据库，根据定义数据类型使主数据库中的数据自动归类到子数据库，进而对数据库中的数据进行属性转换，降低Elasticsearch服务器的处理负载。