多数据源

摘要： 论文针对图书馆日志多数据源且格式多样化导致的日志处理效率低下的问题,提出了基于ELK的日志综合解决方案。该方案首先探讨了日志采集、数据清洗、日志解析的规则和技巧以及基于TF-IDF、SVM算法设计的日志异常检测模型;其次基于提出方案的整体架构,详细地分析了日志采集、存储、可视化、异常检测的整个流程;最后,将该方案应用于中国矿业大学OPAC系统,对读者用户的检索行为、不良用户的攻击行为进行可视化分析。实验结果表明,论文提出的日志管理解决方案,在集群模式下检索性能极其高效,有效地提高了图书馆日志的处理能力。

摘要： 基于多数据源融合挖掘用户的属性特征,为企业开展个性化推荐和精准营销提供了思路和参考。论文以构建多维用户画像为目标,提出了融合多数据源的用户画像构建方法。首先,基于改进的k-means聚类算法针对搜索记录数据和京东评论数据分别建立了用户兴趣特征标签库和用户消费特性标签库;其次,利用word2vec词向量进行相似度计算来获取用户的兴趣偏好和消费偏好;最后,利用多数据源不同偏好之间的关系计算用户偏好系数来获取用户的融合偏好,从而得出融合后的用户画像,验证了融合多数据源构建用户画像方法的可行性。

摘要： 在城市环境低空防御任务中,需要用多种传感器对入侵无人机的位置信息进行探测,针对传感器探测到的位置信息会有偏差的问题,本文提出了一种基于联合概率数据互联算法模型(JPDA)和卡尔曼滤波数据融合算法对多目标进行识别融合,并对多源数据进行融合。

摘要： 为优化数据迁移对多数据源关联查询性能的影响,提出一个多数据源的关联查询优化模型(multi-source association query optimization model,MAQM),使用包装器对需要查询的存储系统进行包装,为用户提供统一的多数据源关联查询接口;提出区域划分策略,以存储系统的关系表为划分粒度,构建基于多数据源关联查询命令的区域有向图,划分出查询子任务.在区域有向图的基础上,对每一种中间结果的可能传输方向建立数据迁移代价模型,确定查询子任务的执行顺序.对比实验结果表明,MAQM相较于Oracle原生关联查询工具ODCH可以平均提升30％-40％的查询性能.

摘要： 针对目前室外气象信息LED大屏数据源单一,显示信息有限的问题,文章设计并实现了一种基于多数据源的气象信息显示系统。以省级CIMISS数据库、自动气象站Z文件及第三方天气API 3种数据为基础,以C/S为主要架构,利用嵌入至客户端的Chromium浏览器内核,实现HTML5页面在WinForm程序中的显示,并将其通过LED矩阵控制器投影至彩色LED大屏幕,最终实现气象信息的综合显示。目前该系统已稳定运行1 a,为公共气象服务提供了新的选择。

摘要： 药物不良反应是疾病治疗过程中一个非常重要的考虑因素,为了指导医生有效避免或减少药物不良反应,提出一种基于多数据源与机器学习的药物副作用预测方法,将患病前后和用药前后基因的表达量变化情况作为解释变量,利用随机森林算法对药物副作用进行预测,发现使用随机森林算法针对5种副作用的测试结果都优于传统的K近邻算法,其中副作用皮疹的测试准确率达到90.24%,相比K近邻算法提升了31.70%。结果表明,利用基因表达量变化情况这一特征可以很好地预测药物副作用,同时也说明副作用的发生和基因表达量变化情况具有很强的相关性。

摘要： 在智能化校园建设的大背景下,高等教育发展离不开教育信息化,而信息化的本质在于数据的治理。数据备份不仅是数据治理中关键的步骤,同时也是数据安全的核心。本文主要介绍了一种多数据源自动备份的解决方案。随着校园的信息化建设不断推进,各个业务系统都在推进信息化建设,之前是每一个业务系统,都需要手动编写一个备份脚本,业务系统逐一进行备份时工作量会变得巨大,管理起来也会变得复杂,对系统的性能要求也会变得更高。

摘要： 随着小微企业的迅速增长,需要设计一套功能灵活、支持多种数据源的会计信息系统来满足不同小微企业账务处理的需求.本文提出的系统设计基于插件架构,根据需求灵活组织功能模块;支持多数据源,支持单机数据库、网络数据库与云存储服务;采用面向对象技术,把会计主体抽象为对象,支持对多个会计主体的账务处理.该系统经过专业会计人员的功能论证与实际操作测试,结果表明该系统设计功能灵活,支持多数据源,支持多个会计主体,适合小微企业进行账务处理.

摘要： 针对目前室外气象信息LED大屏数据源单一,显示信息有限的问题,文章设计并实现了一种基于多数据源的气象信息显示系统.以省级CIMISS数据库、自动气象站Z文件及第三方天气API 3种数据为基础,以C/S为主要架构,利用嵌入至客户端的Chromium浏览器内核,实现HTML5页面在WinForm程序中的显示,并将其通过LED矩阵控制器投影至彩色LED大屏幕,最终实现气象信息的综合显示.目前该系统已稳定运行1 a,为公共气象服务提供了新的选择.

摘要： 少数民族文化是少数民族在生产创造过程中形成的文化,对其进行挖掘保护和利用不仅能够促进民族团结、提升民族自信,更是坚定文化自信建设的重要途径.该文利用少数民族文化资源数据,以少数民族作为切入点构建少数民族文化知识图谱,为弘扬和保护民族文化提供新的技术实现手段和研究方向.提出了少数民族文化知识图谱构建模型.首先,利用本体构建工具对少数民族文化概念、关系以及属性进行本体库构建;然后,利用网络爬虫获取与少数民族文化有关的半结构化、非结构化数据,针对获取的不同类型数据进行实体、关系和属性的抽取;最后,利用Neo4j图数据库存储构建好的少数民族文化知识图谱.并在该知识图谱的基础上开发了少数民族文化可视化查询平台,用于自助查询和动态展示查询结果中实体和关系等信息.本研究为弘扬和保护少数民族文化提供了新的方法,搭建的可视化查询平台为广大用户提供了较为直观、易用的查询工具,极大的提升了用户体验.

摘要： 为解决医疗过程中数据孤岛的问题，本文提出基于本体的全局知识库，将医疗过程中的多数据源与全局本体知识库相匹配，从而达到数据集成、系统集成的目的。本文分析了多数据源的构成，并给出医疗过程本体知识模型，计算多数据源与全局本体之间的相似度，实现数据与本体之间的映射集成。

摘要： 本文针对智能用电服务系统多数据源信息实时处理困难的现状,引入复杂事件处理技术,提出了基于复杂事件处理技术的智能用电服务系统多数据源信息实时处理方法.首先分析了电力系统多数据源信息的特点,提出了电力系统事件的基本格式;其次在对多种电力系统事件格式分析的基础上,提出了基于XML的电力系统事件格式的制定和生成方法;然后引入复杂事件处理技术,提出了电力系统复杂事件的处理和生成方法;最后结合面向服务的思想,提出了基于复杂事件处理技术和面向服务思想的智能用电服务系统多数据源信息实时处理的系统架构和解决方案.

摘要： 在Lucene的全文检索机制基础上,将可处理的文档类型进行了扩展,解决了多种类型文档以及多媒体文件的中文全文索引技术,从而建立了多数据源全文检索系统。

摘要： 研究并开发了一个在线运行的电网调度报表系统。分析了系统在线运行的需求，并介绍了多数据源获取方式；总结出一种自动智能识别规则，着重介绍了调度报表系统的数据处理方式以及保障数据一致性的手段。该系统在另一方面扩展了电能量计量系统数据的应用，将调度运行人员从繁杂的报表数据解脱出来。该系统应应用于安徽电网，运行良好。

摘要： 在原有基于B/S(浏览器/服务器)结构的天津市电力公司电能质量管理信息系统的基础上,采用C/S(客户机/服务器)和B/S相结合的体系结构,充分发挥了C/S结构与B/S结构的优点,扩展实现了多数据源兼容及可扩展的设备接口、多线程机制、可视化图形操作、局域网监控等技术.描述了系统设计思路,介绍了系统主要子系统的功能及相关技术特点.

摘要： 在原有基于B/S(浏览器/服务器)结构的天津市电力公司电能质量管理信息系统的基础上,采用C/S(客户机/服务器)和B/S相结合的体系结构,充分发挥了C/S结构与B/S结构的优点,扩展实现了多数据源兼容及可扩展的设备接口、多线程机制、可视化图形操作、局域网监控等技术.描述了系统设计思路,介绍了系统主要子系统的功能及相关技术特点.

摘要： CAN总线业已成为小卫星星载信息网络的主要构成模式，本文在此提出了一种面向多擞据源的大容量CAN网络数据存储节点.该节点既可以作为单纯的CAN总线大容量数据存储设备，也可以用于监视并记录CAN总线上的数据交互并在过境时对数据进行回放和下传。本文以某一典型应用为例，给出了其硬件框架和信息流模型，并以需求分析、模块划分、模块设计、模块实现、迭代设计、集成调试顺序对该设备的设计思路和实现方法进行了详细阐述。

摘要： 本文在综合分析当前IDS的现状的基础上,对现有IDS技术和方法进行了分析和比较。并针对当前IDS存在的误报、漏报、可视化程度低等问题,提出了一个支持多数据源的NAADS,并使用了聚类分析、关联分析、可视化展现等一系列方法,提高了NAADS的检测效率和可用性。

摘要： 建立土地境界接边管理系统,为第二次土地调查快速、准确的提供行政界线和辖区椭球控制面积,同时更好的管理土地境界数据成果。

摘要： 建立土地境界接边管理系统,为第二次土地调查快速、准确的提供行政界线和辖区椭球控制面积,同时更好的管理土地境界数据成果。

摘要： 本申请公开了一种多数据源数据的处理系统以及多数据源数据的处理方法，涉及计算技术领域，可实现对多数据源数据的统一处理，降低数据维护成本。所述系统采用分时、分布式设计，所述系统包括：任务管理模块、采集引擎模块、数据处理模块；所述采集引擎模块，一端与所述任务管理模块连接，另一端与不同数据源会话连接，用于接收所述任务管理模块下发的数据采集指令，并响应于所述数据采集指令采集目标数据；所述数据处理模块，一端与所述任务管理模块连接，另一端与所述采集引擎模块连接，用于在所述采集引擎模块提取所述目标数据，在所述任务管理模块拉取与所述目标数据匹配的数据处理规则，并利用所述数据处理规则格式化处理所述目标数据。

摘要： 本发明提供一种基于多数据源配置的动态切换数据源方法及系统，首先创建目标数据库，并初始化目标数据；修改配置文件，并自定义配置项，控制多数据源配置的开闭；根据设置的配置文件动态切换数据源。本发明在面对多数据源的时候，可以分别为每个数据源写一个mybatis的config类，使其每个DataSource都拥有一个只属于自己的SessionFactory，这样就可以根据各自的mapper(dao)映射目录找到对应的mybaits实例，具体的数据源的切换是通过在service层自定义的注解选择需要的数据源，并且通过MultiSourceExAop类切换需要使用的数据源。

摘要： 本申请属于大数据技术领域，特别涉及一种多数据源的数据库迁移系统构建方法和数据库迁移方法。包括：基于所述第一数据库的SSM框架，创建所述第二数据库的数据源配置信息和持久层；创建持久选择层；配置第一开关，所述第一开关用于控制所述持久选择层的调用对象选为所述第一数据库中持久层的方法或所述第二数据库中持久层的方法；对所述第一数据库和所述第二数据库的数据源进行配置，以指定所述持久层所使用的数据源；将所述至少两个第一数据库的数据与所述第二数据库进行同步；将所述SSM框架的业务层中调用持久层的位置替换为所述持久选择层。上述的方法、装置和计算机设备可完成对多数据源的数据库的迁移，从而使得数据库迁移工作更加简单灵活。

摘要： 本申请公开了一种支持数据预处理的多数据源可配置MongoDB数据同步系统、电子设备及介质。其中，通过应用本申请的技术方案，可以实现单MongoDB数据源向多数据源数据同步以及多MongoDB数据源向多数据源数据同步，内置文档管理模块支持主流数据源，同时也支持自定义文档管理模块，减少不同数据源使用多种同步方法，简化系统，提升同步文档的效率。

摘要： 本发明公开了基于数据监控的多数据源数据关联方法和装置，方法包括：利用数据库连接信息和根据数据库类型所读取的驱动包向对应的数据库发起连接测试；保存该数据库连接信息并读取该数据库中的表结构信息；从表结构信息中筛选出需要进行监控的数据表并读取数据表中的字段信息，从字段信息中筛选出需要进行监控的字段，将筛选出的字段标记为待监控字段；重复执行S1-S3，以保存多个数据库连接信息，并从多个数据库中筛选出待监控字段；针对当前待监控字段选择预设的监控规则，并设置该监控规则的参数。本发明通过读取多个数据库中的数据，将需要被监控的字段标记为待监控字段，在设置监控规则时，只列出待监控字段，有利于用户选择。

摘要： 本发明公开多数据源元数据终端查询快速比对方法及系统，涉及信息检索技术领域。本发明获取每个数据源内每个元数据的网络存储地址；获取每个数据源内每个元数据的固定长度的数字摘要；将元数据的网络存储地址以及对应的数字摘要存储至第一检索数据库；获取数字摘要在第一检索数据库中的物理地址；按照数字摘要的字符串大小顺序将数字摘要在第一检索数据库中的物理地址进行顺序排列，将数字摘要与对应的物理地址存储至第二检索数据库；获取查询终端发送的查询指令，生成指向元数据的超链接，得到多个元数据的数字摘要；根据多个元数据的数字摘要对查询指令对应的多个元数据进行一致性比对。本发明有效提高元数据的查询对比效率。

摘要： 本发明公开了一种多数据源的数据同步方法、系统、设备及介质，该数据同步方法包括预设周期内接收原始数据；基于增量数据标识和/或全量数据标识从初始数据源中获取至少一个目标数据源；依次对所有目标数据源进行数据同步并存储于同步数据库。本发明实现了耗时稳定的高效的秒级数据同步，满足了同时兼容全量型的大数据、增量型的小数据的获取和数据同步的业务需求。

摘要： 本发明公开了基于动态多数据源的数据库适配装置及方法，属于数据库技术领域，要解决的技术问题为如何解决动态对接多源数据执行开发复杂度高。包括：内存数据库，用于存储数据源信息；数据库关键字库，用于存储已适配数据库类型的所有关键字；语法差异库，用于存储语法差异，所述语法差异为关系型数据库之间语法内容的差异；语法适配器，用于基于数据库信息获取数据库类型，并基于数据库类型对SQL语句进行语法解析和转换，得到适配SQL语句；SQL执行器，所述SQL执行器与所述语法适配器交互，用于基于数据库类型加载驱动对应的数据库，数据库执行适配SQL语句后，输出执行结果。

摘要： 本申请提供一种多数据源的数据处理方法、设备及存储介质，涉及数据处理技术领域。该数据处理方法包括：根据预设数据提取策略以及数据源的数据库类型，对数据源进行内容提取，获取提取数据；根据提取数据的数据类型以及预设过滤策略，获取过滤后的数据；采用预设分析策略，对过滤后的数据进行分析匹配，获取符合预设分析策略要求的内容并进行存储。从而提高了数据处理精度，降低了服务器的消耗。

摘要： 本申请公开了一种基于多数据源的数据处理方法、装置、存储介质和设备，在接收到用户输入的数据操作指令的情况下，对数据操作指令进行解析，得到数据操作指令的意图。对于每个数据库，依据数据库的SQL语法，对数据操作指令进行语法转换，得到可被数据库识别的操作语句。在意图为查询数据、删除数据以及修改数据中的任意一项的情况下，触发每个数据库执行可被每个数据库识别的操作语句，并接收每个数据库反馈的执行结果。利用本申请所示方案，当业务系统进行数据库更替时，无需对新的数据库进行定制化开发，也无需将原有数据库中的数据迁移到新的数据库中，从而避免浪费大量时间去进行数据库更替，避免因数据迁移而导致数据丢失的现象发生。