Kafka

摘要： 近年来随着配电网运维智能化程度越来越高,大量的运维数据通过互联网实时交互,如何利用好这些数据为客户服务,同时降低企业运营成本显得十分重要,尤其须要解决实时分析、存储和反馈海量配网数据的问题。文章提出通过大数据技术Kafka、Redis、InfluxDB、Flink搭建配网数据中心,采用跨Android和IOS平台技术的Flutter开发移动APP的方式。该方式经验证,读写百万量级数据时间是秒级、实时计算时间是毫秒级,不仅降低了配网运营过程中的时间成本,还丰富了配网运行数据的查询手段。

摘要： 公交车辆运行数据的实时完整准确,是满足市民出行信息需求、公交企业运营管理需要的重要保障。智能调度GPS系统数据实时性强、数据量大、对接系统多,研究利用大数据技术实现公共交通企业海量GPS数据的实时处理具有非常重要的意义。本文基于分布式发布-订阅消息系统(Kafka)技术设计公交GPS数据实时通讯系统,采用分布式消息队列处理海量并发数据,对平台技术选型和系统架构进行了介绍,并通过系统实际应用验证系统对高吞吐并发数据流的应对处理能力。

摘要： 本文对数据采集工具flume、Kafka进行简单介绍、分析研究和应用,对flume+Kafka的组合优势和原理进行阐述分析。本文通过多种flume和Kafka组件种类的组合,在日志采集系统上的应用进行了分析,并对channel组件吞吐速率和容错率之间的矛盾进行讨论研究。数据采集已成为大数据产业的重要组成部分,而日志文件逐渐成为数据分析的主要来源之一。日志文件生成速度快、来源广,使得实时日志采集系统的开发与更新变得至关重要。分布式日志采集系统正在朝着负载均衡、高容错、高可靠的方向发展。

摘要： 为满足山东省气象预报、公共服务等气象业务对海量气象数据访问需求和毫秒级响应的时效需求,基于数据库变更日志Binlog和分布式消息服务Kafka技术,在省级气象大数据云平台中设计了一套气象数据同步框架,并通过存储管理系统(SOD)进行策略配置,解决了原有CIMISS数据环境在规模和性能上的服务瓶颈。实践证明:基于Binlog+Kafka的气象数据同步效率可达110000条/s,耗时延迟毫秒级,有效支撑了全省气象业务系统对海量气象数据的时效需求。

摘要： 随着信息时代的发展,许多餐厅将美食上传到互联网平台供消费者选择,面对大量美食,消费者往往陷入选择困难的场景之中。针对上述问题,基于用户协同过滤算法,利用大数据流计算引擎Flink实现了一款实时智能餐饮推荐系统。系统前后端设计分离,前端使用Thymeleaf和BootStrap等技术,后端使用Spring Boot框架,集成Kafka、Redis、MySQL等组件。Spring Boot负责处理用户的请求,评分数据录入MySQL,前端将采集到的数据清洗后交付Kafka消息队列,Kafka将信息传递给Flink进行流计算分析,实时计算结果放入Redis数据库,供Spring Boot和Thymeleaf使用。最终实现用户登录注册、热门美食推荐、个性化美食推荐功能。

摘要： 针对政企客户越来越高的话务保障要求,通过Kafka开源组件以及编写java程序,提出了一种完全实时监控客户话务路由以及快速处理的实现方式,能够快速、准确地处理政企客户双路由话务保障的各种问题。

摘要： 实时气象卫星数据存在多源异构、高时效性等特点,使得气象部门不易及时发现实时卫星数据在传输过程中的各种问题,对下游实时卫星数据用户的服务也有一定影响。为了提高对实时气象卫星数据的监视能力,基于Rest API、Kafka消息队列、Spark Streaming、Redis缓存等大数据技术在国家级气象业务环境中搭建了实时卫星数据监视流程,对卫星数据进行统一编码,从而实现对全球各种实时卫星数据根据不同来源、不同卫星、不同仪器进行精细化的全流程监视,并基于气象大数据云平台、气象综合业务实时监控系统等业务系统增加了监视告警功能。

摘要： 在有海量消息数据上报和处理的物联网设施管理系统中添加Kafka消息中间件能够异步地传输消息,增加了微服务系统的灵活性和可扩展性,但其带来的影响比如延时和资源消耗也是实际运用中需要考虑的.论文提出了一种基于优化KafkaProducer中Serializer接口的内存分配的改进方案,降低了添加Kafka消息中间件造成的额外资源消耗,为Kafka的应用打下了基础.

摘要： 在信息化时代,人们越来越重视数据的价值.从最初的记录、统计到现在的分析、预测,人们不断地研究其中的规律,但网络的普及、企业的增多使得数据量已经多到难以筛选、难以处理的地步,单纯的靠人工和软件工具已经无法及时、精确地处理这些大批量数据.依据主流大数据技术,针对如上问题,使用Flume获取离线日志信息,通过Kafka接收实时消息,继而用Spark技术处理数据并用Hue监管集群处理数据状况,最终将数据汇总并以图表形式直观展示.

摘要： 本文对生产运营协同调度系统进行了研究。生产运营协同调度系统以"煤电路港航油化一条龙"运营核心与"产运销储用"关键环节,针对日常值守相关的世界一流、集团总览、调度生产指挥总图、一体化运营监督、产业板块运营监视、产运销储用大协同、四重一要等主题,进行数据获取、整合、展示的统筹设计,完成大屏可视化系统建设。笔者在此项目中负责研究后台万亿级数据量清洗与标准化、万亿级数据承载分布式环境搭建工作,并应用于实践。

摘要： 本发明公开了一种基于Kafka收集分布式系统数据链路的方法，其包括如下步骤：接入数据及分类处理，并对预设的数据传入Kafka动态主题中；根据Kafka动态主题，对传入的数据进行分发处理校验；若通过格式校验，数据回滚至分发到Kafka数据动态主题，然后再次供平台接入进行数据消费，在原数据异常节点进行重新操作，再次根据校验消费组和对应设定的数据格式进行数据判断，通过校验，则数据实现恢复。精准的选定出哪些需要回滚处理的数据，提高数据处理速度。

摘要： 本发明公开了一种提高Kafka消费能力的处理方法、系统及计算机存储介质。其中，该方法包括：将当前所述Kafka中的所有数据经多个消费者线程后存放到第一阻塞队列中；将所述第一阻塞队列中的数据送入到线程池中进行数据处理；获取第二阻塞队列中的生产者实例，并将数据处理后的所述数据根据所述生产者实例送入下一个Kafka中。通过将当前Kafka中的所有数据经多个消费者线程后存放到第一阻塞队列中，相较于现有技术中Kafka中的所有数据经多个消费者线程后进行复杂的业务处理，大大提高了数据的消费速率；通过设置线程池从第一阻塞队列中获取数据，并且设置线程池中线程的最大并发数，可以大大提高数据的消费速率；通过设置第二阻塞队列，实现生产者的多线程写入。

摘要： 本发明提供一种Kafka中间件集群参数的修改方法、装置以及存储介质，所述方法包括启动预判参数执行功能，其中所述预判参数用于参与判断节点是否正常，且若节点正常时，通过所述预判参数来检验待修改参数的修改；在待处理集群中执行所述预判参数，若所述待处理集群中均存在所述预判参数，则循环待处理集群对应状态正常的节点修改所述待修改参数。本发明通过预判参数确保节点在正常状态下对待修改参数进行修改，从而在集群状态不正常的情况下，实现了准确及时地集群参数修改，还可以用户根据自己的实际情况，来决定是否修改集群的参数，从而满足用户需求。提升Kafka中间件集群性能。

摘要： 本发明公开了一种基于Kafka与OkHttp的一站式实时交易推送系统，包括以下：一、获取商户实时交易信息，系统汇总收集处理：提供给省公司一个获取商户实时交易数据的入口，用于多维度的交易数据的使用；二、对获取到的交易数据进行处理，推送实时交易数据：对获取到的商户交易数据进行敏感字段加密、过滤，交易状态等处理，将获取的实时交易数据根据商户或用户的归属省份将对应的交易数据实时下发到给省前置。本发明可在最大限度保证商户隐私的情况下，提供给公司多渠道、多维度的商户数据下发，数据维护功能；可以解决目前多系统独立建设情况下交易数据散落，客户管理困难、拓展困难等问题。

摘要： 本申请公开了一种kafka集群的健康状态检测方法、系统、装置及介质，涉及数据处理领域。该方案中，每隔预设时间段获取待检测的kafka集群的环境信息，以确定kafka集群的配置节点数量；通过zookeeper集群获取待检测的kafka集群中的当前节点数量；通过判断配置节点数量与当前节点数量是否相同，以确定是否存在处于掉线状态的节点；若存在，则分别对所有节点进行检测，以定位处于掉线状态的节点。可见，本申请中可以自动实现对kafka集群的故障检测和定位，无需人工手动干预，缩短了检测时长，避免由于人工导致的出错率高。

摘要： 本发明提供了一种基于kafka的大数据报表统计的测试方法，所述测试方法为：步骤S1、通过kafka可视化工具配置所需的集群地址，进行数据监控，获取对应kafka集群地址内每个topic数据格式；步骤S2、通过预设立配置接口对获得的数据格式、kafka地址、topic名称进行数据配置，并根据实际场景用户数据进行脚本化，形成一测试脚本；步骤S3、执行测试脚本，对kafka进行推送用户行为产生模拟数据上报，并对所制造的推送模拟数据进行数据存储记录；步骤S4、使用数据清洗接口对已入库的数据进行清洗；步骤S5、通过脚本调用查询接口针对清洗结果进行查询，使用测试脚本对返回数据结果进行格式校验，并把推送时的模拟数据和统计后的数据进行数据比，提升了测试效率。

摘要： 本申请实施例提出了一种针对kafka集群的磁盘保护方法及相关设备，其中，上述磁盘保护方法中，轮询kafka集群中所有存储服务器的磁盘容量；当任一存储服务器的磁盘容量达到保护阈值时，获取分区分布信息，对每一个存储服务器，查询所述存储服务器的数据目录，按照占用空间由大到小的顺序找出第一预设数量的段文件；对每一个段文件，获取所述段文件所属的主题及分区，依据所述分布信息判断所述段文件所属的分区是否为主分区；当所述段文件所属的分区为主分区，按照预设比例清理所述段文件所属的分区下的段文件，从而保证了磁盘的可用容量，从而使得kafka系统在出现突发流量时，磁盘空间不会出现过载问题，保证了kafka服务的高可用。

摘要： 本发明提供了一种从kafka向数据库同步数据的方法，包括：S1、从数据库查询进度表得到原始数据对应的消费进度；S2、根据消费进度从kafka中读取数据，并对读取的数据进行解析；S3、数据解析后，判断数据的操作类型，对不同操作类型的数据进行攒批操作，构造sql语句；S4、在数据库中执行sql语句，向进度表写入消费进度，并判断数据库执行结果是否正确；若数据库执行结果正确，则数据库执行提交操作；若数据库执行结果错误，数据库执行回滚操作，循环至步骤S2。本发明在用户对数据库有并发查询业务时，通过攒批集中处理，保证了用户正常业务使用计算资源，保证了数据的高同步性，同时在保证了数据结果的准确性，也保持较高的数据处理速度。

摘要： 本发明涉及数据传输技术领域，且公开了一种基于kafka实时发电数据采集传输及数据监控的方法，包括应用于多源异构电站发电数据的收集计算和多源存储介质传输。该一种基于kafka实时发电数据采集传输及数据监控的方法，通过设置核心引擎的智能调度任务、动态更新调度配置和动态同步数据收集或计算配置、数据收集引擎智能收集解析发电数据、数据消计算引擎多线程批量计算多维度发电数据到多源存储介质中和核心引擎智能进行数据补偿，能够解决多源异构异构型电站发电数据种类繁多而数据不能统筹管理和优化了解析发电数据计算固化、多源电站发电数据异构的问题，并提供日志监控，以监控任务在执行过程中的执行的情况。

摘要： 本发明公开了一种基于DB轻量级KAFKA管理及定时任务队列系统，kafka工具包，微服务消息生产者集群、微服务消息消费者集群、kafka信息管理服务集群、kakfa定时延迟任务服务集群和自动预警平台；kafka工具包插入到移动终端，用户请求启动kafka工具包的同时，微服务消息生产集群和微服务消息消费者集群也同时启动；并且在微服务消息生产集群和微服务消息生产者集群两者启动之前，kafka工具包向kafka信息管理服务集群申请校验主题；kafka信息管理服务集群通过kafka工具包的校验接口，利用超文本传输协议调用校验接口并验证使用的主题是否在kafka集群信息库中，如果不在则该主题为非法，kafka工具包将被禁止启动，若校验成功，则kafka工具包则可正常使用。