14.【转载】Kafka事务特性详解
[TOC]前言Kafka在0.11版本中除了引入了Exactly Once语义，还引入了事务特性。Kafka事务特性是指一系列的生产者生产消息和消费者提交偏移量的操作在一个事务中，或者说是一个原子操作，生产消息和提交偏移量同时成功或者失败。一、Kafka事务的使用Kafka中的事务特性主要用于以下两种场景：生产者发送多条消息可以封装在一个事务中，形成一个原子操作。多条消息要么都发送成功，要么...
13.Zookeeper在Kafka中的作用
[TOC]前言本篇针对的是2.8版本之前的Kafka,2.8版本及之后Kafka已经移除了对Zookeeper的依赖，通过KRaft进行自己的集群管理,不过目前只是测试阶段。一、概述Apache Kafka是一个使用Zookeeper构建的分布式系统。Zookeeper的主要作用是在集群中的不同节点之间建立协调；如果任何节点失败，我们还使用Zookeeper从先前提交的偏移量中恢复，因为它做...
12.Kafka之offset介绍
[TOC]一、概述1.1 概念消费者消费完了消息是不会被立刻删除的,每个消费者把消费的数据消费到哪里了就需要做个记录,就是offset。1.2 版本Kafka 0.9版本之前，consumer默认将offset保存在Zookeeper中，从0.9版本开始，consumer默认将offset保存在Kafka一个内置的topic中，该topic为"__consumer_offsets" 。__c...
11. Kafka消费者分区分配策略
[TOC]前言在本节开始之前，可以先了解一下上一节内容Kafka重平衡机制。一、消费者分区分配策略作用一个consumer group 中有多个consumer，一个 topic 有多个partition，所以必然会涉及到partition 的分配问题，即确定哪个partition 由哪个consumer 来消费。 Kafka 有三种分配策略：RoundRobin（轮询）Range（范围）S...
10.【转载】Kafka重平衡机制
[TOC]前言当集群中有新成员加入，或者某些主题增加了分区之后，消费者是怎么进行重新分配消费的？这里就涉及到重平衡（Rebalance）的概念，下面我就给大家讲解一下什么是 Kafka 重平衡机制，我尽量做到图文并茂通俗易懂。一、重平衡的作用重平衡跟消费组紧密相关，它保证了消费组成员分配分区可以做到公平分配，也是消费组模型的实现，消费组模型如下：从图中可以找到消费组模型的几个概念：同一个消费...
09.Kafka消费过程分析
[TOC]一、消费者模型1.1 概念消息由生产者发布到Kafka集群后，会被消费者消费。消息的消费模型有两种：推送模型（Push）拉取模型（Pull）。1.2 推送模型（push）基于推送模型（push）的消息系统，有消息代理记录消费者的消费状态。消息代理在将消息推送到消费者后，标记这条消息已经消费，但这种方式无法很好地保证消费被处理。如果要保证消息被处理，消息代理发送完消息后，要设置状态为...
08.Kafka生产者数据可靠性保证
[TOC]一、数据可靠性保证为保证 producer 发送的数据，能可靠的发送到指定的 topic，topic 的每个 partition 收到 producer 发送的数据后，都需要向producer发送 ack（acknowledgement 确认收到），如果 producer 收到 ack，就会进行下一轮的发送，否则重新发送数据。1.1 副本数据同步策略方案优点缺点半数以上完成同步，就...
中秋随笔
日期：2021年9月21日，阴历八月十五今天是中秋节，没错又是一个人，节日的欢庆也只有透过屏幕才能感受到。本站从2019年10月14日建站，到现在已经快有两年时间，在这两年中也在本站整理和发布了一些技术类文章。也有一些自己的感受，想分享给大家。建站初衷如果有人想问博主的建站初衷是什么，其实回想起来也没那么复杂。一次偶然的机会发现自己名字全拼域名lilinchao.com没有被注册当时一时兴奋...
07.Kafka生产者分区策略
[TOC]前言查阅了一些资料和看了许多网上的文章，总觉得没有把Kafka生产者分区策略给讲明白，本篇将围绕以下问题步步深入来对文章进行展开。为什么需要生产者分区策略生产者分区策略有哪些不同分区策略有哪些优点和缺点如何进行自定义分区策略一、生产者发送消息流程说明（1）新建ProducerRecord对象，包含目标主题和要发送的内容，也可以指定键或分区；（2）发送ProducerRecord对象...
