08.Kafka生产者数据可靠性保证
[TOC]一、数据可靠性保证为保证 producer 发送的数据，能可靠的发送到指定的 topic，topic 的每个 partition 收到 producer 发送的数据后，都需要向producer发送 ack（acknowledgement 确认收到），如果 producer 收到 ack，就会进行下一轮的发送，否则重新发送数据。1.1 副本数据同步策略方案优点缺点半数以上完成同步，就...
07.Kafka生产者分区策略
[TOC]前言查阅了一些资料和看了许多网上的文章，总觉得没有把Kafka生产者分区策略给讲明白，本篇将围绕以下问题步步深入来对文章进行展开。为什么需要生产者分区策略生产者分区策略有哪些不同分区策略有哪些优点和缺点如何进行自定义分区策略一、生产者发送消息流程说明（1）新建ProducerRecord对象，包含目标主题和要发送的内容，也可以指定键或分区；（2）发送ProducerRecord对象...
06.Kafka文件存储机制
[TOC]一、文件结构说明Kafka 中消息是以 topic 进行分类的，生产者通过 topic 向 Kafka broker 发送消息，消费者通过 topic 读取数据；topic 在物理层面又能以 partition 为分组， 一个 topic 可以分成若干个 partition；partition 还可以细分为 segment，一个 partition 物理上由多个 segment 组...
05.Kafka架构和工作流程
05.Kafka架构和工作流程一、基础架构说明生产者Producer A、Producer B用来生产消息（消息既数据）Kafka集群(Kafka Cluster)Kafka Cluster是用来暂存消息；Broker 1、Broker 2、Broker 3启动了Kafka进程的三台服务器，组成了一个Kafka集群；Topic A、Topic B是Kafka当中的主题,对Kafka中的消息做...
04.Kafka安装教程
04.Kafka安装教程前言本次安装的是目前最新版2.8.0，单机版安装，安装环境CentOS7.X。一、准备阶段安装JDK环境，要求最好是JDK1.8以上版本安装Zookeeper环境，详情可以参考：CentOS7 Zookeeper安装教程二、下载Kafka2.1 下载地址https://kafka.apache.org/downloads2.2 下载Kafka版本本次下载的是最新版Ka...
03.Kafka的版本号
03.Kafka的版本号前言版本命名规则：四位版本号：MajorVer.MinorVer.ReleaseVer.BuildVer (如 0.7.0.8)MajorVer 表示主版本号，当前还在开发阶段，为 0。MinorVer 表示副版本号，ReleaseVer 表示发布版本号，目前是 7.0。BuildVer 表示构建编号，以后每次构建都会自动加一，以标识每一个具体的版本。三位版本号：Ma...
02.Kafka常用命令
02.Kafka常用命令一、Broker1.1 启动Kafkabin/kafka-server-start.sh --daemon config/server.properties-–daemon：以守护进程的方式启动1.2 查询进程jps -l1.3 停止Kafkabin/kafka-server-stop.sh config/server.properties二、Topic2.1 创建T...
