04.Kafka安装教程

04.Kafka安装教程前言本次安装的是目前最新版2.8.0,单机版安装,安装环境CentOS7.X。一、准备阶段安装JDK环境,要求最好是JDK1.8以上版本安装Zookeeper环境,详情可以参考:CentOS7 Zookeeper安装教程二、下载Kafka2.1 下载地址https://kafka.apache.org/downloads2.2 下载Kafka版本本次下载的是最新版Kafka_2.12-2.8.0.tgz,直接点击下载即可。下载完成后直接上传到服务器即可。也可以通过如下命令直接在服务器端下载[root@hadoopserver sources]# wget http...

大数据 2021-08-20 AM 1868℃ 0条

03.Kafka的版本号

03.Kafka的版本号前言版本命名规则:四位版本号:MajorVer.MinorVer.ReleaseVer.BuildVer (如 0.7.0.8)MajorVer 表示主版本号,当前还在开发阶段,为 0。MinorVer 表示副版本号,ReleaseVer 表示发布版本号,目前是 7.0。BuildVer 表示构建编号,以后每次构建都会自动加一,以标识每一个具体的版本。三位版本号:Major.Minor.Patch(如2.1.3)Major表示大版本,通常是一些重大改变,因此彼此之间功能可能会不兼容,目前为2Minor表示小版本,通常是一些新功能的增加,目前为1Patch表示修订版...

大数据 2021-08-19 AM 1440℃ 0条

【转载】Spring Boot在启动时进行配置文件加解密

Spring Boot Application事件和监听器寻找到application.yml的读取的操作。从spring.factories 中查看到# Application Listeners org.springframework.context.ApplicationListener=\ org.springframework.boot.context.config.ConfigFileApplicationListener,\ConfigFileApplicationListener 该对象对application.yml进行读取操作ConfigFileApplication...

Java 2021-08-18 AM 1091℃ 0条

CentOS7.X安装Scala2.12.10教程

CentOS7.X安装Scala2.12.10教程前言如果需要研究Spark或者Kafka都需要安装Scala环境。本次安装的Scala版本是2.12.10。一、安装步骤1.1 下载软件[root@hadoopserver sources]# wget https://downloads.lightbend.com/scala/2.12.10/scala-2.12.10.tgz1.2 拷贝并解压# 将scala安装包拷贝到/usr/local目录下 [root@hadoopserver sources]# cp scala-2.12.10.tgz /usr/local/ # 解压安装包 ...

大数据 2021-08-16 AM 999℃ 0条

02.Kafka常用命令

02.Kafka常用命令一、Broker1.1 启动Kafkabin/kafka-server-start.sh --daemon config/server.properties-–daemon:以守护进程的方式启动1.2 查询进程jps -l1.3 停止Kafkabin/kafka-server-stop.sh config/server.properties二、Topic2.1 创建Topicbin/kafka-topics.sh --zookeeper localhost:2181 --create --topic frist --partitions 2 --replicati...

大数据 2021-08-14 PM 1001℃ 0条

【转载】01.初识Kafka

【转载】01.初识Kafka一、什么是KafkaKafka 是由 Linkedin 公司开发的,它是一个分布式的,支持多分区、多副本,基于 Zookeeper 的分布式消息流平台,它同时也是一款开源的基于发布订阅模式的消息引擎系统。二、Kafka的基本术语消息:Kafka 中的数据单元被称为消息,也被称为记录,可以把它看作数据库表中某一行的记录。批次:为了提高效率, 消息会分批次写入 Kafka,批次就代指的是一组消息。主题:消息的种类称为主题(Topic),可以说一个主题代表了一类消息。相当于是对消息进行分类。主题就像是数据库中的表。分区:主题可以被分为若干个分区(partition)...

大数据 2021-08-14 PM 947℃ 0条

Git概述

Git概述一、Git简介概念Git是一个开源的分布式版本控制系统,可以有效、高速的处理从很小到非常大的项目版本管理。Git 是 Linus Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件。官网地址:https://git-scm.com/特点优点适合分布式开发,强调个体;公共服务器压力和数据量都不会太大;速度快、灵活;任意两个开发者之间可以很容易的解决冲突;离线工作缺点代码保密性差,一旦开发者把整个库克隆下来就可以完全公开所有代码和版本信息;权限控制不友好,如果需要对开发者限制各种权限的建议使用SVN二、Git的工作区域和流程工作区域介绍工作区(w...

工具 2021-08-09 PM 1199℃ 0条

四、Stream流List和Map互转

四、Stream流List和Map互转前言本篇介绍Stream流List和Map互转,同时在转换过程中遇到的问题分析。一、Map转List1.1 分析按照默认顺序mapToList.entrySet().stream().map(a -> new User(a.getKey(), a.getValue())).collect(Collectors.toList());根据key排序mapToList.entrySet().stream().sorted(Comparator.comparing(a -> a.getKey())).map(a -> new User(a....

Java 2021-07-28 PM 1899℃ 0条

MySQL按照日期统计报表

MySQL按照日期统计报表前言这篇文章主要介绍了mysql按照天统计报表当天没有数据填0的实现方法,需要的朋友可以参考下一、问题复现按照天数统计每天的总数,如果其中有几天没有数据,那么group by 返回会忽略那几天,如何填充0?如下图,统计的10-3~10-10 7天的数据,其中只有8号和10号有数据,这样返回,数据只有2个,不符合报表统计的需求。期望没有值填02.按天分组我们用一组连续的天数作为左表然后left join 要查询的数据 最后group by.:连续天数表 t1 left join 业务数据 t2 group by t1.day ,如下:SELECT t1.`day...

其它 2021-07-23 PM 1429℃ 0条

10.【转载】SparkSQL之Join实现介绍

[TOCM]10.【转载】SparkSQL之Join实现介绍前言​ 在阐述Join实现之前,先简单介绍SparkSQL的总体流程,一般地,我们有两种方式使用SparkSQL, 一种是直接写sql语句,这个需要有元数据库支持,例如Hive等,另一种是通过Dataset/DataFrame编写Spark应用程序。 如下图所示,sql语句被语法解析(SQL AST)成查询计划,或者我们通过Dataset/DataFrame提供的APIs组织成查询计划, 查询计划分为两大类:逻辑计划和物理计划,这个阶段通常叫做逻辑计划,经过语法分析(Analyzer)、 一系列查询优化(Optim...

大数据 2021-07-16 PM 1511℃ 1条