Scala稀疏数组练习

Scala稀疏数组练习

18.Scala稀疏数组练习一、概念当一个数组中大部分元素为 0,或者为同一个值的数组时,可以使用稀疏数组来保存该数组。稀疏数组的处理方法:记录数组一共有几行几列,有多少个不同的值。把具有不同值的元素的行列及值记录在一个小规模的数组中,从而缩小程序的规模。稀疏数组举例说明二、应用实例描述使用稀疏数组,来保留类似前面的二维数组(棋盘、地图等等)。把稀疏数组存盘,并且可以重新恢复原来的二维数组数。整体思路分析如下代码import java.io.{File, PrintWriter} import scala.collection.mutable.ArrayBuffer import sc...

大数据 2021-04-19 PM 13℃ 0条
Scala练习(一)

Scala练习(一)

Scala练习(一)前言学习程序重要的是学习其中的思想一、scala实现快速排序快速排序介绍思想:通过一趟排序将要排序的数据分割成独立的两部分,其中一部分的所有数据都比另外一部分的所有数据都要小,然后再按此方法对这两部分数据分别进行快速排序,整个排序过程可以递归进行,以此达到整个数据变成有序序列。1.1 一次快速排序分析快速排序使用的二分的思想首先选择一个基准,定义左右两端指针,先从左到右进行扫描直到,R[hi] < temp,将R[hi]移动至lo所在位置从右往左进行扫描,直到R[lo] > temp,将R[lo]移动到hi所在位置上左右端指针在排序过程中从数组的两端往中间...

大数据 2021-04-19 PM 13℃ 0条
Spark读写HBase实践

Spark读写HBase实践

Spark读写HBase实践前言Spark经常会读写一些外部数据源,常见的有HDFS、HBase、JDBC、Redis、Kafka等。一、maven依赖需要引入Hadoop和HBase的相关依赖,版本信息根据实际情况确定。<properties> <spark.version>2.4.4</spark.version> <hadoop.version>2.7.3</hadoop.version> <hbase.version>1.3.1</hbase.versio...

大数据 2021-04-12 AM 22℃ 0条
SpringBoot2.x整合百度UidGenerator

SpringBoot2.x整合百度UidGenerator

SpringBoot2.x整合百度UidGenerator一、UidGenerator是什么UidGenerator是百度开源的一款分布式高性能的唯一ID生成器,是基于snowflake模型的一种ID生成器二、UidGenerator的优势1.解决了时钟回调的问题2.使用ringbuffer,无锁进行id的生产与消费,速度非常快3.适用于多线程,不会有单线程瓶颈三、整合本次通过SpringBoot2.x和MyBatis对百度UidGenerator进行整合。3.1 UidGenerator引入一般使用两种方式引入UidGenerator:(1)从官网下载源码作为自己项目的一个Module...

Java 2021-04-03 AM 49℃ 0条
Scala总结(三)

Scala总结(三)

15.Scala总结(三)一、字符串操作object Scala_String_Test { def main(args: Array[String]): Unit = { val s1 = "Hello" val s2 = "Scala" //拼接、合并字符串 println(s1 + " "+s2) println(s1.concat(" "+s2)) //访问、截取字符串 println(s1(0)) val s3 = s1.su...

大数据 2021-03-10 PM 110℃ 2条
Scala总结(二)--函数

Scala总结(二)--函数

14.Scala总结(二)--函数一、函数的声明和调用1.1 函数的声明格式权限修饰符 函数名 (参数列表) : 返回值类型 = { 函数体 }案例:def func(i:Int) : Unit = { println(i) }1.2 函数的调用函数名(形参类表)二、函数的定义一共有如下6种情况:无参 --> 无返回值、有返回值 有参 --> 无返回值、有返回值 多参 --> 无返回值、有返回值案例:object Scala_Method { def main(args: Array[String]): Unit = { //无参...

大数据 2021-03-10 PM 87℃ 0条
Scala总结(一)

Scala总结(一)

13.Scala总结(一)一、基础1.1 数据类型Scala 与 Java有着相同的数据类型,下表列出了 Scala 支持的数据类型:数据类型描述Byte8位有符号补码整数。数值区间为 -128 到 127Short16位有符号补码整数。数值区间为 -32768 到 32767Int32位有符号补码整数。数值区间为 -2147483648 到 2147483647Long64位有符号补码整数。数值区间为 -9223372036854775808 到 9223372036854775807Float32 位, IEEE 754 标准的单精度浮点数Double64 位 IEEE 754 标...

大数据 2021-03-10 PM 96℃ 0条
Spark核心概念

Spark核心概念

12.Spark核心概念一、Executor与Core​ Spark Executor 是集群中运行在工作节点(Worker)中的一个 JVM 进程,是整个集群中 的专门用于计算的节点。在提交应用中,可以提供参数指定计算节点的个数,以及对应的资 源。这里的资源一般指的是工作节点 Executor 的内存大小和使用的虚拟 CPU 核(Core)数量。应用程序相关启动参数如下:名称说明--num-executors配置 Executor 的数量--executor-memory配置每个 Executor 的内存大小--executor-cores配置每个 Executor 的虚拟 CP...

大数据 2021-03-07 AM 99℃ 0条
Spark运行架构

Spark运行架构

11.Spark运行架构一、运行架构Spark框架的核心是一个计算引擎,整体来说,它采用了标准 master-slave 的结构。 如下图所示,它展示了一个 Spark 执行时的基本结构。图形中的 Driver 表示 master,负责管理整个集群中的作业任务调度。图形中的 Executor 则是 slave,负责实际执行任务。二、核心组件由上图可以看出,对于 Spark 框架有两个核心组件:2.1 DriverSpark 驱动器节点,用于执行 Spark 任务中的 main 方法,负责实际代码的执行工作。 Driver 在 Spark 作业执行时主要负责:将用户程序转化为作业(job)...

大数据 2021-03-07 AM 113℃ 0条
Spark Standalone模式搭建

Spark Standalone模式搭建

10.Spark Standalone模式搭建前言搭建 Spark 集群前,需要保证 JDK 环境、Zookeeper 集群和 Hadoop 集群已经搭建,相关步骤可以参阅:Zookeeper集群环境搭建Hadoop集群环境搭建一、集群介绍这里搭建一个 3 节点的 Spark 集群,其中三台主机上均部署 Worker 服务。同时为了保证高可用,除了在 hadoop001 上部署主 Master 服务外,还在 hadoop002 和 hadoop003 上分别部署备用的 Master 服务,Master 服务由 Zookeeper 集群进行协调管理,如果主 Master 不可用,则备用 M...

大数据 2021-03-06 PM 120℃ 0条