11.Flink之SQL中窗口的定义
前言我们已经了解了在 Table API 里 window 的调用方式，同样，我们也可以在 SQL 中直接加入窗口的定义和使用。一、Group Windows Group Windows 在 SQL 查询的 Group BY 子句中定义。与使用常规 GROUP BY 子句的查询一样，使用 GROUP BY 子句的查询会计算每个组的单个结果行。SQL 支持以下 Group 窗口...
10.Table API和Flink SQL之窗口操作
[TOC]前言 时间语义，要配合窗口操作才能发挥作用。最主要的用途，当然就是开窗口、根据时间段做计算了。下面我们就来看看 Table API 和 SQL 中，怎么利用时间字段做窗口操作。在 Table API 和 SQL 中，主要有两种窗口：Group Windows 和 Over Windows数据准备sensor.txtsensor_1,1547718199,35.8 s...
03.FastDFS整体架构
[TOC]一、FastDFS的存储策略说明为了支持大容量，存储节点（服务器）采用了分卷（或分组）的组织方式。存储系统由一个或多个卷组成，卷与卷之间的文件是相互独立的，所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷中的多台存储服务器起到了冗余备份和负载均衡的作用。在卷中增加服务器时，同步已有的文件由系统自动完成...
02.FastDFS操作命令
1、上传文件命令语法fdfs_upload_file /etc/fdfs/client.conf 【本地文件路径】示例#将test.txt文件上传到FastDFS服务器 [fastdfs@master fdfs]$ fdfs_upload_file /etc/fdfs/client.conf /home/fastdfs/data/bb.txt group1/M00/00/00/wKgBaG...
01.FastDFS简介
[TOC]一、文件系统发展1.1 单机时代文件和代码存放在一起优点文件访问比较便利；项目直接引用文件；实现起来简单；无需复杂技术；保存、访问文件都很方便；缺点文件和代码耦合在一起，文件越多存放越混乱；如果流量比较大，静态文件访问会占据一定的资源（操作系统上下文切换、磁盘I/O），影响正常业务进行，不利于网站快速发展；1.2 独立文件服务器文件服务器和代码服务器分离；优点应用服务器可以更专注发...
09.Table API和Flink SQL之表的时间特性
一、概述 基于时间的操作（比如 Table API 和 SQL 中窗口操作），需要定义相关的时间语义和时间数据来源的信息。所以，Table可以提供一个逻辑上的时间字段，用于在表处理程序中，指示时间和访问相应的时间戳。 时间属性，可以是每个表 schema 的一部分。一旦定义了时间属性，它就可以作为一个字段引用，并且可以在基于时间的操作中使用。 ...
07.将表转换成DataStream
一、概念 表可以转换为 DataStream 或 DataSet。这样，自定义流处理或批处理程序就可以继续在Table API 或 SQL 查询的结果上运行了。 将表转换为 DataStream 或 DataSet 时，需要指定生成的数据类型，即要将表的每一行转换成的数据类型。通常，最方便的转换类型就是Row。当然，因为结果的所有字段类型都是明确的，我们也经常...
06.Table API输出表
[TOC]一、概述 表的输出，是通过将数据写入 TableSink 来实现的。TableSink 是一个通用接口，可以支持不同的文件格式、存储数据库和消息队列。 具体实现，输出表最直接的方法，就是通过 Table.insertInto() 方法将一个 Table 写入注册过的 TableSink中。二、输出到文件import org.apache.flink....
05.将DataStream转换成表
[TOC]一、概述 Flink 允许我们把 Table 和 DataStream 做转换：我们可以基于一个 DataStream，先流式地读取数据源，然后 map 成样例类，再把它转成 Table。Table 的列字段（column fields），就是样例类里的字段，这样就不用再麻烦地定义 schema 了。二、代码表达代码中实现非常简单，直接用 tableEnv.from...