11.Hive DML数据操作

[TOC]前言本篇讲述通过Hive命令实现对数据的导出和导入操作。一、数据导入1.1 向表中装载数据(Load)语法load data [local] inpath 'datapath' [overwrite] into table dbname [partition (partcol1=val1,…)]参数说明load data加载数据local从本地加载数据到hive表;如果不加loc...

大数据 2021-12-05 PM 966次 0条

10.Hive DDL数据定义

[TOC]前言本篇讲述Hive语句中对数据库和数据表的操作。一、数据库操作语句1.1 创建数据库语法结构:CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment]      //关于数据块的描述 [LOCATION hdfs_path]          //指定数据库...

大数据 2021-12-04 PM 1031次 0条

09.Hive类型转换

[TOC]一、概念 Hive 的原子数据类型是可以进行隐式转换的,类似于Java的类型转换,例如某表达式使用INT类型,TINYINT会自动转换为INT类型,但是Hive不会进行反向转化,例如,某表达式使用TINYINT类型,INT不会自动转换为TINYINT类型,它会返回错误,除非使用CAST操作。 二、隐式转换图表图表说明(1)double、decimal、string、var...

大数据 2021-12-03 PM 3159次 0条

08.Hive数据类型

[TOC]前言Hive数据类型和Java数据类型有许多相似之处,本篇来将对比Java数据类型来学习一下Hive中的数据类型,以及如何在Hive SQL中去处理这些数据类型。Hive的数据类型可以分为两大类:基本数据类型和集合数据类型。一、基本数据类型Hive数据类型Java数据类型大小范围示例TINYINTbyte1byte 有符号整数-128 ~ 1271Y(后缀Y)SMALINTshor...

大数据 2021-12-03 PM 956次 0条

07.Hive常用交互命令和属性配置

[TOC]一、Hive常用交互命令1.1 使用hive –help命令查看有哪些交互命令[hadoop@localhost hive]$ bin/hive -help 2021-12-02 17:32:37,970 INFO [main] conf.HiveConf: Found configuration file file:/opt/software/hive/conf/hive-si...

大数据 2021-12-03 AM 1028次 0条

06.使用JDBC方式访问Hive

[TOC]前言目前通过执行bin/hive在服务端启动Hive所遇到的问题:因为使用该命令只启动了Hive服务,但是并没有对外暴露访问端口,也就是如果想操作Hive只能在该服务器上使用命令进行操作,不能被外部访问到。那么该如何解决该问题呢?本篇将通过相应配置,使得通过JDBC方式来访问Hive。一、通过HiveServer2访问Hive1.1 HiveServer2介绍其它语言访问hive主...

大数据 2021-12-02 AM 1543次 0条

05.Hive元数据配置到MySQL

[TOC]前言环境准备Hive3.1.2环境(伪分布式)MySQL8.0.23环境一、下载JDBC驱动包1.1 下载地址https://dev.mysql.com/downloads/connector/j/1.2 选址之前的文件1.3 选择相应版本Product Version选择8.0.23,因为本次安装使用的MySQL是该版本,大家可以根据自身MySQL版本自行选择Operating ...

大数据 2021-12-01 AM 917次 0条

04.Hive3.1.2安装教程

[TOC]前言本篇安装的是单机版Hive3.1.2安装教程。环境准备CentOS 7.X环境JDK1.8hadoop3.2.1(伪分布式)可参考文章:CentOS7 Hadoop安装教程一、安装1.1 将apache-hive-3.1.2-bin.tar.gz安装包上传到服务器[hadoop@hadoop001 sources]$ sudo rz1.2 将安装包解压到/opt/softwar...

大数据 2021-11-30 PM 1038次 0条

03.Hive和数据库比较

[TOC]前言​ 由于Hive采用了SQL的查询语言HQL,因此很容易将Hive理解为数据库。其实从结构上来看,Hive和数据库除了拥有类似的查询语言,再无类似之处。数据库可以用在Online的应用中,但是Hive是为数据仓库而设计的,清楚这一点,有助于从应用角度理解Hive的特性。一、Hive和传统数据库对比属性Hive传统数据库查询语言HQLSQL数据存储位置HDFSRaw...

大数据 2021-11-27 PM 928次 0条

02.Hive架构原理

[TOC]前言本篇Hive架构原理在来回顾一下Hive的本质。Hive本质:是将HQL语句转化成MapReduce程序。在它的底层:HDFS负责存储数据;YARN负责进行资源管理;MapReduce负责数据处理。一、Hive架构说明用户接口:ClientCLI(command-line interface)、JDBC/ODBC(jdbc 访问 hive)、WEBUI(浏览器访问 hive)元...

大数据 2021-11-27 PM 840次 0条