文章目录

前言一、Hive基础二、Hive安装配置1.地址2.安装3.启动 三、Hive操作1. 简单操作2. 将本地文件导入hive（1）load（2）put 3. 将默认数据库换成mysql4. hive常用交互式命令（1）-e 'quoted query string'（2）-f < filename > 总结

---

前言

大数据框架解决的问题：海量数据的传输、存储、计算。 hadoop：存储+计算

一、Hive基础

解决海量结构化日志的数据统计。

基于hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。

本质：将HQL转化成MapReduce程序。

1）Hive处理的数据存储在HDFS 2）Hive分析数据底层的默认实现是MapReduce 3）执行程序运行在Yarn上 可以将Hive看做是hadoop的一个客户端。

Hive架构：

二、Hive安装配置

1.地址

官网：http://hive.apache.org/ 下载地址：http://archive.apache.org/dist/hive/

2.安装

将hive压缩包放在/opt/modules下，解压、重命名 再配置环境：在hive/conf/下的hive-env.sh.template改为hive-env.sh并打开，在末尾指定HADOOP_HOME 、HIVE_CONF_DIR

3.启动

启动hive之前要先启动hadoop：

三、Hive操作

1. 简单操作

hive创建表、简单的查询表数据（没有聚合运算之类的）不用MapReduce；像插入数据就是用的MapReduce操作：

2. 将本地文件导入hive

（1）load

导入的如果不是本地数据，则不需要加local这个关键字。

（2）put

3. 将默认数据库换成mysql

装mysql，设置root用户远程登录，把mysql的jar包放在hive/lib下，再配置hive/conf下的hive-site.xml（需自己新建）：

<configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/metastore?createDatabaseIfNotExist=true</value> <description> JDBC connect string for a JDBC metastore. To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL. For example, jdbc:postgresql://myhost/db?ssl=true for postgres database. </description> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>Driver class name for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> <description>Username to use against metastore database</description> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>root</value> <description>password to use against metastore database</description> </property> </configuration>

再启动hive，可以看到现在更换数据库之后，没有一张表： (之前的test_load那些表，它们是存在默认的Derby数据库)

4. hive常用交互式命令

（1）-e ‘quoted query string’

运行引号内sql查询语句 Sql from command line:

（2）-f < filename >

从文件中运行sql语句 Sql from file

---

总结

过程中收集的资源：

mysql库下面的user表没有password字段，是因为5.7版本已经不再使用password来作为密码的字段了 而改成了authentication_string。schematool -dbType mysql -initSchema 失败：解决方案1 、解决方案2Hive安装与配置详解 - 魁·帝小仙 - 博客园解决JDBC连接MySQL时发出的警告WARN: Establishing SSL connection without server’s identity verification … ：https://blog.csdn.net/huang_xin2016/article/details/79757799不小心删掉了日志配置文件，可以在这找：https://github.com/stealthly/hdp-accumulo/blob/master/vagrant/hdp_manual_install_rpm_helper_files-2.0.6.76/configuration_files/hive/hive-log4j.properties.template