大数据实践练习系列【3、数据导入Hive中,了解HIve数据】

it2026-02-01  2

场景说明:

数据目前我们已经存放在了HDFS中,不难发现数据是以行出现,用‘\t’进行了分割。

我们接下来就是对这些数据进行Hive操作,达到练习的目的。最终实现数据的清洗,可以使用javaweb配合ELK进行展示。

1、数据的导入

在读入表的时候我们设置了以”\t“进行行的分割

所以我们在导入数据的时候就会根据换行符进行数据的导入,我们的数据目前来说是比较规范并且简单的,所以导入数据不存在数据清洗的步骤。目前我们也暂时不做分区。

数据导入语句

load data inpath '/test/dept/dept.csv' into table dept;

load data inpath '/test/emp/emp.csv' overwrite into table emp;

导入数据可能出现的问题:

1、权限问题

数据导入可能不成功,因为导入数据后,HDFS中的数据会消失,所以这里给每个文件赋予权限

sudo -u hdfs hadoop fs -chmod 777 /test/emp/emp.csv

2、jar包无法找到

CDH中的HIve进行查询时,报错找不到 xxxxx.jar包,3.0.0-cdh6.2.0-mr-framework.tar.gz

解决办法 :https://blog.csdn.net/weixin_29057619/article/details/109222417

2、数据导入完成后,可以自己进行语句练习

Hive学习连接:https://www.cnblogs.com/qingyunzong/p/8744593.html#_label0

SELECT * FROM emp LIMIT 30;

可以对里面的数据进行分区,对部门进行分区,之后可以对salary进行统计排序

3、对日期进行分区

这里出现的错误是分区无法进行,因为建表的时候没有创建分区,所以这里我们重新进行表的建设。

重新上传文件

sudo -u hdfs hadoop fs -chmod 777 /test/emp/emp.csv

给权限

sudo -u hdfs hadoop fs -chmod 777 /test/emp/emp.csv

删除表

drop table emp;

重建分区表

CREATE EXTERNAL TABLE IF NOT EXISTS default.emp( ename string,age INT,job STRING,hiredate date,salary int,deptno string )PARTITIONED BY (mounth DATE) row FORMAT DELIMITED FIELDS TERMINATED BY '\t'

导入数据

load data inpath '/test/emp/emp.csv' into table emp partition(mounth='2019-11-11');

查询数据

再次导入分区数据

load data inpath '/test/emp/emp.csv' into table emp partition(mounth='2019-11-12');

根据分区查询数据

select * from emp where mounth='2019-11-12';

4、分区存档

分区完后,分区会以表的型存放在HDFS中/user/hive下

最新回复(0)