6.hadoop-完全分布式

1.配置如下：

2.编写了xsync脚本，方便同步到hadoop103，hadoop104中去

脚本详情：https://blog.csdn.net/daxuddaai/article/details/109165041

3.配置集群

a.配置core-site.xml

<!-- 指定HDFS中NameNode的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop102:9000</value> </property> <!-- 指定Hadoop运行时产生文件的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/module/hadoop-2.7.2/data/tmp</value> </property>

其中<value>hdfs://hadoop102:9000</value><value>/opt/module/hadoop-2.7.2/data/tmp</value>需要根据实际情况变化

b.配置hadoop-env.sh

[hx@hadoop102 hadoop]$ vi hadoop-env.sh export JAVA_HOME=/opt/module/jdk1.8.0_144

c.配置hdfs-site.xml

<property> <name>dfs.replication</name> <value>3</value> </property> <!-- 指定Hadoop辅助名称节点主机配置 --> <property> <name>dfs.namenode.secondary.http-address</name> <value>hadoop104:50090</value> </property>

d.配置yarn-env.sh

[hx@hadoop102 hadoop]$ vi yarn-env.sh export JAVA_HOME=/opt/module/jdk1.8.0_144

e.配置yarn-site.xml

<!-- Reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!-- 指定YARN的ResourceManager的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop103</value> </property>

f.配置mapred-env.sh

[hx@hadoop102 hadoop]$ vi mapred-env.sh export JAVA_HOME=/opt/module/jdk1.8.0_144

g.配置mapred-site.xml

<!-- 指定MR运行在Yarn上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>

4.在集群上分发配置好的Hadoop配置文件

[hx@hadoop102 hadoop]$ xsync /opt/module/hadoop-2.7.2/

5.群起集群

配置slaves

增加三台机器的hostname注意不能有空格。hadoop3没有这个文件 在workers里配置

6.启动集群

a.格式化namenode省略

b.启动hdfs

区别于单点启动命令：start-dfs.sh 就ok了 

在每台机器上jps查看下相应的node启动好了没

c.启动yarn

注意需要在hadoop03机器上启动，因为咱们配置的是hadoop103是resourcemanager

命令：start-yarn.sh