2. it技术
  3. 大数据2

大数据2

it2023-11-22  69

4 Hadoop HA高可用

4.1 HA概述

什么是HA?

HA（High Availablity），高可用性，不中断服务。

怎样实现高可用呢？

最关键的策略是消除单点故障，HA分为：HDFS的HA，YARN的HA

那些方面会影响HDFS集群的可用性？

NameNode机器宕机；NameNode机器需要升级。

zookeeper的节点解析

[zk: localhost:2181(CONNECTED) 8] ls / [hadoop-ha, rmstore, yarn-leader-election, zookeeper] # 其中hadoop-ha/mycluster就是HDFS的zookeeper节点 # 其中yarn-leader-election/cluster-yarn1就是YARN的zookeeper节点

其中ActiveBreadCrumb是面包块，存储的是上一次的active的namenode或resourcemanager的信息

其中ActiveStanndbyElectorLock，存储的是active状态的namenode或resourcemanager的信息

查看日志信息

4.2 HDFS-HA工作机制

通过多个NameNode消除单点故障。

自动故障转移机制

是指namenode挂掉了，会自动会有另一个namenode顶上。

实现原理是HDFS增加了两个新组件：ZooKeeper和ZKFailoverController（ZKFC）进程。

1 故障检测

集群中每个NameNode在ZooKeeper中都维护了一个会话session，如果NameNode挂掉，ZooKeeper会话将会停止，ZooKeeper通知另一个NameNode需要触发故障转移。

2 active选择

ZooKeeper选择现役的NameNode，将其标记为active状态。

ZKFC是自动故障转移中的另一个新组件，是ZooKeeper的客户端，监听和管理NameNode的状态。每个运行NameNode的主机也运行了一个ZKFC进程，由ZKFC负责：

健康监测，zkfc定期检查与其在相同节点上的NameNode，只要NameNode即使回复则认为其是健康的。ZooKeeper会话管理，NameNode健康的话，ZKFC保持一个在ZooKeeper中打开的会话。active状态的NameNode，ZKFC会保持一个特殊的znode锁。ZooKeeper的选择，如果本地NameNode是健康的，且ZKFC发现没有其他节点持有znode锁，它将去争夺该锁。如果抢夺成功则更改状态为Active。

元数据管理方式：

Edits日志只有Active状态的NameNode节点可以做写操作

所有的NameNode节点都可以读取Edits

共享的Edits放在一个共享存储的qjournal中。

状态管理功能模块：

实现了一个zkfailover，对应的线程为zkfc，用来监控NameNode节点，当需要状态切换的时，由zkfailover负责切换，切换时需要防止brain split现象。

NameNode之间ssh免密登录。

Fence隔离机制，防止brain split现象。

4.3 YARN-HA工作机制

为什么HDFS-HA的配置这么复杂？而YARN配置简单？

YARN不需要持久化；YARN直连zookeeper，而HDFS需要ZKFC监控namenode在zookeeper节点上的状态。YARN在HA机制之后出现，封装到YARN中了。所以不需要ZKFC来管理。

4.4 HDFS-HA集群配置

步骤1：虚拟机准备，创建ha文件夹，修改文件所有者所属组（前提杀死hdfs集群）

sudo mkdir -p /opt/ha sudo chown -R atguigu:atguigu /opt/ha

步骤2：准备配置的hadoop集群

cp /opt/module/hadoop-3.1.3 /opt/ha rm -rf /data /logs

步骤3：修改配置文件

core-siet.xml

<configuration> <!-- 指定NameNode的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://mycluster</value> </property> <!-- 指定hadoop数据的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/ha/hadoop-3.1.3/data</value> </property> <!-- 配置HDFS网页登录使用的静态用户为atguigu --> <property> <name>hadoop.http.staticuser.user</name> <value>atguigu</value> </property> <!-- 配置该atguigu(superUser)允许通过代理访问的主机节点 --> <property> <name>hadoop.proxyuser.atguigu.hosts</name> <value>*</value> </property> <!-- 配置该atguigu(superUser)允许通过代理用户所属组 --> <property> <name>hadoop.proxyuser.atguigu.groups</name> <value>*</value> </property> <!-- 指定zkfc要连接的zkServer地址 --> <property> <name>ha.zookeeper.quorum</name> <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value> </property> </configuration>

hdfs-site.xml

<configuration> <!-- 完全分布式集群名称 --> <property> <name>dfs.nameservices</name> <value>mycluster</value> </property> <!-- 集群中NameNode节点都有哪些 --> <property> <name>dfs.ha.namenodes.mycluster</name> <value>nn1,nn2,nn3</value> </property> <!-- NameNode的RPC通信地址 --> <property> <name>dfs.namenode.rpc-address.mycluster.nn1</name> <value>hadoop102:9820</value> </property> <property> <name>dfs.namenode.rpc-address.mycluster.nn2</name> <value>hadoop103:9820</value> </property> <property> <name>dfs.namenode.rpc-address.mycluster.nn3</name> <value>hadoop104:9820</value> </property> <!-- NameNode的http通信地址 --> <property> <name>dfs.namenode.http-address.mycluster.nn1</name> <value>hadoop102:9870</value> </property> <property> <name>dfs.namenode.http-address.mycluster.nn2</name> <value>hadoop103:9870</value> </property> <property> <name>dfs.namenode.http-address.mycluster.nn3</name> <value>hadoop104:9870</value> </property> <!-- JournalNode数据存储目录 --> <property> <name>dfs.journalnode.edits.dir</name> <value>${hadoop.tmp.dir}/jn</value> </property> <!-- 指定NameNode元数据在JournalNode上的存放位置 --> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value> </property> <!-- 访问代理类：client用于确定哪个NameNode为Active --> <property> <name>dfs.client.failover.proxy.provider.mycluster</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 --> <property> <name>dfs.ha.fencing.methods</name> <value>sshfence</value> </property> <!-- 使用隔离机制时需要ssh秘钥登录--> <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/home/atguigu/.ssh/id_rsa</value> </property> <!-- 启动自动故障转移机制zkfc --> <property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property> </configuration>

步骤4：同步分发hadoop-3.1.3到其他NameNode

sudo xsync /opt/ha

步骤5：修改环境变量

sudo vim /etc/profile.d/my_env.sh # 修改为： # HADOOP_HOME # HA export HADOOP_HOME=/opt/ha/hadoop-3.1.3 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin

步骤6：分发环境变量到其他NameNode

sudo xsync /etc/profile.d/my_env.sh # 让环境变量生效(所有节点) source /etc/profile.d/my_env.sh

步骤7：启动journalNode（群起）

hdfs --workers --daemon start journalnode

启动后等10秒左右，创建logs…

步骤8：在一台节点上，namenode -format格式化，然后开启namenode

# 在hadoop102上操作 hdfs namenode -format hdfs --daemon start namenode

为什么要格式化一台namenode呢？

format一次就会生成一个集群id，多次生成会导致集群id不一致。

解决方法呢？–> 步骤9

步骤9：在其他NamoNode节点，拉取hadoop102的format信息

# 在hadoop103和hadoop104上分别拉取和启动 hdfs namenode -bootstrapStandby hdfs --daemon start namenode

步骤10：开启zookeeper集群，在任意一台节点格式化zkfc

# 开启zookeeper集群 zkS.sh start # 任意一台节点格式化zkfc hdfs zkfc -formatZK

步骤11：启动zkfc（群起）

hdfs --workers --daemon start zkfc

步骤12：启动datanode（群起）

hdfs --workers --daemon start datanode

此后启动ha，就先启动zookeeper，然后启动start-dfs.sh就可以启动了。

如果不先启动zookeeper会导致：三台节点全是standby状态。

步骤13：验证ha高可用

# 杀死一台namenode节点 kill -9 namenode(进程号) # 查看web端会有另外一台namenode成为active状态

4.5 YARN-HA集群配置

步骤1：修改配置文件

yarn-site.xml

<configuration> <!-- 指定MR走shuffle --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!-- 启用resourcemanager ha --> <property> <name>yarn.resourcemanager.ha.enabled</name> <value>true</value> </property> <!-- 声明两台resourcemanager的地址 --> <property> <name>yarn.resourcemanager.cluster-id</name> <value>cluster-yarn1</value> </property> <!--指定resourcemanager的逻辑列表--> <property> <name>yarn.resourcemanager.ha.rm-ids</name> <value>rm1,rm2</value> </property> <!-- ========== rm1的配置 ========== --> <!-- 指定rm1的主机名 --> <property> <name>yarn.resourcemanager.hostname.rm1</name> <value>hadoop102</value> </property> <!-- 指定rm1的web端地址 --> <property> <name>yarn.resourcemanager.webapp.address.rm1</name> <value>hadoop102:8088</value> </property> <!-- 指定rm1的内部通信地址 --> <property> <name>yarn.resourcemanager.address.rm1</name> <value>hadoop102:8032</value> </property> <!-- 指定AM向rm1申请资源的地址 --> <property> <name>yarn.resourcemanager.scheduler.address.rm1</name> <value>hadoop102:8030</value> </property> <!-- 指定供NM连接的地址 --> <property> <name>yarn.resourcemanager.resource-tracker.address.rm1</name> <value>hadoop102:8031</value> </property> <!-- ========== rm2的配置 ========== --> <!-- 指定rm2的主机名 --> <property> <name>yarn.resourcemanager.hostname.rm2</name> <value>hadoop103</value> </property> <property> <name>yarn.resourcemanager.webapp.address.rm2</name> <value>hadoop103:8088</value> </property> <property> <name>yarn.resourcemanager.address.rm2</name> <value>hadoop103:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address.rm2</name> <value>hadoop103:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address.rm2</name> <value>hadoop103:8031</value> </property> <!-- 指定zookeeper集群的地址 --> <property> <name>yarn.resourcemanager.zk-address</name> <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value> </property> <!-- 启用自动恢复 --> <property> <name>yarn.resourcemanager.recovery.enabled</name> <value>true</value> </property> <!-- 指定resourcemanager的状态信息存储在zookeeper集群 --> <property> <name>yarn.resourcemanager.store.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value> </property> <!-- 环境变量的继承 --> <property> <name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value> </property> <!-- yarn容器允许分配的最大最小内存 --> <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>512</value> </property> <property> <name>yarn.scheduler.maximum-allocation-mb</name> <value>4096</value> </property> <!-- yarn容器允许管理的物理内存大小 --> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>4096</value> </property> <!-- 关闭yarn对物理内存和虚拟内存的限制检查 --> <property> <name>yarn.nodemanager.pmem-check-enabled</name> <value>false</value> </property> <property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> </property> <!-- 开启日志聚集功能 --> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <!-- 设置日志聚集服务器地址 --> <property> <name>yarn.log.server.url</name> <value>http://hadoop102:19888/jobhistory/logs</value> </property> <!-- 设置日志保留时间为7天 --> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>604800</value> </property> </configuration>

步骤2：分发配置文件到其他节点

xsync /opt/ha/hadoop-3.1.3/etc/hadoop

步骤3：重启hdfs

stop-dfs.sh start-dfs.sh

步骤4：在hadoop102或hadoop103启动YARN

start-yarn.sh

步骤5：查看服务状态

yarn rmadmin -getServiceState rm1 yarn rmadmin -getServiceState rm2

在web端hadoop102:8088和hadoop103:8088查看，都会跳转到当前为active状态的resourcemanager的界面。

最新回复(0)