本文共 1302 字,大约阅读时间需要 4 分钟。
在Hadoop集群中,节点的退役有两种方式:白名单和黑名单。
创建配置文件
在NameNode路径/opt/module/hadoop-2.7.2/etc/hadoop/
下创建 dfs.hosts
文件。cd /opt/module/hadoop-2.7.2/etc/hadoopvim dfs.hosts
添加以下主机名称(不包括 hadoop105
):
hadoop102hadoop103hadoop104
更新hdfs-site.xml
在NameNode配置文件中添加dfs.hosts
属性。vim ./hdfs-site.xml
添加以下内容:
dfs.hosts /opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts
刷新节点
执行节点刷新命令。hdfs dfsadmin -refreshNodes
预期输出:
Refresh nodes successful
验证效果
在浏览器中查看集群状态,白名单中的主机应以allowed
状态显示。创建配置文件
在NameNode路径下创建dfs.hosts.exclude
文件。cd /opt/module/hadoop-2.7.2/etc/hadoopvim dfs.hosts.exclude
添加将要退役的主机名称(例如 hadoop105
)。
更新hdfs-site.xml
在hdfs-site.xml中添加dfs.hosts.exclude
属性。vim ./hdfs-site.xml
添加以下内容:
dfs.hosts.exclude /opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts.exclude
刷新节点
执行节点刷新命令。hdfs dfsadmin -refreshNodes
预期输出:
Refresh nodes successful
查看退役状态
在浏览器中查看节点状态,应显示退役节点状态为decommission in progress
。decommissioned
,此时可停止节点服务。hadoop-daemon.sh stop datanode
输出示例:
stopping datanode
数据不均衡时,可运行脚本实现集群再平衡。
./start-balancer.sh
此脚本会协调节点之间的数据分配,确保数据平衡。
转载地址:http://oasyk.baihongyu.com/