博客
关于我
DataNode(面试开发重点3)
阅读量:798 次
发布时间:2019-03-25

本文共 1302 字,大约阅读时间需要 4 分钟。

Hadoop节点退役指南

1. 概念解释

在Hadoop集群中,节点的退役有两种方式:白名单和黑名单。

  • 白名单:允许指定主机访问NameNode,未在白名单中的主机将被逐出。
  • 黑名单:强制指定主机退出集群。请确保主机名称不同时出现在白名单和黑名单中。

2. 白名单退役

配置步骤

  • 创建配置文件

    在NameNode路径 /opt/module/hadoop-2.7.2/etc/hadoop/ 下创建 dfs.hosts 文件。

    cd /opt/module/hadoop-2.7.2/etc/hadoopvim dfs.hosts

    添加以下主机名称(不包括 hadoop105):

    hadoop102hadoop103hadoop104
  • 更新hdfs-site.xml

    在NameNode配置文件中添加 dfs.hosts 属性。

    vim ./hdfs-site.xml

    添加以下内容:

    dfs.hosts
    /opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts
  • 刷新节点

    执行节点刷新命令。

    hdfs dfsadmin -refreshNodes

    预期输出:

    Refresh nodes successful
  • 验证效果

    在浏览器中查看集群状态,白名单中的主机应以 allowed 状态显示。


  • 3. 黑名单退役

    配置步骤

  • 创建配置文件

    在NameNode路径下创建 dfs.hosts.exclude 文件。

    cd /opt/module/hadoop-2.7.2/etc/hadoopvim dfs.hosts.exclude

    添加将要退役的主机名称(例如 hadoop105)。

  • 更新hdfs-site.xml

    在hdfs-site.xml中添加 dfs.hosts.exclude 属性。

    vim ./hdfs-site.xml

    添加以下内容:

    dfs.hosts.exclude
    /opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts.exclude
  • 刷新节点

    执行节点刷新命令。

    hdfs dfsadmin -refreshNodes

    预期输出:

    Refresh nodes successful
  • 查看退役状态

    在浏览器中查看节点状态,应显示退役节点状态为 decommission in progress


  • 成熟前的注意事项

  • 确保副本数合理。若副本数为3,且服务节点数小于等于3,则无法退役,需调整副本数后再操作。
  • 等待节点状态更新为 decommissioned,此时可停止节点服务。
    hadoop-daemon.sh stop datanode

    输出示例:

    stopping datanode

  • 4. 集群再平衡

    数据不均衡时,可运行脚本实现集群再平衡。

    ./start-balancer.sh

    此脚本会协调节点之间的数据分配,确保数据平衡。

    转载地址:http://oasyk.baihongyu.com/

    你可能感兴趣的文章
    Nifi同步过程中报错create_time字段找不到_实际目标表和源表中没有这个字段---大数据之Nifi工作笔记0066
    查看>>
    NIFI大数据进阶_FlowFile拓扑_对FlowFile内容和属性的修改删除添加_介绍和描述_以及实际操作---大数据之Nifi工作笔记0023
    查看>>
    NIFI大数据进阶_NIFI的模板和组的使用-介绍和实际操作_创建组_嵌套组_模板创建下载_导入---大数据之Nifi工作笔记0022
    查看>>
    NIFI大数据进阶_NIFI监控的强大功能介绍_处理器面板_进程组面板_summary监控_data_provenance事件源---大数据之Nifi工作笔记0025
    查看>>
    NIFI大数据进阶_NIFI集群知识点_认识NIFI集群以及集群的组成部分---大数据之Nifi工作笔记0014
    查看>>
    NIFI大数据进阶_NIFI集群知识点_集群的断开_重连_退役_卸载_总结---大数据之Nifi工作笔记0018
    查看>>
    NIFI大数据进阶_内嵌ZK模式集群1_搭建过程说明---大数据之Nifi工作笔记0015
    查看>>
    NIFI大数据进阶_外部ZK模式集群1_实际操作搭建NIFI外部ZK模式集群---大数据之Nifi工作笔记0017
    查看>>
    NIFI大数据进阶_离线同步MySql数据到HDFS_01_实际操作---大数据之Nifi工作笔记0029
    查看>>
    NIFI大数据进阶_离线同步MySql数据到HDFS_02_实际操作_splitjson处理器_puthdfs处理器_querydatabasetable处理器---大数据之Nifi工作笔记0030
    查看>>
    NIFI大数据进阶_连接与关系_设置数据流负载均衡_设置背压_设置展现弯曲_介绍以及实际操作---大数据之Nifi工作笔记0027
    查看>>
    NIFI数据库同步_多表_特定表同时同步_实际操作_MySqlToMysql_可推广到其他数据库_Postgresql_Hbase_SqlServer等----大数据之Nifi工作笔记0053
    查看>>
    NIFI汉化_替换logo_二次开发_Idea编译NIFI最新源码_详细过程记录_全解析_Maven编译NIFI避坑指南001---大数据之Nifi工作笔记0068
    查看>>
    NIFI集群_内存溢出_CPU占用100%修复_GC overhead limit exceeded_NIFI: out of memory error ---大数据之Nifi工作笔记0017
    查看>>
    NIFI集群_队列Queue中数据无法清空_清除队列数据报错_无法删除queue_解决_集群中机器交替重启删除---大数据之Nifi工作笔记0061
    查看>>
    NIH发布包含10600张CT图像数据库 为AI算法测试铺路
    查看>>
    Nim教程【十二】
    查看>>
    Nim游戏
    查看>>
    NIO ByteBuffer实现原理
    查看>>
    Nio ByteBuffer组件读写指针切换原理与常用方法
    查看>>