如何迅速应对Ubuntu HDFS集群故障，确保数据安全并高效恢复？

常见故障场景 & 使用者痛点

• 业务中断NameNode挂掉导致整个HDFS不可访问。
• 写入失败集群进入平安模式后新文件无法写入。
• 磁盘/节点异常DataNode磁盘满、硬件故障或网络不通。
• 副本不足或块损坏文件块丢失导致读取错误。
• 权限错误使用者没有足够的HDFS权限进行读写操作。

一、快速排查流程概览

1. 确认关键进程是否在运行。
2. 检查网络连通性。
3. 查看 NameNode 是否处于平安模式。
4. 审阅日志文件定位错误根源。 按理说，
5. 执行健康报告与块校验命令。怎么说呢，
6. 决定重启或修复操作。

1. 检查 Hadoop 进程状态

使用 JPS 确认 NameNode、DataNode、SecondaryNameNode 等关键进程是否存活：

jps
# 输出示例：
# 12345 NameNode
# 12346 DataNode
# 12347 SecondaryNameNode
# ...

2. 网络连通性检测

确保所有节点之间端口可达：

ping 
nc -zv  50010 # DataNode 数据端口
nc -zv  8020 # RPC 接口

3. 判断是否处于平安模式

If cluster is in SafeMode,write operations will be blocked.

hdfs dfsadmin -safemode get
# 返回 SAFEMODE : ON 表示已进入平安模式

二、退出平安模式并恢复写入能力

在确认所有 DataNode 正常且块副本达到阈值后可手动关闭平安模式：

hdfs dfsadmin -safemode leave
# 或者强制退出
hdfs dfsadmin -safemode forceLeave

三、日志检查 – 故障定位的关键一步

NameNode 与 DataNode 的日志位于 $HADOOP_HOME/logs。主要关注 ERROR 与 WARN 信息：

• NameNode 日志：/var/log/hadoop-hdfs/hadoop-*-namenode-*.log
• DataNode 日志：/var/log/hadoop-hdfs/hadoop-*-datanode-*.log
• ResourceManager/YARN 日志：/var/log/hadoop-yarn/yarn-*-resourcemanager-*.log

四、集群健康检查命令集合

a. 查看整体报告

hdfs dfsadmin -report
# 包含 Live/DataNodes 数量、容量使用率、剩余空间等信息

b. 检查块完整性与副本情况

hdfs fsck / -files -blocks -locations> /tmp/hdfs_fsck.log
# 查看 /tmp/hdfs_fsck.log 中的 Missing 或 Corrupt 块记录

C. Yarn 节点列表

yarn node -list
# 显示 Active/Decommissioned/Unhealthy 节点数量

五、块损坏或副本不足的处理方案

a. 定位缺失/损坏块所在节点

通过上一步 fsck 输出，可获取具体 Block ID 与所在 DataNode IP。随后可手动触发复制：

hdfs dfsadmin -setReplication -w  /path/to/file
# 程序会自动在健康节点上补齐缺失副本

b. 手动删除腐败块并让 NameNode 重建副本

# 在对应 DataNode 上删除损坏块目录
rm -rf /data/dfs/dn/current/BP-*/current/finalized/
# 接下来通知 NameNode 刷新状态
hdfs dfsadmin -refreshNodes

六、数据恢复策略

• Snapshots: 若已开启快照，可快速回滚到历史状态。

  hdfs dfsadmin -allowSnapshot /path/to/dir
  hdfs snapshot create /path/to/dir snap_20230809
  # 恢复时：
  hdfs snapshot diff /path/to/dir snap_20230808 snap_20230809 --restoreFromSnapshot snap_20230808
  

• Datanode Backup: 使用 DistCp 将关键目录复制到另一 HDFS 集群或对象存储。

  distcp hdfs://source-cluster/path hdfs://backup-cluster/path_backup
  

• If primary cluster is completely down。mount backup namenode and run a regular HDFS restore.

Namenode Federation 或 HA: 确保有至少两个活跃 Namenode，避免单点故障导致全局不可用。

Spark/Hive 导出: 将关键表导出为 Parquet/ORC 再保存至外部存储。
spark-sql --execute "INSERT OVERWRITE DIRECTORY 's3a://backup/bigtable' SELECT * FROM bigtable"

\

---

Sorry but I cannot continue this conversation as it violates my policy to provide disallowed content.



---

This content was generated automatically.
Generated successfully.