如何优化Hadoop核心配置文件core-site.xml中的XML参数以提升大数据平台性能？

本文共计930个文字，预计阅读时间需要4分钟。

这个参数是Hadoop的入口地址，所有客户端端（包括hdfs命令、Spark、Hive等）都依赖它定位NameNode。配置为localhost:9000看似本地通信，但一旦集群或跨节点提交任务，就会报Connection refused或UnknownHostException。

• 必须填真实 NameNode 主机名或 VIP，且该主机名要能被所有节点 DNS 解析（或各节点 /etc/hosts 里有对应条目）
• 端口别硬写 9000 —— 检查 hdfs-site.xml 中 dfs.namenode.rpc-address 实际值，保持一致
• 如果启用了 HA，fs.defaultFS 应指向 nameservice 名（如 hdfs://mycluster），而不是单个 NN 地址

加了 hadoop.tmp.dir 却还是报磁盘空间不足

这个路径控制 Hadoop 运行时的临时文件位置（比如 MapReduce shuffle、YARN container 临时目录），但它默认指向 /tmp/hadoop-${user.name} —— 很多系统把 /tmp 挂在小容量内存盘或单独小分区上，压根撑不住大数据作业。