网站建设与管理自考上海发布微信公众号

这几天用Spark计算任务时，发现yarn上有两个节点不参与计算，很是tm的离谱。

使用下面的命令查看Yarn上的nodemanager节点状态

yarn node -list -all

发现两个节点处于unhealthy状态。

经过Google查明原因：这种情况一般是因为那个节点上HDFS文件过多，导致剩余磁盘空间不足，一般解决方法是删除HDFS上不常用的文件。

或者更改yarn-site.xml下文件，添加或者修改这个参数：

<property>
<name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
<value>99.99</value>
</property>

该参数表示每块盘符的最高使用比例，超过该值该节点就会被列入不健康列表，并且不再使用该盘符参与计算任务。默认值为90%，将该值增大即可解决问题，可以更改至99.99%。

之后重启HDFS还有YARN即可，再次使用

yarn node -list -all

可以看到所有节点可以都变为正常状态，OK。