调整NodeManager的资源占用
NodeManager的资源池是关键的设置。每个NodeManger的资源池/每个Container的内存量=每个NodeManager可以启动的container数量。
通过每个NodeManager可以启动的container数量的数量可以控制CPU占用率。 一般，每个Container的内存量不调整(对应参数是 yarn_app_mapreduce_am_resource_mb mapreduce_reduce_memory_mb mapreduce_map_memory_mb)。只调整NodeManger的资源池(yarn_nm_resource_memory_mb)。
以下是调整yarn_nm_resource_memory_mb的步骤
在管理-服务-yarn-配置变量的页面中,找到yarn_nm_resource_memory_mb配置项。双击即可编辑。
保存编辑后,依次重启各个NodeManager(有可能会导致job失败,请注意观察)。当前,还没有滚动重启选项。请手动重启。
确认修改。打开Resourcemanager的管理页面 http://XXXX:XXX/cluster/nodes 确认每个NodeManager占用的最大的内存量。
