无法增加Max Application Master资源

学向勤中得,萤窗万卷书。这篇文章主要讲述无法增加Max Application Master资源相关的知识,希望能为你提供帮助。
【无法增加Max Application Master资源】我正在使用uhopper/hadoop docker image来创建纱线簇。我有3个节点,每个节点有64GB RAM。我添加了配置。我已经给了纱线32GB。总簇内存为96GB。

-name: YARN_CONF_yarn_scheduler_minimum___allocation___mb value: "2048" - name: YARN_CONF_yarn_scheduler_maximum___allocation___mb value: "16384" - name:MAPRED_CONF_mapreduce_framework_name value: "yarn" - name: MAPRED_CONF_mapreduce_map_memory_mb value: "8192" - name: MAPRED_CONF_mapreduce_reduce_memory_mb value: "8192" - name: MAPRED_CONF_mapreduce_map_java_opts value: "-Xmx8192m" - name: MAPRED_CONF_mapreduce_reduce_java_opts value: "-Xmx8192m" - name: YARN_CONF_yarn_nodemanager_resource_memory___mb value: "32768"

最大应用程序主资源为10240 MB。我运行了5个火花作业,每个3 GB驱动程序内存,2个作业从未进入RUNNING状态,因为10240MB。我无法充分利用我的硬件。
无法增加Max Application Master资源

文章图片

如何增加Max Application Master Resources内存?
无法增加Max Application Master资源

文章图片

答案我希望,我找到了答案,如果你改变yarn.scheduler.capacity.maximum-am-resource-percent,那么Max Application Master Resources将会改变。这是一个文档 - 来自docs.hortonworks.com的Setting Application Limits
让我知道它是否有效。
另一答案要更改Maximum Application Master资源,您必须更改yarn.scheduler.capacity.maximum-am-resource-percent的百分比,默认情况下为0.2,这意味着分配给Yarn的内存的20%。
如果我没有错,给YARN的总内存是10240 MB(10GB),如果应用程序主机可以使用的最大百分比是20%,那么它将内存分配给AM 2GB。
现在,如果您想为应用程序主机分配更多内存,则只需增加百分比即可。但建议您的AM百分比不应超过0.5。希望现在能说清楚。

    推荐阅读