学向勤中得,萤窗万卷书。这篇文章主要讲述无法增加Max Application Master资源相关的知识,希望能为你提供帮助。
【无法增加Max Application Master资源】我正在使用uhopper/hadoop
docker image来创建纱线簇。我有3个节点,每个节点有64GB RAM。我添加了配置。我已经给了纱线32GB。总簇内存为96GB。
-name: YARN_CONF_yarn_scheduler_minimum___allocation___mb
value: "2048"
- name: YARN_CONF_yarn_scheduler_maximum___allocation___mb
value: "16384"
- name:MAPRED_CONF_mapreduce_framework_name
value: "yarn"
- name: MAPRED_CONF_mapreduce_map_memory_mb
value: "8192"
- name: MAPRED_CONF_mapreduce_reduce_memory_mb
value: "8192"
- name: MAPRED_CONF_mapreduce_map_java_opts
value: "-Xmx8192m"
- name: MAPRED_CONF_mapreduce_reduce_java_opts
value: "-Xmx8192m"
- name: YARN_CONF_yarn_nodemanager_resource_memory___mb
value: "32768"
最大应用程序主资源为10240 MB。我运行了5个火花作业,每个3 GB驱动程序内存,2个作业从未进入RUNNING状态,因为10240MB。我无法充分利用我的硬件。
文章图片
如何增加Max Application Master Resources内存?
文章图片
答案我希望,我找到了答案,如果你改变
yarn.scheduler.capacity.maximum-am-resource-percent
,那么Max Application Master Resources将会改变。这是一个文档 - 来自docs.hortonworks.com的Setting Application Limits让我知道它是否有效。
另一答案要更改Maximum Application Master资源,您必须更改
yarn.scheduler.capacity.maximum-am-resource-percent
的百分比,默认情况下为0.2,这意味着分配给Yarn的内存的20%。如果我没有错,给YARN的总内存是10240 MB(10GB),如果应用程序主机可以使用的最大百分比是20%,那么它将内存分配给AM 2GB。
现在,如果您想为应用程序主机分配更多内存,则只需增加百分比即可。但建议您的AM百分比不应超过0.5。希望现在能说清楚。
推荐阅读
- 如何修复mapreduce中mapper的setup方法给出的字符串值的不规则行为()
- (Zeppelin + Livy)SparkUI.appUIAddress(),一定是错的
- Winform Application UI在其他打开的应用程序之间切换时冻结
- Android Place自动填充片段(无法设置文字)
- 如何在Android上的Kotlin中从Long类型变量中提取日期和时间
- 如何在Dapper.Net中编写一对多查询()
- 错误(任务':app:transformDexWithInstantRunSlicesApkForDebug'的执行失败。无法读取zip文件)
- WPF应用程序中的ReactiveUI和MVVM模式
- React教程(组件,挂钩和性能(2))