-
Notifications
You must be signed in to change notification settings - Fork 55
动态资源伸缩问题
shujiewu edited this page Feb 7, 2023
·
4 revisions
- 首先需要切换到spark-2.4.5-odps0.34.0版本
* 从Dataworks提交任务,需要添加配置:spark.hadoop.odps.spark.version=spark-2.4.5-odps0.34.0,从而切换到新的spark版本
* 从本地提交任务,需要添加以下两个配置:
spark.hadoop.odps.spark.libs.public.enable=true
spark.hadoop.odps.spark.version=spark-2.4.5-odps0.34.0
* spark-3.1.1采用客户端提交可以直接使用动态资源伸缩功能
- 此外需要添加以下spark参数:
spark.dynamicAllocation.shuffleTracking.enabled = true (默认 false)
spark.dynamicAllocation.shuffleTracking.timeout = XXXs (默认 Long.MaxValue MILLISECONDS)
spark.dynamicAllocation.enabled = true
参考文档:https://spark.apache.org/docs/3.0.0/configuration.html#dynamic-allocation
- MaxCompute Spark概述
- 功能发布
- Spark 3.1.1
- 搭建开发环境
- Spark配置详解
- 应用开发示例
- 作业诊断
- Spark常见问题
- 阿里云服务接入
- 其他运行模式
- Github图片无法显示的问题