首页
it技术
登录
6mi
u
盘
搜
搜 索
it技术
Airflow性能优化(airflow.cfg配置)
Airflow性能优化(airflow.cfg配置)
it
2023-01-23
46
配置文件默认在$AIRFLOW_HOME目录下,vim airflow.cfg
# dag存放目录
dags_folder
=
/hadoop/airflow/dags
# 日志存放目录
base_log_folder
=
/hadoop/airflow/logs
# 设置web端Configuration不显示配置信息
expose_config
=
False
#控制 Airflow worker 可以并行任务实例的数量
parallelism
=
15
# 单个DAG最大并发数
# 默认是16,改成1,则在同⼀时间同⼀个DAG只有⼀个实例在跑
#等同于DAG实例中定义的max_active_runs参数
max_active_runs_per_dag
=
16
#调度dag并发数
#等同于DAG实例中定义的concurrency参数
转载请注明原文地址: https://lol.8miu.com/read-1201.html
最新回复
(
0
)