Airflow性能优化(airflow.cfg配置)

it2023-01-23  46

配置文件默认在$AIRFLOW_HOME目录下,vim airflow.cfg

# dag存放目录 dags_folder = /hadoop/airflow/dags # 日志存放目录 base_log_folder = /hadoop/airflow/logs # 设置web端Configuration不显示配置信息 expose_config = False #控制 Airflow worker 可以并行任务实例的数量 parallelism=15 # 单个DAG最大并发数 # 默认是16,改成1,则在同⼀时间同⼀个DAG只有⼀个实例在跑 #等同于DAG实例中定义的max_active_runs参数 max_active_runs_per_dag = 16 #调度dag并发数 #等同于DAG实例中定义的concurrency参数
最新回复(0)