기존 DAG - Xcom에 데이터를 task마다 남긴다..
from airflow import DAG
from airflow.operators.python_operator import PythonOperator
from datetime import datetime
dag = DAG (
dag_id = '2_python_operator',
start_date = datetime(2022, 12, 3),
schedule_interval = '* * * * *',
catchup = False,
tags = ['server_local', 'detail_test'],
description = 'Python Operator Sample',
default_args = {'owner': 'ParkGyeongTae'})
def func_print_1():
return '1'
task_print_1 = PythonOperator(task_id = 'print_1', python_callable = func_print_1, dag = dag)
task_print_1
신규 DAG - 이제는 Xcom에 데이터를 남기지 않는다
from airflow import DAG
from airflow.operators.python_operator import PythonOperator
from datetime import datetime
dag = DAG (
dag_id = '2_python_operator',
start_date = datetime(2022, 12, 3),
schedule_interval = '* * * * *',
catchup = False,
tags = ['server_local', 'detail_test'],
description = 'Python Operator Sample',
default_args = {'owner': 'ParkGyeongTae'})
def func_print_1():
return '1'
task_print_1 = PythonOperator(task_id = 'print_1', python_callable = func_print_1, dag = dag, do_xcom_push = False)
task_print_1
'Data Engineering > Airflow' 카테고리의 다른 글
[Airflow] context, kwargs 에 들어있는 값 확인하기 (0) | 2022.12.06 |
---|---|
[Airflow] context를 이용한 xcom에 key, value 남기는 방법 (0) | 2022.12.06 |
[Airflow] PythonOperator에서 return값은 로그에 남는다. (0) | 2022.12.06 |
[Airflow] 각 컨테이너별로 생성되는 로그를 확인해보자 (0) | 2022.12.06 |
[Airflow] postgres MetaDB에 사용하지 않는 데이터가 쌓이는 현상 (0) | 2022.12.04 |