Data Engineering/Airflow
[Airflow] 비밀번호 입력 없이 sudo 명령어 사용하는 방법
apt-get install sudo -y echo 'airflow ALL=NOPASSWD: ALL' >> /etc/sudoers echo '사용자명 ALL=NOPASSWD: ALL' >> /etc/sudoers
Data Engineering/Airflow
Data Engineering/Airflow
[Airflow] 아파치 에어플로우는 워커간의 코드를 동기화 하는 기능이 없다.
아파치 에어플로우는 워커간의 코드를 동기화 하는 기능이 없다. 에어플로우의 워커는 복수개를 설정할 수 있다. 에어플로우 워커가 1개라면 해당 워커에 내가 원하는 DAG 코드를 업데이트 후 DAG를 실행해야 된다. 간단하게 설명하면 다음과 같다. 1. 에어플로우 워커 실행 2. 해당 워커 컨테이너에 원하는 실행할 DAG 코드 업데이트 하기 3. 워커 컨테이너에 넣은 DAG 실행 워커가 2개라고 가정해보자. 워커가 두개라면 어느 워커에 DAG를 업데이트 시켜야될까. 결론은 두 워커 컨테이너 모두에 같은 DAG 파일을 업데이트 해야된다. 두개의 워커 컨테이너 이름을 A 워커, B 워커라고 할 때의 작업은 다음과 같다. 1. 에어플로우 워커 A, 워커 B 실행 2. 실행할 DAG 코드를 워커 A 에 적재 3. ..
Data Engineering/Airflow
[Airflow] Bash Operator로 간단한 echo DAG 만들어보기
3_bash_operator_echo.py from airflow import DAG from airflow.operators.bash_operator import BashOperator from datetime import datetime default_args = { 'owner' : 'ParkGyeongTae' } dag = DAG ( dag_id = '3_bash_operator_echo', start_date = datetime(2022, 5, 4), schedule_interval = '* * * * *', catchup = False, tags = ['test'], description = 'Bash Operator Sample', default_args = default_args ) ech..
Data Engineering/Airflow
[Airflow] Bash Operator로 간단한 Sleep Dag 만들어보기
2_bash_operator.py from airflow import DAG from airflow.operators.bash_operator import BashOperator from datetime import datetime default_args = { 'owner' : 'ParkGyeongTae' } dag = DAG ( dag_id = '2_bash_operator', start_date = datetime(2022, 5, 4), schedule_interval = '* * * * *', catchup = False, tags = ['test'], description = 'Bash Operator Sample', default_args = default_args ) sleep_1 = Bas..
Data Engineering/Airflow
[Airflow] Python Operator로 간단한 Dag 만들어보기
1_python_operator.py from airflow import DAG from airflow.operators.python_operator import PythonOperator from datetime import datetime default_args = { 'owner' : 'ParkGyeongTae' } dag = DAG ( dag_id = '1_python_operator', start_date = datetime(2022, 5, 4), schedule_interval = '* * * * *', catchup = False, tags = ['test'], description = 'Python Operator Sample', default_args = default_args ) def..
Data Engineering/Airflow
[Airflow] airflow에 연결된 postgreSQL 테이블 확인하기
https://github.com/ParkGyeongTae/airflow-pgt/tree/main/0_airflow GitHub - ParkGyeongTae/airflow-pgt Contribute to ParkGyeongTae/airflow-pgt development by creating an account on GitHub. github.com sudo -u postgres psql -U postgres -c "\list" sudo -u postgres psql -U postgres -d airflow -c "\list" sudo -u postgres psql -U postgres -d airflow -c "\dt" sudo -u postgres psql -U postgres -d airflow -..
Data Engineering/Airflow
[Airflow] 다양한 Dag Graph 실습해보자 (Bash operator)
https://github.com/ParkGyeongTae/airflow-pgt/tree/main/0_airflow GitHub - ParkGyeongTae/airflow-pgt Contribute to ParkGyeongTae/airflow-pgt development by creating an account on GitHub. github.com from airflow import DAG from airflow.operators.bash_operator import BashOperator from datetime import datetime dag = DAG ( dag_id = 'my_bash_dag', start_date = datetime(2022, 4, 16), schedule_interval ..
Data Engineering/Airflow
[Airflow] Apache Airflow 실행하기
https://github.com/ParkGyeongTae/airflow-pgt/tree/main/0_airflow GitHub - ParkGyeongTae/airflow-pgt Contribute to ParkGyeongTae/airflow-pgt development by creating an account on GitHub. github.com docker-compose.yml version: '2.1' services: airflow: hostname: airflow container_name: airflow image: airflow-pgt:0.01 restart: always stdin_open: true tty: true ports: - 28080:8080 volumes: - type: bi..
