Data Engineering/Airflow
[Airflow] DAG파일 등록시 MetaDB 확인
등록한 DAG이름 : 1_python_operator select * from dag
데이터 엔지니어
Data Engineering/Airflow
[Airflow] 임의의 DAG 실행시 Flower 상태 확인
1_python_operator 라는 DAG가 있고, 6개의 task를 갖고있다. 6개의 task 이름은 print_1 ~ print_6 이고, 두번 실행했을 때 flower web을 확인해보자 task의 uuid를 클릭하면 다음과 같은 화면을 볼 수 있다.
Data Engineering/Airflow
[Airflow] 에어플로우 이미지에 패키지 업데이트시 이미지 크기 비교
업데이트 x FROM apache/airflow:2.4.1-python3.8 USER root COPY ./entrypoint.sh /home/entrypoint.sh ENTRYPOINT ["/usr/bin/dumb-init", "--", "/home/entrypoint.sh"] 업데이트 o FROM apache/airflow:2.4.1-python3.8 USER root RUN apt-get update COPY ./entrypoint.sh /home/entrypoint.sh ENTRYPOINT ["/usr/bin/dumb-init", "--", "/home/entrypoint.sh"]
Data Engineering/Airflow
[Airflow] 비밀번호 입력 없이 sudo 명령어 사용하는 방법
apt-get install sudo -y echo 'airflow ALL=NOPASSWD: ALL' >> /etc/sudoers echo '사용자명 ALL=NOPASSWD: ALL' >> /etc/sudoers
