[Airflow] postgres MetaDB에 사용하지 않는 데이터가 쌓이는 현상

지금까지 확인한 상황은 다음과 같다.

 

1) 1_python_operator 라는 dag를 만들면 일어나는 일

- 웹서버에서 dag 표시가 됨

- postgres db에서 dag 테이블에 데이터가 생김

- postgres db에서 dag_code 테이블에 데이터가 생김

추가확인) 웹서버의 dag와 postgres db에서 dag 테이블의 데이터 생성이 일치함

 

2) 1_python_operator 라는 dag를 실행하면 일어나는 일 

- task 실행됨

- dag_run 에 데이터 생김

- task_instance 에 실행한 task 데이터 생김

- flower 에 실행한 task 생김

 

3) 1_python_operator 라는 dag를 웹서버에서 삭제하면 일어나는 일

- 웹서버에서 dag 삭제됨

- postgres db 에서 dag 테이블에 있었던 데이터 삭제됨

- postgres db 에서 dag_code 테이블에 있었던 데이터 삭제안됨 (관리해줘야됨)

- dag_run 에 있었던 데이터 삭제됨

- task_instance 에 있던 데이터 삭제됨

- flower 에 실행한 task 삭제안됨

 

4) 1_python_operator 라는 dag 파일을 웹서버에서 제거하지 않고 파일 자체를 바로 삭제하면 일어나는 일

- 웹서버에서 dag 삭제됨

- postgres db 에서 dag 테이블에 있었던 데이터 삭제안됨

- postgres db 에서 dag_code 테이블에 있었던 데이터 삭제안됨

- dag_run 에 있었던 데이터 삭제안됨

- task_instance 에 있던 데이터 삭제안됨

- flower 에 실행한 task 삭제안됨