1. 언제, 어디에서, 어떻게, 왜 데이터를 수집할 것인가에 대한 고민 필요
2. 데이터 파이프라인 구축시 수동작업 제거 필요
3. 데이터가 흐르도록 만들어야 함
4. 데이터 파이프라인 구축은 추출, 변경, 결합, 검증, 적재 과정을 자동화하는 것
5. 여러 데이터 스트림을 한번에 처리가 가능해야 함
6. ETL은 추출, 변환, 적재의 줄임말
7. 데이터 파이프라인은 ETL을 포함하는 광범위한 말
'Data Engineering > Airflow' 카테고리의 다른 글
| [Airflow] 컴포넌트, MWAA (0) | 2024.05.15 |
|---|---|
| [Airflow] 에어플로우 DAG란? (0) | 2023.04.02 |
| [Airflow] 에어플로우의 로그파일이 존재하지 않을 때 (0) | 2022.12.10 |
| [Airflow] The sql_alchemy_conn option in [core] has been moved to the sql_alchemy_conn option in [database] - the old setting has been used, but please update your config. 에러 해결 (0) | 2022.12.06 |
| [Airflow] airflow db reset을 하면 scheduler가 죽는다.. (0) | 2022.12.06 |
