'Data Engineering' 카테고리의 글 목록 (16 Page)

[Airflow] Python Operator로 간단한 Dag 만들어보기

2022.05.04

1_python_operator.py from airflow import DAG from airflow.operators.python_operator import PythonOperator from datetime import datetime default_args = { 'owner' : 'ParkGyeongTae' } dag = DAG ( dag_id = '1_python_operator', start_date = datetime(2022, 5, 4), schedule_interval = '* * * * *', catchup = False, tags = ['test'], description = 'Python Operator Sample', default_args = default_args ) def..

Data Engineering/Airflow

[Airflow] airflow에 연결된 postgreSQL 테이블 확인하기

2022.04.18

https://github.com/ParkGyeongTae/airflow-pgt/tree/main/0_airflow GitHub - ParkGyeongTae/airflow-pgt Contribute to ParkGyeongTae/airflow-pgt development by creating an account on GitHub. github.com sudo -u postgres psql -U postgres -c "\list" sudo -u postgres psql -U postgres -d airflow -c "\list" sudo -u postgres psql -U postgres -d airflow -c "\dt" sudo -u postgres psql -U postgres -d airflow -..

Data Engineering/Airflow

[Airflow] 다양한 Dag Graph 실습해보자 (Bash operator)

2022.04.18

https://github.com/ParkGyeongTae/airflow-pgt/tree/main/0_airflow GitHub - ParkGyeongTae/airflow-pgt Contribute to ParkGyeongTae/airflow-pgt development by creating an account on GitHub. github.com from airflow import DAG from airflow.operators.bash_operator import BashOperator from datetime import datetime dag = DAG ( dag_id = 'my_bash_dag', start_date = datetime(2022, 4, 16), schedule_interval ..

Data Engineering/Airflow

[Airflow] Apache Airflow 실행하기

2022.04.18

https://github.com/ParkGyeongTae/airflow-pgt/tree/main/0_airflow GitHub - ParkGyeongTae/airflow-pgt Contribute to ParkGyeongTae/airflow-pgt development by creating an account on GitHub. github.com docker-compose.yml version: '2.1' services: airflow: hostname: airflow container_name: airflow image: airflow-pgt:0.01 restart: always stdin_open: true tty: true ports: - 28080:8080 volumes: - type: bi..

Data Engineering/Spark

[Spark] Zeppelin 사용하여 여러가지 RDD 만드는 방법 parallelize 사용

2022.04.15

https://github.com/ParkGyeongTae/spark-pgt/tree/main/2_spark-cluster-zeppelin GitHub - ParkGyeongTae/spark-pgt Contribute to ParkGyeongTae/spark-pgt development by creating an account on GitHub. github.com 입력 %spark val data = sc.parallelize(1 to 100) data.count 출력 data: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[3] at parallelize at :26 res13: Long = 100 입력 %spark val data = sc.paral..

Data Engineering/Spark

[Spark] Zeppelin 실행시 초기 로그 확인하기

2022.04.15

사용중인 파일 모음 https://github.com/ParkGyeongTae/spark-pgt/tree/main/2_spark-cluster-zeppelin GitHub - ParkGyeongTae/spark-pgt Contribute to ParkGyeongTae/spark-pgt development by creating an account on GitHub. github.com 로그 파일 위치 pwd ll cat zeppelin--zeppelin.out cat zeppelin--zeppelin.log root@zeppelin:/home/zeppelin/logs# cat zeppelin--zeppelin.log WARN [2022-04-15 07:03:09,425] ({main} ZeppelinCo..

Data Engineering/Spark

[Spark] Apache Zeppelin 로그 파일 위치 확인하기

2022.04.15

모든 설정파일은 아래에서 확인이 가능합니다. https://github.com/ParkGyeongTae/spark-pgt/tree/main/2_spark-cluster-zeppelin GitHub - ParkGyeongTae/spark-pgt Contribute to ParkGyeongTae/spark-pgt development by creating an account on GitHub. github.com 나는 제플린의 로그가 어디에 쌓이는지 확인하고 싶었다. 기본적으로 제플린의 로그는 제플린 폴더 안에 /logs 라는 곳에 들어간다. pwd ll cd logs ll pwd 로그의 위치는 zeppelin-env.sh 에서 설정할 수 있다. ZEPPELIN_LOG_DIR 만약 로깅되는 위치를 수정하고싶..

Data Engineering/Spark

[Spark] Apache Spark + Apache Zeppelin 실행하기

2022.04.15

사용한 파일은 아래 깃허브로 구성을 했다. https://github.com/ParkGyeongTae/spark-pgt/tree/main/2_spark-cluster-zeppelin GitHub - ParkGyeongTae/spark-pgt Contribute to ParkGyeongTae/spark-pgt development by creating an account on GitHub. github.com 먼저 파일 구조를 보자 dockerfile FROM ubuntu:18.04 LABEL maintainer "ParkGyeongTae" # apt 설치시 입력요청 무시 ENV DEBIAN_FRONTEND=noninteractive # apt 미러서버 미국(default) -> 한국 변경 RUN sed ..

Data Engineering/Spark

[Spark] Stand-Alone 실행 중 Master 컨테이너 중지 후 실행

2022.04.15

사용 중인 스파크 설정 관련 깃허브는 다음과 같다 https://github.com/ParkGyeongTae/spark-pgt/tree/main/1_spark-cluster GitHub - ParkGyeongTae/spark-pgt Contribute to ParkGyeongTae/spark-pgt development by creating an account on GitHub. github.com 마스터1, 슬레이브3의 스탠드 얼론 클러스터를 운영하고있다. docker-compose.yml 파일은 다음과 같다. version: '2.1' services: spark-master: hostname: spark-master container_name: spark-master image: spark-clus..

Data Engineering/Spark

[Spark] spark-shell, spark-submit 실행시 --num-executors 에 대한 확인

2022.04.13

이번 테스트에서 작성중인 깃허브는 다음과 같다. https://github.com/ParkGyeongTae/spark-pgt/tree/main/1_spark-cluster GitHub - ParkGyeongTae/spark-pgt Contribute to ParkGyeongTae/spark-pgt development by creating an account on GitHub. github.com 다른 블로그들을 보면 spark-shell 또는 pyspark 또는 spark-submit 명령어를 사용시 --num-executors 옵션을 주면 익스큐터의 갯수를 설정할 수 있다고들 한다. 하지만 나는 이 방식이 적용되지 않았다.... 이유는 잘 모르겠으나, 해결방법은 찾은 것 같다. 왜 다른 블로그에서는 ..

티스토리툴바