Data Engineering
Data Engineering/AI
[AI, ML, DL] 인공지능 활성화 함수란?
활성화 함수 (Activation Function) - 입력 신호의 합을 출력 신호로 변환하는 함수 - 입력 받은 신호를 얼마나 출력할지 결정 - 비선형함수 (Nonlinear Function) - 입력 신호의 총합이 활성화를 일으키는지 정하는 역할 활성화 함수 종류 - 계단 함수 (Step Function) - 시그모이드 함수 (Sigmoid Function) - 하이퍼볼릭탄젠트 함수 (Hyperbolic Tangent Function) - 렐루 함수 (ReLU) - 리키 렐루 함수 (Leaky ReLU) - 소프트맥스 함수 (Softmax Function) 뉴런A > 뉴런B - 뉴런A 에서 뉴런B 로 신호를 전달할 때, 임계점을 경계로 출력값에 큰 변화를 줌 입력 데이터 > 활성화 함수 > 출력 데이터
Data Engineering/AI
[AI, ML, DL] 인공신경망 가중치와 편향이란?
가중치 = Weight (상수) 편향 = Bias (상수) "입력데이터A > 뉴런A > 출력데이터" 뉴런A = (입력데이터A * 가중치) + 편향 "입력데이터A > 뉴런A > 출력데이터" "입력데이터B > 뉴런A > 출력데이터" 뉴런A = (입력데이터A * 가중치A) + (입력데이터B * 가중치B) + 편향
Data Engineering/Kafka
[Zookeeper] 주키퍼 도커 컴포즈로 실행시 가상볼륨 하나로 만드는 방법
docker-compose.yml version: '3.1' services: zoo1: image: zookeeper:3.8.0 container_name: zoo1 hostname: zoo1 ports: - 2181:2181 environment: ZOO_MY_ID: 1 ZOO_SERVERS: server.1=zoo1:2888:3888;2181 server.2=zoo2:2888:3888;2181 server.3=zoo3:2888:3888;2181 volumes: - zoo1-data:/data - zoo1-datalog:/datalog - zoo1-logs:/logs zoo2: image: zookeeper:3.8.0 container_name: zoo2 hostname: zoo2 ports: - 2..
Data Engineering/Kafka
[Zookeeper] 주키퍼 도커 컴포즈 실행시 가상볼륨 생성되는 문제
docker-compose.yml version: '3.1' services: zoo1: image: zookeeper:3.8.0 container_name: zoo1 hostname: zoo1 ports: - 2181:2181 environment: ZOO_MY_ID: 1 ZOO_SERVERS: server.1=zoo1:2888:3888;2181 server.2=zoo2:2888:3888;2181 server.3=zoo3:2888:3888;2181 zoo2: image: zookeeper:3.8.0 container_name: zoo2 hostname: zoo2 ports: - 2182:2181 environment: ZOO_MY_ID: 2 ZOO_SERVERS: server.1=zoo1:2888:38..
Data Engineering/Spark
[Spark] 아파치 스파크의 실행 과정 요약
1. 사용자는 Spark를 실행 2. Spark-Submit 으로 애플리케이션 제출 3. Spark Driver Process 가 Main()을 실행 4. SparkContext를 생성 5. SparkContext와 Spark Cluster Manager 연결 6. Spark Driver Process 가 Spark Cluster Manager 로 부터 Executor 실행을 위한 리소스 요청 7. Spark Context는 작업 내용을 task 단위로 분할하여 Executor 에 전송 8. 각 Executor는 작업을 수행 9. 결과를 저장
Data Engineering/Spark
[spark] spark-prometheus-grafana 대시보드 정리
Step 1) Spark의 conf 폴더에서 metrics.properties 파일 생성 후 다음 내용 작성 *.sink.prometheusServlet.class=org.apache.spark.metrics.sink.PrometheusServlet *.sink.prometheusServlet.path=/metrics/prometheus master.sink.prometheusServlet.path=/metrics/master/prometheus applications.sink.prometheusServlet.path=/metrics/applications/prometheus Step 2) spark-submit 실행시 다음 명령어 추가 --conf spark.ui.prometheus.enabled=tr..
Data Engineering/Kafka
[kafka] kafka-producer-perf-test 의 --record-size 옵션 확인해보기
토픽 만들기 kafka-topics --create --bootstrap-server kafka-1:9092,kafka-2:9093,kafka-3:9094 --replication-factor 3 --partitions 3 --topic performance-test --record-size 2000 으로 프로듀서 테스트 해보기 kafka-producer-perf-test --topic performance-test --throughput -1 --num-records 1 --record-size 2000 --producer-props ack=1 bootstrap.servers=kafka-1:9092,kafka-2:9093,kafka-3:9094 토픽 읽기 kafka-console-consumer --b..
Data Engineering/Kafka
[kafka] 컨슈머 성능 테스트 하는 방법
토픽 생성 kafka-topics --create --bootstrap-server kafka-1:9092,kafka-2:9093,kafka-3:9094 --replication-factor 3 --partitions 3 --topic performance-test 프로듀서 테스트 kafka-producer-perf-test --topic performance-test --throughput -1 --num-records 100000 --record-size 2000 --producer-props ack=1 bootstrap.servers=kafka-1:9092,kafka-2:9093,kafka-3:9094 컨슈머 테스트 kafka-consumer-perf-test --topic performance-t..
Data Engineering/Kafka
[kafka] 프로듀서 성능 테스트 하는 방법
토픽생성 kafka-topics --create --bootstrap-server kafka-1:9092,kafka-2:9093,kafka-3:9094 --replication-factor 3 --partitions 3 --topic performance-test 프로듀서 성능 테스트 kafka-producer-perf-test --topic performance-test --throughput -1 --num-records 100000 --record-size 2000 --producer-props ack=1 bootstrap.servers=kafka-1:9092,kafka-2:9093,kafka-3:9094
