Data Engineering

Data Engineering/Zeppelin

[Zeppelin] zsh: command not found: docker-compose

해결 방법sudo ln -sf /Applications/Docker.app/Contents/Resources/cli-plugins/docker-compose /usr/local/bin/docker-compose참고https://github.com/docker/for-mac/issues/7345

Data Engineering/Zeppelin

[Zeppelin] Apache Thrift

Apache Thrift란Apache Thrift는 다양한 프로그래밍 언어 간에 효율적으로 서비스를 정의하고 상호 운영할 수 있도록 설계된 인터페이스 정의 언어 및 바이너리 통신 프로토콜임.Thrift는 원래 페이스북에서 개발됐으며, 이후 아파치 소프트웨어 재단에 기부되어 현재 오픈 소스 프로젝트로 관리됨. Apache Thrift의 주요 기능 및 개념1. 인터페이스 정의 언어Thrift는 IDL을 사용하여 서비스 인터페이스 및 데이터 구조를 정의함.이 정의는 Thrift 컴파일러를 사용하여 여러 프로그래밍 언어의 클라이언트 및 서버 코드를 생성하는 데 사용됨.예를 들어, Thrift 파일 (.thrift)에서 데이터 구조와 서비스 메서드를 정의하면, 이를 바탕으로 Java, Python, C++, Go..

Data Engineering/Zeppelin

[Zeppelin] zeppelin/scripts/docker/zeppelin/bin/Dockerfile 분석

원본# Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreements. See the NOTICE file distributed with# this work for additional information regarding copyright ownership.# The ASF licenses this file to You under the Apache License, Version 2.0# (the "License"); you may not use this file except in compliance with# the License. You may obtain a copy of the ..

Data Engineering/Zeppelin

[Zeppelin] 아파치 제플린이란

아파치 제플린이란?아파치 제플린은 데이터 분석, 시각화, 협업을 위한 웹 기반의 노트북 인터페이스임.다양한 데이터 소스에 접근하여 데이터를 분석하고, 시각화할 수 있으며, 다양한 언어를 지원하여 개발자, 데이터 과학자, 분석가가 함께 작업할 수 있도록 도와줌. 아파치 제플린의 주요 기능과 특징1. 노트북 인터페이스아파치 제플린은 주피터 노트북과 유사한 웹 기반의 노트북 환경을 제공함.사용자는 코드, 텍스트, 그리고 시각화된 데이터를 같은 노트북에서 함께 다룰 수 있음.노트북 형식으로 작업을 문서화하고, 분석 과정을 공유하거나 재현할 수 있음. 2. 다양한 언어 지원아파치 제플린은 여러 프로그래밍 언어를 지원함.기본적으로 Scala, Python, SQL, R 등을 사용할 수 있으며, 플러그인이나 인터프리..

Data Engineering/Zeppelin

[Zeppelin] 로그_20240729

웹페이지 첫 접속 INFO [2024-07-29 21:33:10,314] ({qtp730923082-36} NoAuthenticationService.java[]:38) - NoAuthenticationService is initialized WARN [2024-07-29 21:33:10,321] ({qtp730923082-36} SecurityRestApi.java[ticket]:82) - {"status":"OK","message":"","body":{"principal":"anonymous","ticket":"anonymous","roles":"[]"}} WARN [2024-07-29 21:33:10,396] ({qtp730923082-28} ClusterRestApi.java[]:66) - Cl..

Data Engineering/Zeppelin

[Zeppelin] 코드분석_20240726

시작지점ZeppelinServerzeppelin-server/src/main/java/org/apache/zeppelin/server/ZeppelinServer.java public static void main(String[] args) throws Exception { ZeppelinConfiguration conf = ZeppelinConfiguration.load(); conf.printShortInfo(); try (ZeppelinServer server = new ZeppelinServer(conf)) { server.startZeppelin(); } } ZeppelinConfigurationzeppelin-interpreter/src/main/java/org..

Data Engineering/Zeppelin

[Zeppelin] MacOS에 minikube 설치하는 방법

1. Docker Desktop 설치https://www.docker.com/products/docker-desktop/ 2. hyperkit 버전 확인hyperkit -version  3. kubernetes-cli 설치brew install kubernetes-cli  4. minikube 설치brew install minikube 5. minikube 실행minikube startkubectl versionkubectl get componentstatuses 6. 쿠버네티스 대시보드 보기minikube dashboard

Data Engineering/Zeppelin

[Zeppelin] Jira에 이슈 등록하고 PR 하는 방법

1. Jira 이슈 등록하기Jira Zeppelin 접속 및 로그인- https://issues.apache.org/jira/projects/ZEPPELIN/issues 만들기 클릭 설정 및 정보 채워넣기- 이슈 유형- 요약- 우선순위- 구성요소- 수정버전- 설명- 첨부 파일- 최초 추정- 레이블 본인이 작업 예정이라면 Jira에 댓글 남기기 2. 작업내 계정으로 포크한 레파지토리에서 작업 작업이 완료됐다면 master 브랜치에 그대로 커밋 및 푸시하기 원본 제플린 레파지토리로 가서 PR 만들기- https://github.com/apache/zeppelin/pull/4776

Data Engineering/Zeppelin

[Zeppelin] 제플린 개발환경 설정

1. Intellij 커뮤니티 버전 설치- https://www.jetbrains.com/ko-kr/idea/download/?section=mac 2. Intellij 플러그인 설치- Intellij -> Command + ,- "Korean Langauge Pack / 한국어 언어 팩"- "Docker" 3. Intellij 프로젝트 jdk 설정- Intellij -> Command + ; 4. CLI에서 빌드 후 Intellij 로 실행해보기- CLI에서 빌드 명령어 : ./mvnw clean package -DskipTests- 시작 위치 : zeppelin/zeppelin-server/src/main/java/org/apache/zeppelin/server/ZeppelinServer.java- ..

Data Engineering/Zeppelin

[Zeppelin] 로컬에 제플린 빌드하는 방법

1. 레파지토리 포크- https://github.com/apache/zeppelin 2. 깃 클론 3. 자바 설치brew list  brew tap adoptopenjdk/openjdk brew install cask brew install --cask adoptopenjdk11 brew list 4. 환경변수 설정vim ~/.zshrc export JAVA_HOME=$(/usr/libexec/java_home -v 11)export PATH=${PATH}:$JAVA_HOME/bin: source ~/.zshrc java --version 5. 제플린 로컬 빌드 : 10분 ~ 15분./mvnw clean package -DskipTests 6. 제플린 실행 및 종료./bin/zeppelin-daemon..

박경태
'Data Engineering' 카테고리의 글 목록 (5 Page)