Data Engineering/Zeppelin

Data Engineering/Zeppelin

[Zeppelin] zeppelin/python/src/main/java/org/apache/zeppelin/python/PythonUtils.java 분석

원본 코드package org.apache.zeppelin.python;import org.apache.commons.codec.binary.Base64;import org.slf4j.Logger;import org.slf4j.LoggerFactory;import py4j.GatewayServer;import java.io.IOException;import java.net.Inet4Address;import java.net.InetAddress;import java.net.UnknownHostException;import java.security.SecureRandom;import java.util.Properties;public class PythonUtils { private static final..

Data Engineering/Zeppelin

[Zeppelin] zeppelin/python/src/main/java/org/apache/zeppelin/python/PythonZeppelinContext.java 분석

원본 코드package org.apache.zeppelin.python;import org.apache.zeppelin.interpreter.ZeppelinContext;import org.apache.zeppelin.interpreter.InterpreterHookRegistry;import java.util.List;import java.util.Map;/** * ZeppelinContext for Python */public class PythonZeppelinContext extends ZeppelinContext { public PythonZeppelinContext(InterpreterHookRegistry hooks, int maxResult) { super(hooks, maxResu..

Data Engineering/Zeppelin

[Zeppelin] zsh: command not found: docker-compose

해결 방법sudo ln -sf /Applications/Docker.app/Contents/Resources/cli-plugins/docker-compose /usr/local/bin/docker-compose참고https://github.com/docker/for-mac/issues/7345

Data Engineering/Zeppelin

[Zeppelin] Apache Thrift

Apache Thrift란Apache Thrift는 다양한 프로그래밍 언어 간에 효율적으로 서비스를 정의하고 상호 운영할 수 있도록 설계된 인터페이스 정의 언어 및 바이너리 통신 프로토콜임.Thrift는 원래 페이스북에서 개발됐으며, 이후 아파치 소프트웨어 재단에 기부되어 현재 오픈 소스 프로젝트로 관리됨. Apache Thrift의 주요 기능 및 개념1. 인터페이스 정의 언어Thrift는 IDL을 사용하여 서비스 인터페이스 및 데이터 구조를 정의함.이 정의는 Thrift 컴파일러를 사용하여 여러 프로그래밍 언어의 클라이언트 및 서버 코드를 생성하는 데 사용됨.예를 들어, Thrift 파일 (.thrift)에서 데이터 구조와 서비스 메서드를 정의하면, 이를 바탕으로 Java, Python, C++, Go..

Data Engineering/Zeppelin

[Zeppelin] zeppelin/scripts/docker/zeppelin/bin/Dockerfile 분석

원본# Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreements. See the NOTICE file distributed with# this work for additional information regarding copyright ownership.# The ASF licenses this file to You under the Apache License, Version 2.0# (the "License"); you may not use this file except in compliance with# the License. You may obtain a copy of the ..

Data Engineering/Zeppelin

[Zeppelin] 아파치 제플린이란

아파치 제플린이란?아파치 제플린은 데이터 분석, 시각화, 협업을 위한 웹 기반의 노트북 인터페이스임.다양한 데이터 소스에 접근하여 데이터를 분석하고, 시각화할 수 있으며, 다양한 언어를 지원하여 개발자, 데이터 과학자, 분석가가 함께 작업할 수 있도록 도와줌. 아파치 제플린의 주요 기능과 특징1. 노트북 인터페이스아파치 제플린은 주피터 노트북과 유사한 웹 기반의 노트북 환경을 제공함.사용자는 코드, 텍스트, 그리고 시각화된 데이터를 같은 노트북에서 함께 다룰 수 있음.노트북 형식으로 작업을 문서화하고, 분석 과정을 공유하거나 재현할 수 있음. 2. 다양한 언어 지원아파치 제플린은 여러 프로그래밍 언어를 지원함.기본적으로 Scala, Python, SQL, R 등을 사용할 수 있으며, 플러그인이나 인터프리..

Data Engineering/Zeppelin

[Zeppelin] 로그_20240729

웹페이지 첫 접속 INFO [2024-07-29 21:33:10,314] ({qtp730923082-36} NoAuthenticationService.java[]:38) - NoAuthenticationService is initialized WARN [2024-07-29 21:33:10,321] ({qtp730923082-36} SecurityRestApi.java[ticket]:82) - {"status":"OK","message":"","body":{"principal":"anonymous","ticket":"anonymous","roles":"[]"}} WARN [2024-07-29 21:33:10,396] ({qtp730923082-28} ClusterRestApi.java[]:66) - Cl..

Data Engineering/Zeppelin

[Zeppelin] 코드분석_20240726

시작지점ZeppelinServerzeppelin-server/src/main/java/org/apache/zeppelin/server/ZeppelinServer.java public static void main(String[] args) throws Exception { ZeppelinConfiguration conf = ZeppelinConfiguration.load(); conf.printShortInfo(); try (ZeppelinServer server = new ZeppelinServer(conf)) { server.startZeppelin(); } } ZeppelinConfigurationzeppelin-interpreter/src/main/java/org..

Data Engineering/Zeppelin

[Zeppelin] MacOS에 minikube 설치하는 방법

1. Docker Desktop 설치https://www.docker.com/products/docker-desktop/ 2. hyperkit 버전 확인hyperkit -version  3. kubernetes-cli 설치brew install kubernetes-cli  4. minikube 설치brew install minikube 5. minikube 실행minikube startkubectl versionkubectl get componentstatuses 6. 쿠버네티스 대시보드 보기minikube dashboard

Data Engineering/Zeppelin

[Zeppelin] Jira에 이슈 등록하고 PR 하는 방법

1. Jira 이슈 등록하기Jira Zeppelin 접속 및 로그인- https://issues.apache.org/jira/projects/ZEPPELIN/issues 만들기 클릭 설정 및 정보 채워넣기- 이슈 유형- 요약- 우선순위- 구성요소- 수정버전- 설명- 첨부 파일- 최초 추정- 레이블 본인이 작업 예정이라면 Jira에 댓글 남기기 2. 작업내 계정으로 포크한 레파지토리에서 작업 작업이 완료됐다면 master 브랜치에 그대로 커밋 및 푸시하기 원본 제플린 레파지토리로 가서 PR 만들기- https://github.com/apache/zeppelin/pull/4776

박경태
'Data Engineering/Zeppelin' 카테고리의 글 목록 (4 Page)