Data Engineering

Data Engineering/AI

[NLP] 코랩에 konlpy 설치 후 Kkma 사용해보기

1. 라이브러리 설치 # bash 셸로 명령어 입력하여 라이브러리 설치하기 %%bash apt-get update apt-get install g++ openjdk-8-jdk python-dev python3-dev pip3 install JPype1 pip3 install konlpy 2. 자바 환경변수 설정 # JAVA_HOME 환경변수 설정하기 %env JAVA_HOME "/usr/lib/jvm/java-8-openjdk-amd64" 3. 형태소 테스트 # Kkma 사용해보기 from konlpy from konlpy.tag import Kkma kkma=Kkma() # 형태소 print("kkma.porphs : ", kkma.morphs('안녕하세요. 저는 딥러닝 입니다.')) # 명사 prin..

Data Engineering/AI

[NLP] 코랩에 konlpy 설치 후 Hannanum 사용해보기

1. 라이브러리 설치 # bash 셸로 명령어 입력하여 라이브러리 설치하기 %%bash apt-get update apt-get install g++ openjdk-8-jdk python-dev python3-dev pip3 install JPype1 pip3 install konlpy 2. 환경변수 설정 # JAVA_HOME 환경변수 설정하기 %env JAVA_HOME "/usr/lib/jvm/java-8-openjdk-amd64" 3. hannanum 테스트 # Hannanum 사용해보기 from konlpy from konlpy.tag import Hannanum hannanum = Hannanum() # 형태소 print("hannanum.morphs : ", hannanum.morphs('안녕하..

Data Engineering/AI

[NLP] 코랩에 konlpy 설치 후 mecab 사용해보기

1. 필수 라이브러리 설치 # bash 셸로 명령어 입력하여 라이브러리 설치하기 %%bash apt-get update apt-get install g++ openjdk-8-jdk python-dev python3-dev pip3 install JPype1 pip3 install konlpy 2. 환경변수 설정하기 # JAVA_HOME 환경변수 설정하기 %env JAVA_HOME "/usr/lib/jvm/java-8-openjdk-amd64" 3. Mecab 설치하기 # bash 셸로 명령어 입력하여 mecab 설치하기 %%bash bash

Data Engineering/Kafka

[kafka] 카프카 예제 및 명령어 공부 3

1. 카프카 설치 위치로 이동 cd /opt/kafka 2. 주키퍼 실행상태 확인 service zookeeper status 3. 카프카 실행상태 확인 service kafka status 4. result라는 이름을 가진 토픽 생성 ./bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --topic result 5. 전체 토픽 조회 ./bin/kafka-topics.sh --list --bootstrap-server localhost:9092 6. result 토픽 상세조회 ./bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic result 7. 토픽에 프로듀서..

Data Engineering/Kafka

[kafka] 카프카 예제 및 명령어 공부 2

1. 카프카 설치 경로로 이동 cd /opt/kafka 2. 주키퍼 실행 상태 확인 service zookeeper status 3. 카프카 실행 상태 확인 service kafka status 4. 카프카 토픽 전체 확인 ./bin/kafka-topics.sh --list --zookeeper localhost:2181 5. test 라는 이름을 가진 토픽 만들기 ./bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --topic test 6. 전체 토픽 조회하기 ./bin/kafka-topics.sh --list --zookeeper localhost:2181 7. 토픽 상세보기 ./bin/kafka-topics.sh --describe ..

Data Engineering/Kafka

[kafka] 카프카 예제 및 명령어 공부 1

1. 주키퍼 실행 확인 service zookeeper status 2. 카프카 실행 상태 확인 service kafka status 3. 카프카 설치된 곳으로 이동하기 cd /opt cd kafka 4. 전체 토픽 확인하기 ./bin/kafka-topics.sh --bootstrap-server localhost:9092 --list 5. test 이름을 가진 토픽 만들기 ./bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test 6. 토픽 전체 조회하기 ./bin/kafka-topics.sh --bootstrap-server localhost:9092 -..

Data Engineering/Kafka

[kafka] 카프카 명령어 모음 Kafka Command Collection

주키퍼 실행 ./bin/zookeeper-server-start.sh -daemon config/zookeeper.properties 카프카 실행 ./bin/kafka-server-start.sh -daemon config/server.properties 토픽 생성 ./bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test 토픽 리스트 확인 ./bin/kafka-topics.sh --list --bootstrap-server localhost:9092 토픽 상세보기 ./bin/kafka-topics.sh --describe --bootstrap-server ..

박경태
'Data Engineering' 카테고리의 글 목록 (23 Page)