데이터 엔지니어

Programming Language/Python

[python] Length mismatch: Expected axis has 3 elements, new values have 4 elements 인덱스 에러

다음과 같은 에러가 날 때 코드는 다음과 같다 import pandas as pd df = pd.DataFrame([['1', '박', 'park'], ['2', '김', 'kim'], ['3', '최', 'choi']], columns = ['id', 'kr', 'en'], index = ['a', 'b', 'c']) df.index = ['aa', 'bb', 'cc', 'dd'] print(df) 인덱스가 3개인데 4개를 정의해서 발생하는 에러다 인덱스를 3개로 수정하고 다시 실행해보자 import pandas as pd df = pd.DataFrame([['1', '박', 'park'], ['2', '김', 'kim'], ['3', '최', 'choi']], columns = ['id', 'kr',..

Operating System/Linux

[linux] 배쉬 스크립트 만드는 방법

먼저 test.sh 파일을 만들고 다음 내용을 입력해서 실행해보자 #!/bin/bash echo 1 위의 내용을 test.sh에 입력하고 실행한다 ./test.sh 내용을 다음으로 변경해보자 #!/bin/bash echo 1 echo "1" printf hello printf "hi" 실행해보자 ./test.sh 주석을 해보자 #!/bin/bash echo 1 echo "1" printf hello printf "hi" #한줄주석 # 한줄주석 :

Operating System/Linux

[linux] /bin/bash: bad interpreter: Permission denied 해결 방법

test.sh 파일을 만들고 다음 내용을 입력해서 저장하자 #!/bin/bash echo 1 그리고 실행시키자 ./test.sh 다음과 같은 에러가 발생한다. /bin/bash: bad interpreter: Permission denied 파일의 권한을 보자 ll 파일에 권한을 주자 chmod 755 test.sh 다시 파일을 자세히 보자 ll 권한이 잘 들어간 것을 확인할 수 있다. 이번에는 파일을 실행해보자 ./test.sh 실행이 잘 된 것을 확인할 수 있따!!

Operating System/Linux

[linux] 잘못된 인터프리터 : 허가 거부 에러를 해결하는 방법

먼저 test.sh 라는 파일을 만들고 내용을 다음과 같이 입력해보자 #!/bin/bash echo 1 그리고 test.sh 파일을 실행한다 ./test.sh /bin/bash: 잘못된 인터프리터 : 허가 거부 라는 표시가 뜬다. ll 을 입력해보자 ll 권한을 부여해보자 chmod 755 test.sh 다시 ll 입력해보자 ll 다음은 다시 test.sh 파일을 실행해보자 정상적으로 실행되는 것을 확인할 수 있다

Data Engineering/Kafka

[kafka] 카프카 클러스터 만드는 방법

docker-compose.yml version: '2' services: # wurstmeister/zookeeper:3.4.6 zookeeper: hostname: zookeeper container_name: zookeeper image: wurstmeister/zookeeper:3.4.6 ports: - "2181:2181" # wurstmeister/kafka:2.13-2.8.1 - broker 1 kafka1: hostname: kafka1 container_name: kafka1 image: wurstmeister/kafka:2.13-2.8.1 environment: KAFKA_BROKER_ID: 1 KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 KAFKA_ADVER..

Data Engineering/Kafka

[kafka] 카프카 토픽 생성하는 방법

docker-compose.yml version: '3' services: # wurstmeister/zookeeper:3.4.6 zookeeper: hostname: zookeeper container_name: zookeeper image: wurstmeister/zookeeper:3.4.6 ports: - "2181:2181" # wurstmeister/kafka:2.13-2.8.1 kafka: hostname: kafka container_name: kafka image: wurstmeister/kafka:2.13-2.8.1 environment: KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092 KAFKA_LISTENERS: PLAINTEXT://..

Data Engineering/Kafka

[kafka] 카프카 클러스터를 GUI(kafdrop)으로 구축하기

docker-compose.yml version: '2' services: # wurstmeister/zookeeper:3.4.6 zookeeper: hostname: zookeeper container_name: zookeeper image: wurstmeister/zookeeper:3.4.6 ports: - "2181:2181" # wurstmeister/kafka:2.13-2.8.1 - broker 1 kafka1: hostname: kafka1 container_name: kafka1 image: wurstmeister/kafka:2.13-2.8.1 environment: KAFKA_BROKER_ID: 1 KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 KAFKA_ADVER..

Data Engineering/Kafka

[kafka] 주키퍼 카프카를 도커컴포즈로 구축하는 방법

docker-compose.yml version: '3' services: # wurstmeister/zookeeper:3.4.6 zookeeper: hostname: zookeeper container_name: zookeeper image: wurstmeister/zookeeper:3.4.6 ports: - "2181:2181" # wurstmeister/kafka:2.13-2.8.1 kafka: hostname: kafka container_name: kafka image: wurstmeister/kafka:2.13-2.8.1 environment: KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092 KAFKA_LISTENERS: PLAINTEXT://..

Programming Language/Python

[python] 판다스 데이터프레임 엑셀로 저장하는 방법

기본 데이터프레임을 만들어보자 import pandas as pd df = pd.DataFrame([['1', 'a', '가'], ['2', 'b', '나'], ['3', 'c', '다']], columns = ['id', 'en', 'kr']) print(df) 오픈파이엑셀을 다운로드해보자 pip install openpyxl 위의 데이터프레임을 저장해보자 import pandas as pd df = pd.DataFrame([['1', 'a', '가'], ['2', 'b', '나'], ['3', 'c', '다']], columns = ['id', 'en', 'kr']) df.to_excel('test.xlsx') 코드의 파일과 같은 위치에 test.xlsx 파일이 저장됐다. 열여서 확인해보자 같은 내용..

Programming Language/Python

[python] 판다스 데이터프레임 형 변환 하는 방법

기본 데이터프레임을 만들어보자 import pandas as pd df = pd.DataFrame([['1', 'a', '가'], ['2', 'b', '나'], ['3', 'c', '다']], columns = ['id', 'en', 'kr']) print(df) 데이터의 컬럼마다 변수형이 무엇인지 확인해보자 import pandas as pd df = pd.DataFrame([['1', 'a', '가'], ['2', 'b', '나'], ['3', 'c', '다']], columns = ['id', 'en', 'kr']) print(df.dtypes) id, en, kr 이 object 형인 것을 확인할 수있다 id 를 int 형으로 변경해보자 import pandas as pd df = pd.DataF..

박경태
'분류 전체보기' 카테고리의 글 목록 (78 Page)