[Docker] 파일을 로그스태시로 엘라스틱서치에 인덱스 생성하기 logstash input file output elasticsearch

1. cmd 창을 켜고 해당 폴더 위치에서 다음 명령어를 입력한다

docker-compose up -d

docker-compose.zip

1.93MB

 

도커의 컨테이너는 꺼져있다가

켜져버린다.

2. 더 쉽게 컨테이너 끄고 키기

오른쪽의 Stop 버튼을 누르면 꺼지고

오른쪽의 Start 버튼을 누르면 켜진다

3. 실행중인 도커 컨테이너 확인

docker ps

4. logstash shell 접속

logstash 오른쪽 CLI 버튼 클릭

5. 현재 위치 확인 후 pipeline 폴더로 이동

ls
cd pipeline
ls

6. 임의의 csv 파일을 만들자~!

 

vi aaa.csv

i 입력해서 수정가능한 상태로 바꾸고

아무렇게나 채워넣어보자

i

 

11
22
33

esc 누르시고

:wq! 쓰고 엔터로 빠져나온당

:wq!

ls 입력으로 잘 만들어졌는지 보자

ls

7. conf 파일을 만들어보자~

vi 편집기로 test.conf 파일을 만들어보자

vi test.conf

먼저 i를 입력해주고

i

다음과 같이 입력해준다 (복붙이 편할 것이요.)

input {
  file {
    path => "/usr/share/logstash/pipeline/aaa.csv"
    start_position => "beginning"
  }
}

filter {
}

output {
  elasticsearch {
    hosts => "elasticsearch:9200"
    index => "test"
  }
  stdout {
    codec => rubydebug
  }
}

esc 누르고 :wq! 를 입력하고 엔터로 저장한다

잘 저장된 것을 볼 수 있따

8. config 폴더로 이동해서 pipelines.yml 파일을 수정하자

먼저 상위폴더로 이동

cd ..

config 폴더로 이동

cd config

pipelines.yml 파일이 있나 보자

ls

잘 있다.

 

vi 편집기로 pipelines.yml 파일을 수정해보자

vi pipelines.yml

들어오면 항상 얘는 이런식

다음처럼 입력해준당

- pipeline.id: main
  path.config: "/usr/share/logstash/pipeline/logstash.conf"
- pipeline.id: test
  path.config: "/usr/share/logstash/pipeline/test.conf"

저장할땐 esc 누르고 :wq! 입력 후 엔터

9. 엘라스틱서치로 cli로 들어가보자 elasticsearch

다음 명령어 입력해서 인덱스가 뭐가 있는지 먼저 보자

curl localhost:9200/_cat/indices?v

내가 만든 test라는 인덱스는 아직 생성되지 않았어.

10. 로그스태시 재실행 logstash restart

저걸 누른다

11. 엘라스틱서치 다시 확인

curl localhost:9200/_cat/indices?v

쟈쟈쟌~