[Linux] logstash로 elasticsearch에 데이터 넣어보기

1. ELK 설치 및 curl 명령어 설치가 됐다는 가정하에 진행한다.

https://pinggoopark.tistory.com/111

[Linux] 우분투에 ELK 설치하고 실행해보기

https://pinggoopark.tistory.com/115

[Linux] 우분투에 curl 명령어 설치하기

 

2. elasticsearch logstash kibana 실행

systemctl start elasticsearch
systemctl start kibana
systemctl start logstash

 

3. elasticsearch logstash kibana 실행 상태 확인

systemctl status elasticsearch
systemctl status kibana
systemctl status logstash

 

4. 샘플 파일 만들기

cd /etc/logstash
ls
mkdir test
ls
cd test
ls
pwd
vi sample.csv

 

다음과 같이 내용 넣고 저장

1
2
3
4
5
6
7
8
9
10

 

5. 현재 elasticsearch의 인덱스 확인

curl localhost:9200/_cat/indices?v

 

6. logstash의 conf 파일 만들기

ls
pwd
cd ..
ls
mkdir myconf
ls
cd myconf
vi first.conf

 

다음 내용을 적어보자

방금 만든 sample.csv 파일을 elasticsearch로 데이터를 넣겠다는 의미의 컨프파일

input
{
  file
  {
    path => "/etc/logstash/test/sample.csv"
    start_position => "beginning"
    sincedb_path => "/dev/null"
    codec => "json"
  }
}

filter
{
}

output
{
  elasticsearch
  {
    hosts => "localhost:9200"
    index => "first_index"
  }
}

 

파일이 잘 저장됐는지 확인하고, 파이프라인을 수정하자

로그스태시의 pipelines.yml 파일을 수정해보자

ls
cd ..
ls
vi pipelines.yml

 

방금 만든 conf파일을 적용시켜보자

다음과 같이 수정하고 저장한다.

- pipeline.id: main
  path.config: "/etc/logstash/myconf/first.conf"

 

7. 동작 확인하기

 

마지막으로 현재 엘라스틱서치의 인덱스를 확인해보자

curl localhost:9200/_cat/indices?v

 

로그스태시를 재실행 시킨다

systemctl restart logstash

 

로그스태시가 실행됐더라도, 로그를 확인해보면 정상동작하기까지 시간이 좀 걸리는데

넉넉 잡아서 1분 뒤에 다시 curl 명령어로 elasticsearch의 인덱스를 확인해보자

curl localhost:9200/_cat/indices?v

 

내가 만든 first_index 라는 이름을 가진 인덱스가 잘 생성된 것을 볼 수 있다!!!!!!!!!!!