[logstash] 로그스태시란

1. 로그스태시

- 실시간 파이프라인 기능을 가진 데이터 수집 엔진

- 오픈소스

- 다양한 플러그인 사용 가능

- input, filter, output으로 구성

 

2. input file

input {
  file {
    path => "파일경로"
    start_position => "beginning"
  }
}

- file : 원본 데이터 소스를 파일로 지정

- path : 원본 파일의 파일 위치 경로를 입력

- start_position : 파일의 처음부터 데이터로 인식하도록 만듦

 

3. output elasticsearch

output {
  elasticsearch {
    hosts => "localhost:9200"
    index => "test"
  }
}

- elasticsearch : 앤드포인트를 엘라스틱서치로 지정

- hosts : 엘라스틱서치의 ip주소와 포트를 입력

- index : 엘라스틱서치에 저장될 인덱스 이름 설정

 

4. filter plugin mutate

- rename : 필드 이름 변경

- strip : 공백 제거

- replace : 필드 값을 대체

- update : 필드 값을 대체 (필드가 없으면 하지않음)

- coerce : 필드가 비었을 때 기본값 설정

- merge : 필드의 값을 특정 필드로 포함

- capitalize : 첫 글자를 대문자 또는 소문자

- lowercase : 필드의 데이터를 소문자로 변경

- uppercase : 필드의 데이터를 대문자로 변경

- split : 필드의 데이터를 쪼갬

- join : 배열 데이터를 하나의 문자로 합침

- gsub : 정규식 이용하여 문자 대체

- copy : 필드의 값 복제

- convert : 필드의 속성 변환