Logstash
로그나 이벤트 데이터를 수집 및 처리해서 다른 시스템에 전달하는 파이프라인 도구
INPUT → Logstash → OUTPUT
기본적인 튜닝 팁
Logstash 동시성 수량(replicas)
Partitioned Queue를 구독하는 경우, 두 숫자를 일치해야 효율적
Logstash가 더 많으면, logstash에서 작업 대기가 발생
Logstash가 더 적으면, 일부 partitioned queue에서 지연 처리 발생
Logstash Pipeline과 관련된 작업
옵션 | 설명 |
|---|---|
pipeline.worker | 필터, 출력 처리를 위해 실행할 스레드 수 |
pipeline.batch.size | 필터, 출력 처리 전에 개별 스레드가 수집하는 최대 이벤트 수 |
pipeline.batch.delay | 새 이벤트를 기다리는 시간 |
JVM 기반으로 동작하며 Major GC(Full GC), Minor GC 문제 존재
Used Heap 지표의 등락폭이 급진적이면 Major GC가 일어난 것으로 추정 가능
(Major GC/Full GC가 일어나면 Logstash가 작업을 일시 중단하므로 비효율적)
같은 맥락으로 -Xms2g, -Xms4g 등의 옵션을 통해서 JVM 튜닝 필요도 존재
참고자료
Share article
