Category Archives: ELK

Elasticsearch ILM 적용하기

ILM(index lifecycle management)이 무료가 되기 전에는 별도의 스케쥴러로 인덱스를 rollover 및 삭제 해줬어야 했지만 이제는 ILM을 활용하여 쉽게 할 수 있다. (good good) ILM 적용의 팩트는 아래 두가지다. Life Cycle Policy 생성 Index Template 생성 목표는 filebeats나 metricbeats 처럼 ILM을 적용하고 싶었다. test-policy 라는 이름으로 ILM 정책을 생성했다. (이렇게 생성해도 되고 항목이 어려운 사람들은 Kibana에서… Read More »

Elasticsearch 7.5.x AlreadyClosedException

7.5 이전 버전에서는 Closed 된 Index를 삭제하여도 위 에러가 나지 않았는데 7.5 이후 버전에서는 해당 워닝을 출력한다. 아마도 자체적으로 Index 삭제시 Close 로직이 추가된 것 같다. (아직 소스코드를 열어보진 않았음..+_+) 그래서 기존 curator에서 Close 후 Delete 하던 것을 Delete 만 하게 수정으로 해결.

logstash auto reload config

logstash 로 config 작성할때마다 맨날 까먹는 config auto reload config를 변경하고 logstash 를 다시 시작하지 않아도 config 파일이 변경되면 새로 로딩 해준다. 하지만 사용시 주의 할점은 모든 플러그인이 auto reload를 지원하지 않기 때문에 사용하는 플로그인이 지원하지 않을 경우 이슈가 발생할 수 있음.

Elasticsearch Rolling Upgrade 또는 Node 작업시 클러스터 설정

Elasticsearch 를 사용하다 보면 Node 를 업그레이드 하거나 서버 spec 변경 등 Node에 대한 작업을 해야 할 경우가 있다. 특히 데이터 노드를 올리고 내릴때에는 샤드가 리발란스 되는 동안 시스템 리소스를 잡아먹고 다시 데이터 노드가 붙으면 다시 리발란스 되어 또 한번 시스템 리소를 잡아 먹는 경우가 생긴다. (full replica 의 경우는 상관 없을듯) 이럴때 클러스터의 shard… Read More »

Elastic {ON} Tour in Seoul

어제 12월 12일에 서울 인터컨티넨탈 호텔에서 열린 Elastic {ON} Tour 행사에 다녀왔습니다. 생각보다 많은 사람이 기다리고 있었습니다. Partner Session과 Elastic Stack & X-Pack Workshop Session이 있었는데 저는 Partner Session쪽에 참관하였습니다. Partner Session에서는 한국 파트너사들의 사용 사례(비즈니스 분석, 보안 등)들과 기존 중급, 고급 사용자 위한 내용이 있다고 하여 참관하게 되었습니다. 여러 파트너사들이 Elasticsearch 사용한 사례와 약간(?)의… Read More »