Kafka 1.x to 2.x Rolling Upgrade

By | 2019년 10월 8일

현재 운영중인 Kafka 버전을 올려야하는 이슈가 생겼다.

뭐 크리티컬 하지는 않지만 그래도 필요한….

logstash를 6.4버전대로 올리려고 하니까 logstash kafka input plugin 버전도 같이 올라가서 새로 올라간 버전이 1.1.x 버전을 지원하지 않는다..;;

logstash 버전을 올리 수 없는 문제가 있다.

그래서 결심했다 kafka를 2.3.0 (현재 최신) 으로 올려보자.

먼저 Kafka와 Zookeeper 종료

백업파일
- config/server.properties
- config/kafka_server_jaas.conf
- config/zookeeper.properties
- tmp/ 
수정되어야 하는 파일
- bin/kafka-server-start.sh
  ㄴ export JMX_PORT=9999
  ㄴ exec $base_dir/kafka-run-class.sh $EXTRA_ARGS -Djava.security.auth.login.config=$base_dir/../config/kafka_server_jaas.conf kafka.Kafka "$@"
  ㄴ exec $base_dir/kafka-run-class.sh $EXTRA_ARGS kafka.Kafka "$@"  → 주석처리
 
- config/server.porperties
  ㄴ ssl.endpoint.identification.algorithm=

Kafka, Zookeeper 시작

브로커가 정상적으로 연결되어 있는지 체크

./bin/zookeeper-shell.sh localhost:2181 <<< “ls /brokers/ids”

정상적으로 연결된 것이 확인되면 나머지 서버들도 반복 실행