[Kafka] Reassign Partition 방법

필요한 상황

• 신규 broker 장비 추가
• broker 장비 이전
• 특정 토픽을 특정 노드에서만 운영하고 싶을 때

실행 방법

• kafka bin 디렉토리 하위에 있는 kafka-reassign-partitions.sh 스크립트를 사용
• 이동시킬 topic 이 무엇인지 json 포맷으로 정의 예) example-to-move.json

{"topics":[{"topic": "example1"},{"topic": "example2"},{"topic": "example3"}],"version":1}

• --topics-to-move-json-file 옵션으로 위에서 생성한 json 파일을 지정하고, --generate 옵션을 통해 이동시킬 broker 에 대한 파티션 설정값을 자동으로 생성

$ bin/kafka-reassign-partitions.sh --zookeeper "zookeeper-host:port,zookeeper-host:port,..." --broker-list "1,2,3" --topics-to-move-json-file example-to-move.json --generate

• 위 실행을 통해 Current partition replica assignment 과 Proposed partition reassignment configuration 이라는 제목으로 콘솔창에 json 내용이 출력되게 되는데 Proposed partition reassignment configuration 내용을 복사하여 파일로 만들고, Current partition replica assignment 는 혹시 롤백을 해야할 경우를 대비해 따로 복사해둔다.(해당 예시에서는 example-partitions-to-move.json 이름으로 생성)
• --reassignment-json-file 옵션으로 위에서 생성한 json 파일을 지정하고, --execute 옵션을 통해 파티션을 이동시키도록 실행한다.

$ bin/kafka-reassign-partitions.sh --zookeeper "zookeeper-host:port,zookeeper-host:port,..." --reassignment-json-file example-partitions-to-move.json --execute

• --verify 옵션을 통해 현재 이동 상태를 확인한다.

$ bin/kafka-reassign-partitions.sh --zookeeper "zookeeper-host:port,zookeeper-host:port,..." --reassignment-json-file example-partitions-to-move.json --verify

Status of partition reassignment: 
Reassignment of partition example1-52 completed successfully
Reassignment of partition example1-15 completed successfully
Reassignment of partition example2-4 completed successfully
Reassignment of partition example2-12 completed successfully
Reassignment of partition example3-11 completed successfully
Reassignment of partition example1-29 completed successfully
Reassignment of partition example2-40 completed successfully
Reassignment of partition example3-45 completed successfully
Reassignment of partition example3-37 completed successfully
...

참고

• https://kafka.apache.org/21/documentation.html#basic_ops_automigrate
• https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-4.ReassignPartitionsTool