Kafka 주니어 기술면접

Topic은 메시지를 논리적으로 분류하는 카테고리입니다. Partition은 Topic을 물리적으로 분할한 단위로, 데이터를 여러 브로커에 분산 저장하여 처리량을 높입니다. Offset은 각 Partition 내에서 메시지의 고유한 순번으로, Consumer가 어디까지 읽었는지 추적하는 데 사용됩니다. 하나의 Topic은 여러 Partition으로 구성되며, 각 Partition은 독립적으로 순서가 보장되는 Offset을 가집니다. 같은 Partition 내에서는 메시지 순서가 보장되지만, 서로 다른 Partition 간에는 순서가 보장되지 않습니다.

Consumer Group은 하나의 Topic을 협력하여 소비하는 Consumer들의 논리적 그룹입니다. 같은 Consumer Group 내에서 각 Partition은 오직 하나의 Consumer에게만 할당되어 메시지 중복 처리를 방지합니다. Partition 할당은 Kafka의 Rebalancing 과정을 통해 자동으로 이루어지며, Consumer가 추가되거나 제거될 때 재조정됩니다. 만약 Consumer 수가 Partition 수보다 많으면 일부 Consumer는 유휴 상태가 됩니다. 서로 다른 Consumer Group은 같은 Topic을 독립적으로 소비할 수 있어, 하나의 데이터를 여러 애플리케이션에서 각각 처리할 수 있습니다.

acks는 Producer가 메시지 전송 성공으로 간주하는 기준을 설정합니다. acks=0은 Producer가 응답을 기다리지 않고 전송만 하므로 가장 빠르지만 데이터 손실 위험이 높습니다. acks=1은 Leader Broker가 메시지를 받았다는 확인만 받으므로 적절한 성능과 안정성을 제공하지만, Leader 장애 시 데이터가 손실될 수 있습니다. acks=all(또는 -1)은 Leader와 모든 In-Sync Replica가 메시지를 받았다는 확인을 받으므로 가장 안전하지만 성능이 가장 느립니다. 실무에서는 데이터의 중요도에 따라 적절한 acks 값을 선택해야 하며, 금융 거래처럼 중요한 데이터는 acks=all을 사용합니다.