Kafka 프로듀서 구현하기: 메시지 전송부터 재시도 처리까지

 

Apache Kafka 는 대규모의 데이터를 실시간으로 처리하는데 매우 유용한 분산 메시징 시스템입니다. 그 중에서도 Kafka 프로듀서 는 데이터를 Kafka 토픽 으로 전송하는 핵심 역할을 담당합니다. 이번 포스팅에서는 Kafka 프로듀서 서비스 생성 , 메시지 전송 방법 , Ack(에크노레지먼트) 처리 , 재시도와 버퍼링 설정 까지 다룹니다. 실무에서 자주 사용하는 예제와 함께 따라 하면서 쉽게 이해할 수 있습니다.

 

---

 

 

1. Kafka 프로듀서 서비스 생성

Kafka 프로듀서 서비스는 스프링 부트 에서 KafkaTemplate 을 사용하여 간단하게 구현할 수 있습니다. KafkaTemplate 은 메시지를 Kafka로 전송하는 데 필요한 모든 기능을 제공합니다.

@Service
public class KafkaProducerService {
    private static final Logger logger = LoggerFactory.getLogger(KafkaProducerService.class);
    private final KafkaTemplate<String, String> kafkaTemplate;

    @Autowired
    public KafkaProducerService(KafkaTemplate<String, String> kafkaTemplate) {
        this.kafkaTemplate = kafkaTemplate;
    }

    public void sendMessage(String message) {
        logger.info(String.format("#### -> Producing message -> %s", message));
        kafkaTemplate.send("my_topic", message);
    }
}

설명:

• KafkaTemplate 을 주입받아 메시지를 Kafka로 전송합니다.
• sendMessage 메서드는 메시지를 my_topic 으로 전송하며, 로그를 통해 전송된 메시지를 확인할 수 있습니다.

 

---

 

2. Kafka 토픽으로 메시지 전송하기

Kafka에서는 프로듀서를 통해 특정 토픽(topic) 으로 메시지를 전송합니다. 여기서는 KafkaTemplate.send() 메서드를 통해 메시지를 토픽으로 전송하는 방법을 설명합니다.

메시지 전송 예제

@RestController
@RequestMapping("/api/kafka")
public class KafkaController {
    private final KafkaProducerService producerService;

    @Autowired
    public KafkaController(KafkaProducerService producerService) {
        this.producerService = producerService;
    }

    @PostMapping("/publish")
    public ResponseEntity<String> sendMessageToKafkaTopic(@RequestParam("message") String message) {
        producerService.sendMessage(message);
        return ResponseEntity.ok("Message sent to Kafka topic: " + message);
    }
}

설명:

• 사용자가 HTTP POST 요청으로 메시지를 전송하면, 해당 메시지가 my_topic 으로 전송됩니다.
• 전송이 완료되면 성공 응답을 반환합니다.

입력 예제:

• HTTP 요청: POST /api/kafka/publish?message=HelloKafka
• 결과: Kafka 토픽에 “HelloKafka” 메시지가 전송됨.

 

---

 

3. 프로듀서 에크노레지먼트(Ack) 처리

Kafka 프로듀서는 메시지를 브로커로 전송한 후 Ack(확인 응답) 을 받습니다. 이를 통해 메시지가 성공적으로 브로커에 도착했는지 확인할 수 있습니다. ACK 설정 은 메시지 전달 보장을 위해 중요하며, 아래와 같은 옵션이 있습니다:
- acks=0 : 브로커가 Ack를 보내지 않음(낮은 안정성, 빠른 성능).
- acks=1 : 리더 브로커에서만 메시지를 기록하면 Ack 전송.
- acks=all : 모든 팔로워 브로커에 메시지가 기록된 후 Ack 전송(가장 높은 안정성).

Ack 설정 예제 ( application.yml )

spring:
  kafka:
    producer:
      acks: all
      retries: 3
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer

설명:

• acks: all : 모든 브로커에 메시지가 저장될 때까지 기다린 후 성공 처리.
• retries: 3 : 메시지 전송 실패 시 3번까지 재시도.

 

---

 

4. 프로듀서 재시도와 버퍼링 설정

Kafka는 메시지 전송 중 발생할 수 있는 네트워크 오류 나 브로커 문제 를 해결하기 위해 재시도 메커니즘 을 제공합니다. 또한, 성능 최적화를 위해 메시지 버퍼링 을 통해 한 번에 여러 메시지를 전송할 수 있습니다.

재시도 및 버퍼링 설정 예제 ( application.yml )

spring:
  kafka:
    producer:
      retries: 5  # 메시지 전송 실패 시 최대 5번 재시도
      batch-size: 16384  # 메시지 배치 크기 (16KB)
      linger-ms: 10  # 배치 전송을 위해 10ms 대기
      buffer-memory: 33554432  # 버퍼 메모리 크기 (32MB)

설명:

• retries : 메시지 전송 실패 시 최대 5번까지 재시도합니다.
• batch-size : 배치로 전송할 메시지 크기를 16KB로 설정합니다.
• linger-ms : 배치 전송을 위해 메시지를 기다리는 시간입니다. 10ms 동안 대기하여 여러 메시지를 모아 전송합니다.
• buffer-memory : 메시지를 전송하기 전에 임시로 저장할 메모리 크기를 32MB로 설정합니다.

 

---

 

Kafka 프로듀서 활용 트렌드 및 통계

최근 실시간 데이터 처리 가 필요한 산업에서 Kafka 프로듀서는 필수적인 도구로 자리 잡았습니다. 특히 이벤트 기반 아키텍처 에서 중요한 역할을 하며, 금융 서비스 , IoT , 로그 수집 과 같은 분야에서 광범위하게 사용되고 있습니다.

2023년 개발자 조사 에 따르면, 많은 개발자들이 대규모 실시간 데이터 를 처리하는 데 Kafka 프로듀서를 사용하고 있으며, 그 중 80% 이상이 데이터 손실 없이 안정적으로 전송 을 구현하고 있습니다.

 

---

 

자주 묻는 질문 (FAQ)

Q1. Kafka 프로듀서에서 acks 설정은 왜 중요한가요?
A1. acks 설정 은 메시지가 성공적으로 전송되었는지 확인하는 방법입니다. acks=all 로 설정하면 모든 브로커가 메시지를 저장한 후 Ack를 보내므로 데이터 손실 가능성을 최소화할 수 있습니다.

Q2. Kafka 프로듀서에서 재시도 횟수는 몇 번으로 설정해야 하나요?
A2. 일반적으로 3~5회 정도로 설정하는 것이 좋습니다. 너무 많으면 성능에 영향을 줄 수 있으므로, 적절한 재시도 횟수를 설정하는 것이 중요합니다.

Q3. Kafka에서 배치 전송이란 무엇인가요?
A3. 배치 전송 은 여러 메시지를 모아서 한 번에 전송하는 방식입니다. 이 방식은 네트워크 트래픽을 줄이고, 성능을 최적화하는 데 도움이 됩니다.

Q4. Kafka 프로듀서에서 버퍼 메모리 설정은 무엇을 의미하나요?
A4. 버퍼 메모리 는 프로듀서가 메시지를 브로커로 전송하기 전에 일시적으로 메시지를 저장하는 공간입니다. 버퍼 메모리가 충분히 크면 더 많은 메시지를 모아 한 번에 전송할 수 있습니다.

Q5. Kafka 프로듀서를 통해 여러 토픽에 메시지를 보낼 수 있나요?
A5. 네, 가능합니다. KafkaTemplate 의 send 메서드에서 토픽 이름을 다르게 지정하면 여러 토픽에 메시지를 전송할 수 있습니다.