Kafka 애플리케이션 테스트하기: 단위 테스트부터 통합 테스트까지

 

Apache Kafka 는 대규모 데이터 스트리밍 애플리케이션에서 널리 사용되며, 이러한 애플리케이션의 테스트 는 매우 중요합니다. 이번 포스팅에서는 프로듀서와 컨슈머의 단위 테스트 , Embedded Kafka를 활용한 통합 테스트 , Kafka 모의 객체(Mock) 를 사용한 테스트 방법, 그리고 비동기 코드 테스트를 위한 모범 사례에 대해 다룹니다.

 

---

 

 

1. 프로듀서와 컨슈머의 단위 테스트

Kafka 애플리케이션에서 프로듀서 와 컨슈머 의 동작을 단위 테스트 로 확인하는 것은 매우 중요합니다. Mockito 와 같은 모의 객체(Mock)를 활용하여 Kafka 브로커와의 실제 연결 없이도 단위 테스트를 수행할 수 있습니다.

프로듀서 단위 테스트 예시

@RunWith(SpringRunner.class)
@SpringBootTest
public class KafkaProducerTest {

    @Autowired
    private KafkaTemplate<String, String> kafkaTemplate;

    @MockBean
    private KafkaProducer producer;

    @Test
    public void testSendMessage() {
        String message = "Test message";
        kafkaTemplate.send("test_topic", message);

        // 메서드 호출 확인
        verify(producer).send(eq("test_topic"), eq(message));
    }
}

컨슈머 단위 테스트 예시

@RunWith(SpringRunner.class)
@SpringBootTest
public class KafkaConsumerTest {

    @MockBean
    private KafkaConsumer consumer;

    @Test
    public void testConsumeMessage() {
        String message = "Test message";

        // 메시지 처리 메서드 호출 확인
        consumer.consume(message);
        verify(consumer).consume(eq(message));
    }
}

설명:

• @MockBean : Kafka 브로커와의 실제 통신 없이, 프로듀서 와 컨슈머 를 모의 객체 로 테스트할 수 있습니다.
• verify() : Mockito 를 사용하여 특정 메서드가 호출되었는지 확인합니다.

 

---

 

2. Embedded Kafka를 활용한 통합 테스트

Embedded Kafka 는 Kafka 브로커 를 테스트 환경에서 실제로 실행하여 통합 테스트 를 수행할 수 있게 합니다. 이를 통해 Kafka 브로커와 실제 데이터를 주고받으며 테스트할 수 있습니다.

Embedded Kafka 설정 및 통합 테스트 예시

@RunWith(SpringRunner.class)
@SpringBootTest
@EmbeddedKafka(partitions = 1, topics = {"test_topic"})
public class KafkaIntegrationTest {

    @Autowired
    private KafkaTemplate<String, String> kafkaTemplate;

    @Autowired
    private KafkaConsumer consumer;

    @Test
    public void testSendAndConsumeMessage() throws Exception {
        String message = "Test message";

        kafkaTemplate.send("test_topic", message);

        // 컨슈머가 메시지를 받았는지 확인
        Awaitility.await()
                  .atMost(10, TimeUnit.SECONDS)
                  .untilAsserted(() -> verify(consumer).consume(eq(message)));
    }
}

설명:

• @EmbeddedKafka : 통합 테스트 시 Kafka 브로커 를 테스트 환경에서 실행합니다.
• Awaitility.await() : 비동기 메시지 처리 가 완료될 때까지 대기하는 메서드입니다.

 

---

 

3. 테스트에서 Kafka 모의 객체 사용

Mockito 와 같은 프레임워크를 활용하여 Kafka 브로커와의 실제 연결 없이 모의 객체(Mock) 를 사용해 Kafka 기능을 테스트할 수 있습니다. 이를 통해 빠르게 단위 테스트 를 수행할 수 있으며, 외부 의존성에 구애받지 않고 독립적으로 테스트할 수 있습니다.

KafkaTemplate 모의 객체 테스트 예시

@RunWith(SpringRunner.class)
@SpringBootTest
public class KafkaProducerMockTest {

    @MockBean
    private KafkaTemplate<String, String> kafkaTemplate;

    @Test
    public void testSendMessage() {
        String message = "Mock message";

        // KafkaTemplate을 사용한 메시지 전송 테스트
        kafkaTemplate.send("mock_topic", message);

        // 메서드 호출 확인
        verify(kafkaTemplate).send(eq("mock_topic"), eq(message));
    }
}

설명:

• KafkaTemplate 을 Mock 으로 처리하여 실제 Kafka 브로커 없이 테스트할 수 있습니다.
• verify() 메서드를 통해 메시지가 성공적으로 전송되었는지 확인합니다.

 

---

 

4. 비동기 코드 테스트를 위한 모범 사례

Kafka 애플리케이션은 비동기 처리 가 일반적이기 때문에, 비동기 코드를 효과적으로 테스트 하는 것이 중요합니다. 비동기 코드 테스트 시 테스트 실패 를 방지하기 위해 대기 시간 을 적절히 설정하거나 Promise , Future 와 같은 비동기 개념을 다루는 방법이 필요합니다.

비동기 테스트 예시

@RunWith(SpringRunner.class)
@SpringBootTest
public class KafkaAsyncTest {

    @Autowired
    private KafkaTemplate<String, String> kafkaTemplate;

    @Test
    public void testAsyncSendMessage() throws Exception {
        CompletableFuture<SendResult<String, String>> future =
                kafkaTemplate.send("async_topic", "Async message");

        // 비동기 결과 확인
        SendResult<String, String> result = future.get(5, TimeUnit.SECONDS);

        assertNotNull(result.getRecordMetadata());
        assertEquals("async_topic", result.getRecordMetadata().topic());
    }
}

설명:

• CompletableFuture : 비동기 작업 이 완료될 때까지 기다리며, 메시지가 정상적으로 전송되었는지 확인합니다.
• future.get(5, TimeUnit.SECONDS) : 최대 5초 동안 결과를 기다립니다.

 

---

 

Kafka 테스트 트렌드 및 통계

최근 데이터에 따르면, 대규모 Kafka 애플리케이션을 사용하는 기업들은 단위 테스트 와 통합 테스트 를 적극적으로 도입하여 테스트 커버리지 를 70% 이상 달성하고 있습니다. 특히 Embedded Kafka 를 활용한 통합 테스트는 실제 브로커 환경 에서의 테스트를 가능하게 하여 신뢰성 을 크게 높여줍니다.

 

---

 

자주 묻는 질문 (FAQ)

Q1. Kafka 프로듀서와 컨슈머의 단위 테스트는 어떻게 진행하나요?
A1. Mockito 와 같은 모의 객체를 사용하여 실제 Kafka 브로커와 연결하지 않고, KafkaTemplate 과 KafkaListener 를 Mock으로 처리하여 단위 테스트를 진행할 수 있습니다.

Q2. Embedded Kafka를 활용한 통합 테스트의 장점은 무엇인가요?
A2. Embedded Kafka 는 테스트 환경에서 실제 Kafka 브로커를 실행하여 통합 테스트 를 수행할 수 있게 합니다. 이를 통해 프로듀서와 컨슈머 간의 실제 데이터 전송 을 테스트할 수 있습니다.

Q3. Kafka 애플리케이션에서 비동기 코드를 어떻게 테스트하나요?
A3. Awaitility 나 CompletableFuture 와 같은 비동기 처리 메커니즘을 사용하여 비동기 코드 가 완료될 때까지 기다리고, 결과를 확인하는 방식으로 테스트할 수 있습니다.

Q4. Kafka 모의 객체(Mock)를 사용하면 어떤 이점이 있나요?
A4. Kafka 모의 객체 를 사용하면 실제 Kafka 브로커와 연결할 필요 없이, 프로듀서 와 컨슈머 의 동작을 독립적으로 테스트할 수 있어 빠르고 간단하게 테스트 를 진행할 수 있습니다.

Q5. 테스트에서 Kafka 브로커 없이 Mock을 사용하는 것이 안전한가요?
A5. 단위 테스트 에서는 Kafka 브로커 없이 모의 객체 를 사용해도 안전합니다. 그러나 통합 테스트 나 시스템 테스트 에서는 Embedded Kafka 를 사용하여 실제 브로커와의 상호작용을 테스트하는 것이 좋습니다.