Confluent Schema Registry로 스키마 관리: Avro 스키마 사용 및 버전 관리

 

Confluent Schema Registry 는 Kafka 데이터의 스키마를 중앙에서 관리 하고, 데이터의 호환성을 보장 하는 중요한 도구입니다. Kafka와 함께 Avro , JSON , Protobuf 같은 데이터 포맷을 사용하여 데이터의 스키마를 관리할 수 있으며, 스키마의 버전 관리 와 호환성 정책 을 적용하여 시스템의 일관성을 유지할 수 있습니다. 이번 포스팅에서는 Schema Registry 의 소개와 함께, 스키마 버전 관리 방법, 스프링 부트에서 Avro 스키마 를 사용하는 방법, 그리고 스키마 정책 을 어떻게 설정하는지 다루겠습니다.

 

---

 

 

1. Schema Registry 소개

Schema Registry 는 Kafka에서 사용되는 데이터 스키마 를 중앙에서 관리하는 서비스입니다. 각 스키마는 고유의 ID 로 등록되어, Kafka 클러스터의 각 데이터 스트림에서 해당 스키마를 참조할 수 있습니다. 이를 통해 데이터 일관성 을 유지하고, 데이터 간의 호환성 을 관리할 수 있습니다.

Schema Registry의 주요 기능

• 스키마 중앙 관리 : 모든 스키마를 한 곳에서 관리하여, 데이터 변환과 호환성을 보장합니다.
• 버전 관리 : 스키마의 다양한 버전을 관리할 수 있으며, 데이터 흐름에서 새 버전의 스키마를 적용할 수 있습니다.
• 호환성 정책 : 스키마 간의 호환성을 유지하는 정책을 설정하여 시스템 안정성을 보장합니다.

 

---

 

2. 스키마의 버전 관리와 호환성 유지

Kafka 시스템에서 스키마가 변경될 때, 스키마 호환성 을 유지하는 것이 매우 중요합니다. Confluent Schema Registry 는 여러 스키마 버전 을 관리할 수 있으며, 이를 통해 각 버전 간의 호환성을 유지하도록 정책을 설정할 수 있습니다.

스키마 호환성 정책의 종류

• BACKWARD : 새 스키마가 이전 버전과 호환되도록 강제.
• FORWARD : 이전 스키마가 새 스키마와 호환되도록 강제.
• FULL : 양방향으로 호환성을 유지.

스키마 등록 예시

curl -X POST -H "Content-Type: application/vnd.schemaregistry.v1+json" \
--data '{"schema": "{\"type\":\"record\",\"name\":\"User\",\"fields\":[{\"name\":\"name\",\"type\":\"string\"},{\"name\":\"age\",\"type\":\"int\"}]}"}' \
http://localhost:8081/subjects/User-value/versions

설명:

• 위 명령은 User 라는 스키마를 Schema Registry 에 등록하는 예시입니다.
• 이 스키마는 name 과 age 필드를 가진 Avro 타입의 레코드입니다.

스키마 버전 관리 예시

curl -X GET http://localhost:8081/subjects/User-value/versions

• 해당 명령을 사용하면, User 스키마의 모든 버전을 조회할 수 있습니다.

 

---

 

3. 스프링 부트에서 Avro 스키마 사용

스프링 부트 애플리케이션에서 Avro 포맷을 사용하여 Kafka 메시지를 직렬화/역직렬화할 수 있습니다. Spring Kafka 와 Confluent Schema Registry 를 연동하면, 스키마 관리가 더욱 쉬워집니다.

스프링 부트 설정 예시

spring:
  kafka:
    bootstrap-servers: localhost:9092
    properties:
      schema.registry.url: http://localhost:8081
    consumer:
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: io.confluent.kafka.serializers.KafkaAvroDeserializer
    producer:
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: io.confluent.kafka.serializers.KafkaAvroSerializer

Avro 메시지 예시

// Avro 클래스를 사용하여 메시지 생성
public class AvroProducer {
    @Autowired
    private KafkaTemplate<String, User> kafkaTemplate;

    public void sendMessage() {
        User user = User.newBuilder().setName("John Doe").setAge(30).build();
        kafkaTemplate.send("user-topic", user);
    }
}

설명:

• KafkaAvroSerializer 와 KafkaAvroDeserializer 를 사용하여 Avro 데이터를 직렬화/역직렬화합니다.
• Schema Registry URL을 지정하여 스키마를 중앙에서 관리하도록 설정합니다.

 

---

 

4. 스키마 정책 적용 방법

스키마 호환성 을 유지하기 위해서는 적절한 정책 을 설정하는 것이 중요합니다. 호환성 정책을 설정하면, 데이터 흐름에서 스키마 변경 시 데이터 손실 이나 비호환성 문제 를 방지할 수 있습니다.

스키마 호환성 정책 설정 예시

curl -X PUT -H "Content-Type: application/vnd.schemaregistry.v1+json" \
--data '{"compatibility": "BACKWARD"}' \
http://localhost:8081/config/User-value

설명:

• BACKWARD 호환성 정책을 설정하여, 새로운 스키마 버전이 이전 스키마 버전과 호환되도록 합니다.

 

---

 

Schema Registry 트렌드 및 통계

Confluent Schema Registry 는 점점 더 많은 기업에서 사용되고 있으며, 특히 데이터 일관성 과 호환성 을 유지해야 하는 대규모 시스템에서 중요하게 사용되고 있습니다. 최근 데이터에 따르면, 스키마 관리 를 자동화한 기업은 데이터 오류 가 50% 이상 감소하고, 시스템 업그레이드 과정에서 데이터 손실 이 거의 없었다고 보고됩니다.

 

---

 

자주 묻는 질문 (FAQ)

Q1. Schema Registry는 왜 필요한가요?
A1. Schema Registry 는 Kafka에서 사용되는 데이터의 스키마를 중앙에서 관리 하고, 데이터의 호환성 을 보장하기 위해 사용됩니다. 이를 통해 데이터 일관성을 유지하고, 시스템 간 비호환성 문제 를 방지할 수 있습니다.

Q2. 스키마 호환성 정책은 어떻게 설정하나요?
A2. Schema Registry 에서 제공하는 API를 통해 BACKWARD , FORWARD , FULL 등의 호환성 정책을 설정할 수 있습니다. 이를 통해 스키마 변경 시에도 시스템의 안정성을 유지할 수 있습니다.

Q3. 스프링 부트에서 Avro 스키마를 사용하려면 어떻게 해야 하나요?
A3. Spring Kafka 와 Schema Registry 를 연동하여, KafkaAvroSerializer 와 KafkaAvroDeserializer 를 사용하면 Avro 스키마를 쉽게 사용할 수 있습니다. Schema Registry URL을 설정하여 스키마를 관리합니다.

Q4. 스키마의 버전 관리는 어떻게 이루어지나요?
A4. Schema Registry 는 각 스키마에 대해 버전 관리 를 지원하며, 스키마 변경 시 새로운 버전을 등록하여 사용합니다. 버전 간 호환성 정책 을 설정하여 스키마가 올바르게 동작하는지 확인할 수 있습니다.

Q5. Schema Registry를 통해 어떤 문제를 해결할 수 있나요?
A5. Schema Registry 는 데이터 일관성 유지 , 호환성 문제 방지 , 스키마 관리 자동화 와 같은 문제를 해결합니다. 이를 통해 시스템 간 데이터 흐름을 안정적으로 유지할 수 있습니다.

이 포스팅에서는 Confluent Schema Registry 를 사용하여 스키마 관리 와 호환성 유지 방법을 다뤘습니다. 이를 통해 Kafka 시스템에서 데이터 일관성을 유지하고, 새로운 스키마를 안정적으로 도입하는 데 도움이 될 것입니다.