๋ถ๋ฅ ์ ์ฒด๋ณด๊ธฐ107 Kafka ์ ํ๋ฆฌ์ผ์ด์ ์ ๋ชจ๋ํฐ๋ง๊ณผ ๋ก๊น : ์ค์๊ฐ ์ด์ ํจ์จ์ฑ ๊ทน๋ํํ๊ธฐ Apache Kafka ๋ ๋๊ท๋ชจ ์คํธ๋ฆฌ๋ฐ ๋ฐ์ดํฐ ์ฒ๋ฆฌ ์์คํ ์ ํต์ฌ์ผ๋ก, ์ ํ๋ฆฌ์ผ์ด์ ์ด ์์ ์ ์ผ๋ก ์ด์๋๋ ค๋ฉด ๋ชจ๋ํฐ๋ง ๊ณผ ๋ก๊น ์ด ์ค์ํฉ๋๋ค. ์ด๋ฒ ํฌ์คํ ์์๋ Logback ์ด๋ Log4j ๊ฐ์ ๋ก๊น ํ๋ ์์ํฌ๋ฅผ ์ฌ์ฉํ์ฌ Kafka ์ ํ๋ฆฌ์ผ์ด์ ์ ๋ก๊น ์ ๊ด๋ฆฌํ๊ณ , JMX ๋ Prometheus ๋ฅผ ํตํด Kafka ์ ํ๋ฆฌ์ผ์ด์ ์ ๋ชจ๋ํฐ๋งํ๋ ๋ฐฉ๋ฒ์ ์ค๋ช ํฉ๋๋ค. ๋ํ, Grafana ๋ฅผ ํตํด ์ค์๊ฐ์ผ๋ก ๋ฉํธ๋ฆญ ์๊ฐํ ํ๋ ๋ฐฉ๋ฒ๋ ์๊ฐํฉ๋๋ค. 1. Logback์ด๋ Log4j ๊ฐ์ ๋ก๊น ํ๋ ์์ํฌ ์ฌ์ฉKafka ์ ํ๋ฆฌ์ผ์ด์ ์์ ๋ก๊น ์ ๋ฌธ์ ๋ฅผ ์ถ์ ํ๊ณ ์ ํ๋ฆฌ์ผ์ด์ ์ ์ํ๋ฅผ ํ์ ํ๋ ๋ฐ ์ค์ํ ๋๊ตฌ์ ๋๋ค. Logback ๊ณผ Log4j ๋ Java ์ ํ๋ฆฌ์ผ์ด์ ์์ .. IT/Kafka, ๋น๋๊ธฐ ์ฒ๋ฆฌ 2024. 10. 23. ๋๋ณด๊ธฐ โบโบ ์๊ฐํ ๋ํ ์ฃผ์ : ์ฒซ ๋ง๋จ์์ ์ด์ํจ ์์ด ๋ํํ๋ ๋ฒ ๐ ์๊ฐํ ์ ํ๊ฒ ๋๋ฉด, ๊ฐ์ฅ ํฐ ๊ณ ๋ฏผ ์ค ํ๋๋ ๋ฐ๋ก “๋ฌด์จ ์ด์ผ๊ธฐ๋ฅผ ํด์ผ ํ ๊น?”๋ผ๋ ์ง๋ฌธ์ ๋๋ค. ๋ํ๊ฐ ์ ํ๋ ค์ผ ์ฒซ์ธ์๋ ์ข๊ณ , ์์ฐ์ค๋ฝ๊ฒ ๊ด๊ณ๊ฐ ์ด์ด์ง ์ ์์ฃ . ํ์ง๋ง ์๊ฐํ ์์ ๋ํ๋ฅผ ์์ฐ์ค๋ฝ๊ฒ ์ด์ด๊ฐ๋ ๊ฑด ์๊ฐ๋ณด๋ค ์ฝ์ง ์์ต๋๋ค. ์ด๋ฒ ๊ธ์์๋ ์๊ฐํ ์์ ์ฌ์ฉํ ์ ์๋ ๋ํ ์ฃผ์ ์ ์์ฐ์ค๋ฝ๊ฒ ๋ํ๋ฅผ ์ด๋์ด๊ฐ๋ ๋ฐฉ๋ฒ์ ์๊ฐํฉ๋๋ค. 1. ์ฒซ์ธ์ ๋ํ๋ฅผ ๋ถ๋๋ฝ๊ฒ ์์ํ๋ ๋ฐฉ๋ฒ ๐ธ์ฒซ ๋ง๋จ์์ ์ด์ํจ์ ํ๊ธฐ ์ํด ๊ฐ์ฅ ์ค์ํ ๊ฒ์ ์๋๋ฐฉ์๊ฒ ํธ์ํ ์ธ์์ ์ฃผ๋ ๊ฒ ์ ๋๋ค. ๋จผ์ ์๋ก ๊ฐ๋จํ ์๊ธฐ์๊ฐ๋ก ์์ํ์ธ์. “์ด๋ ์ฌ์ธ์?”, “๋ฌด์จ ์ผ์ ํ์ธ์?”์ ๊ฐ์ ์ง๋ฌธ์ ์์ฐ์ค๋ฝ๊ฒ ์๋๋ฐฉ์ ๋ํด ์์๊ฐ ์ ์๋ ์ง๋ฌธ์ ๋๋ค. ๋จ์ํ ์ง์ ๋ง ๋ฌผ์ด๋ณด๋ ๋์ , ์๋๋ฐฉ์ ์ผ์ ๋ํ ๊ด์ฌ๊ณผ ์กด์ค ์ ๋ณด.. ์ธ๊ฐ๊ด๊ณ์ ์ฌ๋ฆฌ 2024. 10. 23. ๋๋ณด๊ธฐ โบโบ ๋น๋๊ธฐ ๋ฉ์์ง ์ฒ๋ฆฌ ํจํด: ํจ์จ์ ์ธ ๋น๋๊ธฐ ์ฒ๋ฆฌ์ ๋ฉ์์ง ์์ ๋ณด์ฅํ๊ธฐ ๋น๋๊ธฐ ๋ฉ์์ง ์ฒ๋ฆฌ ๋ ๋๊ท๋ชจ ์์คํ ์์ ์ฑ๋ฅ๊ณผ ํจ์จ์ฑ์ ๊ทน๋ํํ๋ ์ค์ํ ํจํด์ ๋๋ค. ์ด๋ฒ ํฌ์คํ ์์๋ ๋๊ธฐ์ ์ฒ๋ฆฌ ์ ๋น๋๊ธฐ์ ์ฒ๋ฆฌ ์ ์ฐจ์ด๋ฅผ ์ดํด๋ณด๊ณ , CompletableFuture ์ ๊ฐ์ ๋น๋๊ธฐ API ํ์ฉ ๋ฐฉ๋ฒ์ ์ค๋ช ํฉ๋๋ค. ๋ํ, ๋ฉ์์ง ์๊ด๊ด๊ณ ๋ฐ ์ถ์ ์ ๊ตฌํํ๋ ๋ฐฉ๋ฒ๊ณผ ๋ฉ์์ง ์์ ๋ณด์ฅ ์ ์ํ ๊ธฐ๋ฒ๋ ๋ค๋ฃจ๊ฒ ์ต๋๋ค. 1. ๋๊ธฐ์ vs ๋น๋๊ธฐ์ ์ฒ๋ฆฌ ์ดํดํ๊ธฐ ๋๊ธฐ์ ์ฒ๋ฆฌ ๋๊ธฐ์ ์ฒ๋ฆฌ ๋ ํ ์์ ์ด ์๋ฃ๋ ๋๊น์ง ๋ค์ ์์ ์ด ์์๋์ง ์๋ ๋ฐฉ์์ ๋๋ค. ์ด ๋ฐฉ์์ ๋จ์ํ์ง๋ง, ์์ ์ด ์ฐจ๋ก๋๋ก ์งํ๋๊ธฐ ๋๋ฌธ์ ์ฒ๋ฆฌ ์๋๊ฐ ๋๋ ค์ง ์ ์์ต๋๋ค .public String processSync() { // ๋๊ธฐ์ ์ฒ๋ฆฌ: ๋ค์ ์์ ์ ์ด์ ์์ ์ด ์๋ฃ๋ ๋๊น์ง .. IT/Kafka, ๋น๋๊ธฐ ์ฒ๋ฆฌ 2024. 10. 23. ๋๋ณด๊ธฐ โบโบ ์ฐ๊ตฌ๋ฐฉ๋ฒ๋ก ๊ณผ ์ฐ๊ตฌ๋ฐฉ๋ฒ์กฐ์ฌ๋ก , ์ด๋ป๊ฒ ๋ค๋ฅผ๊น? ์ฌ๋ฆฌํ๊ณผ ํ์์ด๋ผ๋ฉด ์์๋์ด์ผ ํ ํ์ ์ ๋ณด ์ฌ๋ฆฌํ์ ์ ๊ณตํ๋ ํ์์ด๋ผ๋ฉด ํ๋ถ ๊ณผ์ ์์ ๋ค์ํ ๊ณผ๋ชฉ์ ์ ํ๊ฒ ๋ฉ๋๋ค. ๊ทธ์ค์์ ์ฐ๊ตฌ๋ฐฉ๋ฒ๋ก ๊ณผ ์ฐ๊ตฌ๋ฐฉ๋ฒ์กฐ์ฌ๋ก ์ ์ค์ํ ๊ณผ๋ชฉ์ผ๋ก, ์ฐ๊ตฌ๋ฅผ ์ํํ๋ ๋ฐ ํ์์ ์ธ ์ง์์ ์ ๊ณตํด ์ค๋๋ค. ํ์ง๋ง ๊ณผ๋ชฉ๋ช ์ด ๋น์ทํด ํผ๋ํ ์ ์๋๋ฐ, ์ด ๋ ๊ณผ๋ชฉ์ด ๊ฐ์ ๋ด์ฉ์ผ๊น์? ์๋๋ฉด ๋ค๋ฅธ ๋ด์ฉ์ ๋ค๋ฃจ๊ณ ์๋ ๊ฑธ๊น์? ์ด ๊ธ์์๋ ์ฐ๊ตฌ๋ฐฉ๋ฒ๋ก ๊ณผ ์ฐ๊ตฌ๋ฐฉ๋ฒ์กฐ์ฌ๋ก ์ ์ฐจ์ด์ ๊ณผ ํจ๊ป, ์ด๋ป๊ฒ ์ด ๊ณผ๋ชฉ๋ค์ ์ค๋นํด์ผ ํ ์ง์ ๋ํด ๊ตฌ์ฒด์ ์ผ๋ก ์์๋ณด๊ฒ ์ต๋๋ค. ์ฐ๊ตฌ๋ฐฉ๋ฒ๋ก : ์ฐ๊ตฌ ์ค๊ณ์ ์ด๋ก ์ ๊ธฐ์ด๋ฅผ ๋ฐฐ์ฐ๋ ๊ณผ๋ชฉ ์ฐ๊ตฌ๋ฐฉ๋ฒ๋ก ์ด๋? ์ฐ๊ตฌ๋ฐฉ๋ฒ๋ก ์ ์ฐ๊ตฌ๋ฅผ ์งํํ ๋ ํ์ํ ๊ธฐ์ด์ ์ธ ๋ฐฉ๋ฒ๋ก ๊ณผ ์ด๋ก ์ ํ์ ๋ค๋ฃจ๋ ๊ณผ๋ชฉ์ ๋๋ค. ์ฐ๊ตฌ ์ค๊ณ, ์คํ ๋ฐฉ๋ฒ, ๋ฐ์ดํฐ ๋ถ์ ๋ฑ ๋ค์ํ ์ฐ๊ตฌ ํ๋์์ ํ์์ ์ผ๋ก ์๊ตฌ๋๋ ์ง์์ ์ต๋ํ ์ ์์ต.. ํ์ต๊ณผ ์ฑ์ฅ 2024. 10. 22. ๋๋ณด๊ธฐ โบโบ Kafka ํ๋ก๋์ ๊ตฌํํ๊ธฐ: ๋ฉ์์ง ์ ์ก๋ถํฐ ์ฌ์๋ ์ฒ๋ฆฌ๊น์ง Apache Kafka ๋ ๋๊ท๋ชจ์ ๋ฐ์ดํฐ๋ฅผ ์ค์๊ฐ์ผ๋ก ์ฒ๋ฆฌํ๋๋ฐ ๋งค์ฐ ์ ์ฉํ ๋ถ์ฐ ๋ฉ์์ง ์์คํ ์ ๋๋ค. ๊ทธ ์ค์์๋ Kafka ํ๋ก๋์ ๋ ๋ฐ์ดํฐ๋ฅผ Kafka ํ ํฝ ์ผ๋ก ์ ์กํ๋ ํต์ฌ ์ญํ ์ ๋ด๋นํฉ๋๋ค. ์ด๋ฒ ํฌ์คํ ์์๋ Kafka ํ๋ก๋์ ์๋น์ค ์์ฑ , ๋ฉ์์ง ์ ์ก ๋ฐฉ๋ฒ , Ack(์ํฌ๋ ธ๋ ์ง๋จผํธ) ์ฒ๋ฆฌ , ์ฌ์๋์ ๋ฒํผ๋ง ์ค์ ๊น์ง ๋ค๋ฃน๋๋ค. ์ค๋ฌด์์ ์์ฃผ ์ฌ์ฉํ๋ ์์ ์ ํจ๊ป ๋ฐ๋ผ ํ๋ฉด์ ์ฝ๊ฒ ์ดํดํ ์ ์์ต๋๋ค. 1. Kafka ํ๋ก๋์ ์๋น์ค ์์ฑKafka ํ๋ก๋์ ์๋น์ค๋ ์คํ๋ง ๋ถํธ ์์ KafkaTemplate ์ ์ฌ์ฉํ์ฌ ๊ฐ๋จํ๊ฒ ๊ตฌํํ ์ ์์ต๋๋ค. KafkaTemplate ์ ๋ฉ์์ง๋ฅผ Kafka๋ก ์ ์กํ๋ ๋ฐ ํ์ํ ๋ชจ๋ ๊ธฐ๋ฅ์ ์ ๊ณตํฉ๋๋ค.@Se.. IT/Kafka, ๋น๋๊ธฐ ์ฒ๋ฆฌ 2024. 10. 22. ๋๋ณด๊ธฐ โบโบ ์ด์ 1 ยทยทยท 6 7 8 9 10 11 12 ยทยทยท 22 ๋ค์