kafka
-
Apache Kafka카테고리 없음 2019. 5. 12. 13:20
소개 Kafka는 분산 messaging platform으로 publisher/subscriber model을 기반으로 동작한다. 분산 플랫폼이므로 실시간 대용량 로그 처리에 용이하다.producer가 특정 topic의 message들을 생성하면 Kafka cluster가 각 topic별로 분류하여 보관한다. 그리고 각 topic을 구독하고있는 consumer들이 해당 topic의 message들을 가져가는 형태이다. Topic Topic은 여러 partition들로 쪼개져 Kafka cluster의 각 서버에 저장된다. 이 때 각 partition별로 메세지의 순서가 보장된다. Replication(복제) 설정을 해두면, 마찬가지로 각 cluster의 각 서버에 partition별로 복제되어 저장되고,..