DataRailroad

[Apache Kafka]kubernetes + helm 통해 Apache Kafka 설치 방법

*helm 이 설치되어 있습니다.

Strimzi Operator 설치

# 앞에 $ 부분은 뻈습니다.

# 1. namespace 생성
kubectl create namespace kafka

# 2. repo 생성
helm repo add strimzi https://strimzi.io/charts/
helm show values strimzi/strimzi-kafka-operator

# operator 설치
helm install kafka-operator strimzi/strimzi-kafka-operator --version 0.38.0 --namespace kafka

# 배포된 리소스 확인
kubectl get deploy,pod -n kafka

# operator가 지원하는 kafka 버젼 확인
kubectl describe deploy -n kafka | grep KAFKA_IMAGES: -A3

Kafka cluster 설치

*kafka 설치 전에 Strimzi 버젼 별로 설치 가능한 kafka를 확인해야 합니다. 아래 주소를 통해 확인합니다.

https://strimzi.io/downloads/

# Kafka cluster YAML 파일 다운로드
curl -s -O https://raw.githubusercontent.com/gasida/DOIK/main/strimzi/kafka-1.yaml

# kafka 배포
kubectl apply -f kafka-1.yaml -n kafka

# 배포된 리소스 확인
kubectl get all -n kafka

kafka-lag-exporter

kafka-lag-exporter 설치 및 실행

*여러 방법으로 실행하는 방법이 있는데 Java 방식으로 설치 및 실행했습니다. 다른 방식은 처음 사람이 하기에는 어려울 수 있습니다.

1. https://github.com/seglo/kafka-lag-exporter/releases 페이지에서 zip 형태를 다운로드 받습니다. Source code는 example 파일 사용을 위해 다운로드 받습니다.
2. java를 설치하거나, java version이 8이면 최신 버젼으로 업데이트 해줍니다.
   1. 8 버젼이면 아래와 같은 에러가 발생합니다.
   2. ‘java.lang.UnsupportedClassVersionError: ch/qos/logback/classic/spi/LogbackServiceProvider has been compiled by a more recent version of the Java Runtime (class file version 55.0), this version of the Java Runtime only recognizes class file versions up to 52.0’
3. Source code에 example 폴더에 application.conf 파일을 kafka-lag-exporter 폴더로 이동해줍니다.
4. pplication.conf 파일 내용을 수정해줍니다.
5. 아래 명령어를 실행해줍니다.

$ ./bin/kafka-lag-exporter -Dconfig.file=/Users/jsh/kafka/kafka-lag-exporter/application.conf

이제 Kafka는 안녕~

요약

WarpStream이라는 S3 위에 구축된 Kafka 프로토콜 호환 데이터 스트리밍 플랫폼이 나와 이제 Kafka는 사라질꺼라는 WarpStream 뉴스입니다. 

뉴스 요약 내용은 아래와 같습니다.

WarpStream는 S3 바로 위에 구축된 Kafka 프로토콜 호환 데이터 스트리밍 플랫폼입니다. 하나의 상태 없는 Go 이진 파일로 제공되므로 관리해야 할 로컬 디스크나 리밸런싱할 브로커, 운영해야 할 ZooKeeper가 없습니다. WarpStream은 데이터가 직접 S3로 스트리밍되므로 클라우드에서 Kafka보다 5-10배 저렴합니다. 이는 규모 있는 Kafka 배포의 인프라 비용의 80% 이상이 될 수 있는 지역 간 네트워킹을 사용하지 않기 때문입니다."

[출처]

https://www.warpstream.com/blog/kafka-is-dead-long-live-kafka