25-02-27

📌 Daily Report

https://github.com/ssginc-be/DOKI/issues/23

📌 프로젝트 상황

모든게 잘되고 있엉!

구라임

📌 cmd: "명령줄이 길어요"

Kafka 파일 경로를 C:에 두어야 한다. 그저 놀라운.......;

📌 아키텍쳐, 이상과 현실

그리하여, 카프카는 GCP에 올리고 개발하기로 결정했다.

프레젠테이션 때 100% 질문 들어올 것 같아서 방어전(?)을 위해 그려놨다.

📌 Kafka, Zookeeper 컨테이너 설치

compose.yml

services:
  zookeeper:
    image: wurstmeister/zookeeper
    container_name: zookeeper
    ports:
      - "2181:2181"
  kafka:
    image: wurstmeister/kafka:2.13-2.8.1
    container_name: kafka
    ports:
      - "9092:9092"
    environment:
      KAFKA_ADVERTISED_HOST_NAME: 127.0.0.1
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock

...많이 쓰이는 것과 별개로, 마지막으로 레지스트리에 등록된 컨테이너가 상당히 구버전이었다. 지금 latest 카프카 버전이 2.13-3.9.0인데 ㅜ

그래도 바쁘니까 일단 쓰자.

📌 Docker 소켓 권한 설정하기

$ docker compose -f compose.kafka.yml up -d
unable to get image 'wurstmeister/kafka:2.13-2.8.1': permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: Get "http://%2Fvar%2Frun%2Fdocker.sock/v1.47/images/wurstmeister/kafka:2.13-2.8.1/json": dial unix /var/run/docker.sock: connect: permission denied

카프카 설치하다가 터진 문제인데, /var/run/docker.sock 파일의 권한을 666으로 변경하면 된다고 한다.

$ sudo chmod 666 /var/run/docker.sock

📌 compose down시 볼륨 제거하기

$ docker compose -f compose.kafka.yml down -v

나는 왜 그동안 docker rm -v $(docker ps -qa)로 삽질을 하였는가

그래도 명령어 외우는데 도움됨
아니 그걸 왜 외워요?

📌 Kafka 토픽 관련 명령어

Kafka 컨테이너 쉘 접속

$ docker container exec -it kafka bash

Kafka 토픽 리스트 확인

$ kafka-topics.sh --list --bootstrap-server localhost:9092

Kafka 토픽 생성

$ kafka-topics.sh --create --bootstrap-server localhost:9092 --topic doki-reserve

Kafka 토픽 삭제

$ kafka-topics.sh --delete --bootstrap-server localhost:9092 --topic doki-reserve

📌 reserve-service와 Kafka 연결

제일 먼저 GCP 방화벽에서 TCP 9092 인바운드를 허용해주었다.

그리고 요 레퍼를 참고해서 테스트 코드를 작성했는데..

20:59:02.335[org.springframework.kafka.KafkaListenerEndpointContainer#0-0-C-1] WARN  o.apache.kafka.clients.NetworkClient - [Consumer clientId=consumer-doki-1, groupId=doki] Connection to node 1001 (/127.0.0.1:9092) could not be established. Node may not be available.

뭐 호스트 설정이 잘못된 것 같은데,

생각해보니까 compose 스크립트에서 KAFKA_ADVERTISED_HOST_NAME: 127.0.0.1이 생각남.

아 설마 이거 GCP 인스턴스 엔드포인트로 세팅해야되는건가? 하고 다시 설정해서 compose up 해줬더니

21:09:06.733[kafka-producer-network-thread | reserve-service-producer-1] WARN  o.apache.kafka.clients.NetworkClient - [Producer clientId=reserve-service-producer-1] Error while fetching metadata with correlation id 1 : {doki-reserve=LEADER_NOT_AVAILABLE}

?

SSH 접속해서 카프카 컨테이너를 확인해보니 doki-reserve 토픽은 생성되어있었다. 그럼 연결은 된건데? 뭐지?