Spring Cloud Data Flow 로컬 구축기

📝 개요

[2024/개발] - Spring Batch 관리 도구 Jenkins 대안 탐색기에서 흥미가 생긴 Spring Cloud Data Flow(SCDF) 경험해보자.

로컬에서 SCDF를 구축하는 과정, Spring Batch 관리 도구로 적절한지 검토한 내용들을 공유할 예정이다.

👨‍💻 Spring Cloud Data Flow 로컬 구축기

MacBook Air (M1)에서 Spring Cloud Data Flow 공식 가이드 문서를 따라 로컬에 띄워보자.

1. 로컬에 Docker Desktop, Docker, Docker Compose 설치
2. Docker Compose 파일 다운로드 (가이드 링크)
   
   • Docker Compose 파일 다운로드 명령어
     wget -O docker-compose.yml https://raw.githubusercontent.com/spring-cloud/spring-cloud-dataflow/main/src/docker-compose/docker-compose.yml;
     wget -O docker-compose-kafka.yml https://raw.githubusercontent.com/spring-cloud/spring-cloud-dataflow/main/src/docker-compose/docker-compose-kafka.yml;
     wget -O docker-compose-mysql.yml https://raw.githubusercontent.com/spring-cloud/spring-cloud-dataflow/main/src/docker-compose/docker-compose-mysql.yml;
3. Docker Compose 시작 (가이드 링크)
   • Docker Compose 시작 명령어
     export DATAFLOW_VERSION=2.11.4
     export SKIPPER_VERSION=2.11.4
     docker-compose -f docker-compose.yml -f docker-compose-kafka.yml -f docker-compose-mysql.yml up
   • 맥북 M1에서 시작이 안된다면, 로그를 확인해보자.
   • "no matching manifest for linux/arm64/v8 in the manifest list entries"
     👉 해결방법 : docker-compose-mysql.yml 파일 내 image 와 동일 dpeth에 아래 내용을 추가한다.
     "platform: linux/x86_64"
   • "[ERROR] [Entrypoint]: MYSQL_USER="root", MYSQL_USER and MYSQL_PASSWORD are for configuring a regular user and cannot be used for the root user
     Remove MYSQL_USER="root" and use one of the following to control the root user password:
     - MYSQL_ROOT_PASSWORD
     - MYSQL_ALLOW_EMPTY_PASSWORD
     - MYSQL_RANDOM_ROOT_PASSWORD"
     👉 해결방법 : docker-compose-mysql.yml 파일 내 아래 내용을 제거하거나 주석으로 변경한다.
     services.mysql 하위에 있는 "MYSQL_USER: root" 만 제거
4. http://localhost:9393/dashboard 접속

Spring Cloud Data Flow Dashboard

마지막으로 Spring Cloud Data Flow를 중단한다.

1. Ctrl + C를 눌러서 docker-compose 프로세스 종료
2. docker-compose down 명령어를 수행하여 사용된 Docker containers들을 정리

💬 맺음말

시작이 반이라고 Spring Cloud Data Flow Dashboard를 띄우는 것까지 성공했습니다.

앞으로 Spring Cloud Data Flow 구조나 기능들을 더 알아보고,

기존 Spring Batch 어플리케이션과 연동이 가능한지 등에 대해서 확인해볼 예정입니다.

 

다음 편은 [2024/개발] - Spring Cloud Data Flow 톺아보기 - Architecture (1)로 찾아뵙겠습니다.