Spring Batch 관리 도구 Jenkins 대안 탐색기

📝 개요

Spring Batch 기반 배치 작업의 스케쥴링 및 이력 확인하는데 Jenkins를 가장 많이 사용한다.

Jenkins를 사용하면서 느낀 불편함들이 있었다.

• (가장 큰 불편함) 돈을 내지 않으면 이중화를 하기 까다롭다. ThinBackup ? NAS ?
• Spring Batch 작업을 등록하기 위한 별도 Jenkins 설정 or Jenkinsfile을 만들어야 한다.

Jenkins도 좋지만, 다른 대안이 없을지 찾아보는 그 과정을 공유하고자 한다.

🔍 Spring Batch 관리 도구 Jenkins 대안 탐색기

Spring Batch 관리 도구 Jenkins 대안을 찾아보자.

Spring Batch 관리 도구로써 적절하다고 판단하는 기준은 다음과 같다.

• IDC 이중화를 제공하는가 (수동태말고 능동태로 말이다.)
• 배치 작업 수행 이력 파악이 용이한가
• 배치 작업의 영향으로 서버 리소스에 이슈가 발생하지 않는가
• 관리 도구가 지속적으로 유지보수되고 있는가
• 관리 도구의 커뮤니티가 활성화되어 있는가

Spring Batch Admin

Spring Batch Job을 관리하고 모니터링 할 수 있는 웹 앱이다.

공식 GitHub Repo에서도 말하고 있듯이 더이상 사용하지 말고 Spring Cloud Data Flow를 사용하길 권장하고 있다.

https://github.com/spring-attic/spring-batch-admin

GitHub - spring-attic/spring-batch-admin: Spring Batch Admin: runtime application and utilities for running Jobs with Spring Bat

Spring Cloud Data Flow

Spring Cloud Data Flow(SCDF)는 Steaming, Batch 작업을 수행하는 것을 도와주는 도구이다.

위에서도 언급했던 바와 같이 Spring에서 권장되는 방식이다.

기존 Spring Batch의 Job이 아니라 Spring Cloud Task라는 단위로 관리된다.

기존 Spring Batch 기반 코드들을 그대로 사용할 수 있는지도 주요 검토 포인트가 될 것 같다.

Spring Batch 메타데이터(e.g. Job Paratmeter)가 포함된 대시보드를 제공한다.

https://spring.io/projects/spring-cloud-dataflow

Spring Cloud Data Flow

Spring Scheduler

Spring Scheduler는 스케쥴링에 따라 정해진 작업을 수행해주는 기능? 모듈? 이다.

자동으로 작업을 수행해주는 기능을 제공하지만, 다중 인스턴스 환경에서 동시 수행을 막기 위해 주로 Quartz와 같이 사용된다.
Spring Scheduler로 수행하는 경우 Spring Application이 띄워진채로 리소스를 계속 사용한다.

그리고 Spring Batch와 같은 리소스를 공유함으로써 스케쥴링과 배치 작업 간의 영향을 받을 수 있는 구조이다.

예를 들면, 배치 작업을 수행하다가 OOM이 발생하면 프로세스가 다운되어 스케쥴링과 배치 작업 모두 수행되지 못한다.

https://github.com/spring-guides/gs-scheduling-tasks

GitHub - spring-guides/gs-scheduling-tasks: Scheduling Tasks :: Learn how to schedule tasks with Spring.

K8s CronJob

K8s 환경에서 사용할 수 있는 스케쥴 작업 리소스이다.

스케쥴링 현황이나 수행 결과 이력 관리, 모니터링 등의 불편함이 있어서 실제 운영 도구로 사용하기 어렵다고 생각한다.

CronJob으로만 구성하는 경우 별도로 자체 구축해야하는 기능들이 많다.

https://kubernetes.io/ko/docs/tasks/job/automated-tasks-with-cron-jobs/

크론잡(CronJob)으로 자동화된 작업 실행

Airflow

파이썬 기반의 Workflow를 정의하고 스케쥴링 및 모니터링하기 위한 오픈소스 플랫폼이다.

Schduler 역할로 잘 수행될 수 있는 정도로만 사용될 수 있을 것 같다.

추가로 Workflow와 Job을 나눠서 같이 사용하는 경우에는 더 활용도는 높을 수 있으나 복잡도나 관리포인트가 많이 늘어날 것 같다.

이 부분은 Jenkins에서도 동일하게 발생할 수 있는 부분으로 로직 수행과 스케쥴러의 역할을 잘 분리해서 쓰도록 노력 중이다.

https://github.com/apache/airflow

GitHub - apache/airflow: Apache Airflow - A platform to programmatically author, schedule, and monitor workflows

💬 맺음말

지금도 Jenkins를 메인으로 사용하고 있어요.

Spring Cloud Data Flow를 조금 더 살펴볼 생각입니다.

 

현재도 적절한 Spring Batch 관리 도구를 찾으러 다니고 있어요. 🚌

좋은 도구가 있다면 댓글로 알려주세요. 🙇‍♂️

 

다음 편은 [2024/개발] - Spring Cloud Data Flow 로컬 구축기로 찾아뵙겠습니다.