Spring Cloud Data Flow 톺아보기 - Architecture (1)

📝 개요

[2024/개발] - Spring Cloud Data Flow 로컬 구축기를 통해 로컬 PC에 구축은 성공했으나,

어떤 구조로 동작하는지나 어떤 기능이 제공되는지 등에 대해서 모르니 뭘 할 수가 없다.

 

Spring Cloud Data Flow 공식 사이트에서 설명해주는 내용들을 공부해보자.

👨‍💻 Spring Cloud Data Flow 톺아보기 - Architecture (1)

Data Flow는 주요 컴포넌트로 Data Flow Server와 Skipper Server를 가진다.

 

주로 Data Flow Server에서 제공하는 RESTful API를 이용하여 Data Flow를 이용한다.

Web Dashboard, Data Flow Shell도 Data Flow Server에서 제공하는 RESTful API를 호출하는 구조이다.

Spring Data Flow Architecture

Data Flow Server

Data Flow Server는 다음을 담당한다.

• Domain-Specific Language(DSL)로 정의된 Stream, Batch Job을 파싱한다.
• Stream, Batch Job 정의를 검증하고 유지한다.
• DSL로 사용되는 jar나 Docker 이미지를 artifact로 등록한다.
• Batch Job을 하나 이상의 플랫폼에 배포한다.
• 작업 스케쥴링을 플랫폼으로 전달한다.
• Task, Batch Job에 대한 수행 이력을 제공한다.
• Stream으로 메세지 통신을 통해 설정 정보를 추가할 수 있다.
• Skipper로 Stream 배포 수행을 전달한다.
• Stream, Batch Job 생성, 배포, 삭제 동작을 수행한다.
• Stream, Batch Job DSL 자동완성 기능을 제공한다.

Skipper Server

Skipper Server는 다음을 담당한다.

• Stream을 하나 이상의 플랫폼에 배포한다.
• 하나 이상의 플랫폼에서 Stream을 업그레이드하거나 롤백한다. (블루-그린 업그레이드 정책)
• 각 Stream에 대한 manifest 변경이력을 저장한다.

Database

Data Flow Server, Skipper Server는 RDBMS가 필요하다.

기본값으로는 내장 H2 Database를 사용하고, 외부 Database를 연결하여 이용할 수 있다.

지원되는 RDBMS로는 H2, HSQLDB, MariaDB, Oracle, Postgresql, DB2, SqlServer가 있다.

Security

Data Flow Server, Skipper Server는 인증 방식으로 Basic Auth, OAuth 2.0을 지원한다.

필요하다면 다른 방법으로도 설정할 수 있도록 기능을 제공하는 것으로 보인다.

Application Types

두가지 타입의 어플리케이션을 제공한다.

• Long-lived applications : 무제한 데이터를 메세지 기반으로 처리하는 어플리케이션
  • 단일 입/출력 또는 다수 입/출력을 가질 수 있다.
• Short-lived applications : 유한한 데이터를 처리하고 종료되는 어플리케이션
  • Data Flow DB에 수행 상태를 기록하면서 코드를 수행하는 Task
    Java 어플리케이션이 아닌 Spring Cloud Task Framework를 사용할 수도 있다.
  • Spring Batch 프레임워크를 포함한 Task 확장

일반적으로,

Spring Cloud Stream기반 Long-lived application과

Spring Cloud Task/Spring Batch 기반 Short-lived application을 사용한다.

 

꼭 Spring을 사용하지 않더라도 Data Flow Application으로 사용할 수 있으며,

다른 언어로 작성된 것 또한 사용할 수 있다.

 

Application은 Maven Repository, File Location, HTTP로 접근할 수 있는 uber-jar 나 Docker image로 패키징을 하면 된다.

💬 맺음말

최초 Spring Batch 작업을 관리하는 도구를 찾기 시작한 여정 중

Spring Batch와 관련된 내용들이 하나씩 나오니 재미있네요.

 

다음 편은 Long-lived Applications, Short-lived Applications 더 알아보기로 찾아뵙겠습니다.