데이터브릭스 레이크베이스 기반의 브랜칭 CI/CD 패턴 도입

주장글라스포트는 데이터베이스 브랜칭을 코드 관리 방식과 동일하게 적용하여 데이터 환경의 일관성을 유지합니다. 이는 개발 및 운영 환경 간의 데이터 격차를 방지하고 테스트의 신뢰성을 높이는 핵심 전략입니다.

팩트글라스포트는 네덜란드의 광섬유 인프라를 구축하고 운영하는 기업입니다. 데이터 팀은 기존의 일회성 보고서 작성 업무에서 벗어나 데이터브릭스 지니와 인공지능/비즈니스 인텔리전스(AI/BI) 대시보드를 활용한 자가 분석 환경으로 전환했습니다.

팩트레이크베이스는 데이터브릭스에서 제공하는 서버리스 포스트그레스 온라인 트랜잭션 처리(OLTP) 데이터베이스입니다. 이 시스템은 데이터 레이크하우스와 병행하여 운영하며 분석용 데이터와 트랜잭션 데이터를 통합 관리합니다.

팩트레이크베이스 브랜치는 복사 시 데이터를 물리적으로 복제하지 않고 상태만 분기하는 카피 온 라이트 방식을 사용합니다. 각 브랜치는 독립적인 엔드포인트와 데이터를 가지며 수 초 내에 생성 및 삭제가 가능합니다.

주장기존의 계층형 브랜칭 구조는 상위 브랜치를 초기화할 때 하위 브랜치를 모두 삭제해야 하는 부모 초기화 함정을 유발합니다. 글라스포트는 모든 환경을 운영 환경에서 직접 분기하는 방식으로 이 문제를 해결했습니다.

팩트글라스포트는 개발과 수용 환경을 운영 환경의 자식 브랜치로 병렬 배치하여 서로 독립성을 보장합니다. 이 구조 덕분에 특정 환경을 초기화하더라도 다른 환경에 영향을 주지 않고 즉시 최신 데이터를 반영할 수 있습니다.

팩트글라스포트의 지속적 통합 및 지속적 배포(CI/CD) 흐름은 모든 풀 리퀘스트마다 운영 환경에서 복제된 독립적인 레이크베이스 브랜치를 생성합니다. 마이그레이션은 실제 환경에 반영되기 전 라이브 앱 이미지 환경에서 테스트를 거칩니다.

교차검증브랜칭 구조를 단순화하면 관리는 용이해지지만, 운영 환경에서 직접 분기할 때 발생하는 데이터 동기화 비용과 보안 권한 관리에 대한 추가적인 검토가 필요합니다. 글라스포트는 이를 위해 CI/CD 파이프라인 내에 스택 재검증과 같은 안전장치를 마련했습니다.

교차검증데이터베이스를 코드처럼 관리하는 방식은 개발 속도를 높이지만, 마이그레이션 과정에서 데이터 손실이나 스키마 충돌이 발생할 위험이 있습니다. 따라서 데이터베이스 자체보다 마이그레이션 스크립트를 진실의 원천으로 삼는 접근이 필수적입니다.

출처데이터브릭스 공식 블로그의 글라스포트 사례를 통해 해당 내용을 교차 검증했습니다. https://www.databricks.com/blog/branching-databases-code-cicd-pattern-lakebase-production-glaspoort