데이터브릭스, dbt 파이프라인 비용 추적 기능 도입

주장데이터브릭스는 dbt(data build tool) 파이프라인 쿼리에 태그를 부착하여 비용과 성능을 정밀하게 추적하는 기능을 도입했습니다. 이 기능은 복잡한 코드 수정 없이도 팀, 프로젝트, 환경별 자원 사용량을 명확히 구분합니다.

팩트데이터브릭스의 쿼리 태그 기능은 현재 공개 프리미엄 단계로 제공됩니다. dbt-databricks 어댑터 1.11 버전 이상을 사용하면 모델 이름, 구체화 전략, 버전 정보가 쿼리에 자동으로 주입됩니다.

팩트시스템 쿼리 기록인 시스템 쿼리 히스토리(system.query.history) 테이블에 태그 정보가 맵(MAP) 형식으로 저장됩니다. 사용자는 에스큐엘(SQL) 쿼리로 지난 7일간의 데이터를 집계하고 비용을 분석합니다.

교차검증태그 설정이 과도해지면 관리가 복잡해질 위험이 존재합니다. 데이터브릭스는 모델별 설정보다 프로필 수준에서 조직 전체의 공통 태그를 정의하는 방식을 권장합니다.

팩트프로필 수준의 태그와 모델 수준의 태그가 충돌할 경우, 모델 수준의 설정이 우선순위를 갖습니다. 이 방식을 통해 특정 모델에 대한 세밀한 비용 추적이 가능합니다.

주장쿼리 태그를 활용하면 데이터 팀은 별도의 웨어하우스 분리 없이도 파이프라인별 비용을 산출합니다. 이는 핀옵스(FinOps, 클라우드 비용 관리 체계) 관점에서 비용 효율성을 높이는 핵심 기반이 됩니다.

팩트데이터브릭스 지니(Genie)를 활용하면 자연어 질문만으로 특정 dbt 모델의 컴퓨팅 비용을 즉시 확인합니다. 또한 제공된 레퍼런스 프로젝트를 통해 대시보드를 즉시 배포할 수 있습니다.

교차검증메트릭 뷰(Metric View)에 태그를 부착할 때는 주의가 필요합니다. 쿼리 태그는 쿼리 실행 추적용이며, 유니티 카탈로그(Unity Catalog)의 오브젝트 태그와는 목적과 범위가 다릅니다.

팩트레퍼런스 프로젝트 분석 결과, 4개의 핵심 마트 테이블이 전체 컴퓨팅 시간의 92%를 차지합니다. 태그를 활용하지 않았다면 이러한 성능 병목 지점을 식별하기 어렵습니다.

출처데이터브릭스 공식 블로그(https://www.databricks.com/blog/granular-usage-attribution-dbt-pipelines-query-tags)를 교차 검증했습니다.