데이터브릭스 유니티 카탈로그 관리형 테이블의 상호운용성 확대

주장데이터브릭스는 유니티 카탈로그 관리형 델타 테이블에 외부 엔진이 직접 접근하도록 지원하여 데이터 레이크하우스의 상호운용성을 극대화합니다. 기업은 이번 업데이트로 성능 최적화와 중앙 집중식 거버넌스라는 두 가지 핵심 가치를 동시에 누립니다.

팩트아파치 스파크, 아파치 플링크, 스타버스트, 덕DB 등 다양한 외부 엔진이 유니티 카탈로그 관리형 델타 테이블을 생성하고 읽고 쓰는 작업을 수행합니다. 기존 외부 테이블은 데이터 재작성 없이 'ALTER TABLE SET MANAGED' 명령어로 관리형 테이블로 즉시 전환합니다.

팩트유니티 카탈로그 관리형 테이블은 예측 최적화 기능을 제공합니다. 이 기능은 스토리지 정리, 쿼리 통계 수집, 레이아웃 최적화를 자동으로 수행하여 데이터 팀의 수동 튜닝 부담을 줄입니다.

팩트예측 최적화 기능은 쿼리 성능을 최대 20배 향상합니다. 또한 스토리지 비용을 최대 50퍼센트까지 절감하는 효과를 보입니다.

교차검증과거에는 다중 엔진 접근을 위해 성능 최적화와 거버넌스 보장이 부족한 외부 테이블을 사용해야 하는 한계가 있었습니다. 이번 업데이트로 외부 엔진에서도 카탈로그 커밋을 통한 안전한 쓰기 작업이 가능해지면서 이러한 제약이 해소됩니다.

팩트유니티 카탈로그는 관리형 테이블의 커밋 조정자 역할을 수행합니다. 외부 클라이언트가 클라우드 스토리지에 직접 커밋하는 대신 카탈로그를 통해 조정함으로써 데이터 일관성을 보장하고 감사 기능을 제공합니다.

팩트외부 접근 기능은 오픈 API를 기반으로 하며 유니티 카탈로그 오픈소스 프로젝트와 연동합니다. 자격 증명 벤딩을 통해 유니티 카탈로그 권한에 기반한 단기적이고 범위가 제한된 자격 증명을 발급하여 보안을 유지합니다.

팩트데이터브릭스는 델타 커널을 통해 델타 레이크 생태계를 확장합니다. 덕DB 1.5.1 버전은 델타 커널을 사용하여 유니티 카탈로그 관리형 델타 테이블을 직접 읽고 쓰는 기능을 구현했습니다.

주장중앙 집중식 거버넌스는 다중 엔진 파이프라인 운영의 핵심 요소입니다. 유니티 카탈로그는 엔진 종류나 쿼리 주체와 관계없이 일관된 접근 제어 정책을 적용하여 데이터 보안을 강화합니다.

팩트교차 엔진 속성 기반 접근 제어 기능을 통해 외부 엔진에서 데이터를 읽을 때 행 필터링이나 열 마스킹을 중앙에서 강제합니다. 이는 별도의 추가 작업 없이도 세밀한 접근 제어를 가능하게 합니다.

주장데이터브릭스의 이번 행보는 파편화된 데이터 환경을 통합하려는 전략의 일환입니다. 기업은 다양한 분석 도구를 활용하면서도 데이터 관리의 효율성을 높이는 환경을 구축합니다.

출처데이터브릭스 공식 블로그의 유니티 카탈로그 관리형 테이블 관련 기술 문서를 교차 검증했습니다.