데이터브릭스, 수단 지하수 데이터 디지털화 및 탐사 효율화

주장데이터브릭스와 맵에이드는 수단 전역에 흩어진 수문학적 기록을 체계화하여 지하수 탐사 효율을 극대화합니다. 비정형화된 과거의 종이 문서를 디지털 데이터로 전환함으로써 시추 실패 비용을 줄이고 지역 사회의 생존을 돕습니다.

팩트이번 프로젝트는 약 700개의 스캔된 문서와 5,000페이지 이상의 지질 조사 보고서 및 시추 기록을 처리했습니다. 해당 자료는 수단 지식 아카이빙 협회(SUDAAK)가 보유했으나, 기존에는 검색 시스템이 없어 활용이 불가능했습니다.

팩트연구팀은 멀티모달 인공지능(AI)을 활용하여 스캔된 이미지에서 직접 정보를 추출하는 서버리스 파이프라인을 구축했습니다. 이를 통해 영어와 아랍어가 혼용되거나 손글씨가 포함된 복잡한 문서에서도 수질 관련 데이터를 식별했습니다.

교차검증방대한 문서 양으로 인해 모든 페이지를 정밀 분석하는 것은 비용 효율성이 낮다는 한계가 있었습니다. 연구팀은 문서의 중요 섹션만 샘플링하는 전략을 도입하여 AI 처리량을 70% 이상 절감하면서도 분류 품질을 유지했습니다.

팩트데이터브릭스의 AI 함수(ai_query)를 사용하여 SQL 환경 내에서 직접 데이터를 처리했습니다. 시스템은 듀이 십진 분류법을 적용하고, 지리적 위치와 수질 관련성 여부를 자동으로 태깅하여 검색 가능한 카탈로그를 생성했습니다.

팩트파이프라인은 문서 내 흩어진 GPS 좌표, 시추 깊이, 수위 측정값, 산출량 데이터를 구조화된 JSON 형식으로 추출합니다. 추출된 데이터는 맵에이드의 지하수 예측 모델인 웰맵(WellMapr)에 입력되어 시추 위치 선정의 정확도를 높입니다.

교차검증AI가 생성한 분류 결과의 정확성을 보장하기 위해 별도의 AI 모델이 평가자 역할을 수행합니다. 정확성, 완전성, 일관성을 기준으로 점수를 매기며, 기준치 이하의 결과물만 사람이 직접 검토하여 인적 자원 투입을 최소화했습니다.

팩트전체 시스템은 데이터브릭스 에셋 번들(Databricks Asset Bundle)로 패키징되어 단일 명령어로 배포가 가능합니다. 모든 데이터는 유니티 카탈로그(Unity Catalog)와 델타 레이크(Delta Lake)에 저장되어 데이터의 신뢰성과 이력을 보장합니다.

주장이번 사례는 비정형 문서가 많은 공공 및 학술 분야에서 AI를 활용해 지식 자산을 디지털화하는 표준 모델을 제시합니다. 데이터 엔지니어링과 AI 추론을 단일 플랫폼에서 통합함으로써 운영 복잡성을 크게 낮췄습니다.

출처데이터브릭스 공식 블로그 및 수단 지식 아카이빙 협회(SUDAAK) 아카이브 자료를 교차 검증했습니다.