허깅페이스·스카이파일럿 연동을 통한 클라우드 데이터 전송 비용 절감

주장허깅페이스와 스카이파일럿의 협업은 인공지능 개발 팀이 특정 클라우드 공급업체에 종속되는 문제를 해결합니다. 데이터 저장 위치와 그래픽처리장치(GPU)가 위치한 클라우드가 달라도 데이터 전송 비용 없이 즉시 작업을 수행할 수 있습니다.

팩트허깅페이스 스토리지는 데이터 송신 비용과 콘텐츠 전송 네트워크 수수료를 부과하지 않습니다. 이는 아마존웹서비스(AWS) S3와 같은 기존 클라우드 스토리지 대비 비용 효율성을 높이며, 데이터가 저장된 위치와 상관없이 GPU 클러스터에서 자유롭게 데이터를 읽을 수 있게 합니다.

팩트스카이파일럿은 20개 이상의 클라우드, 쿠버네티스, 슬럼, 온프레미스 환경에서 작업을 실행할 수 있습니다. 사용자는 'hf://' 스킴을 사용하여 허깅페이스 버킷이나 리포지토리를 로컬 경로처럼 마운트할 수 있습니다.

교차검증허깅페이스 스토리지를 통해 데이터를 읽는 작업은 무료이지만, 작업 결과를 다시 클라우드로 저장하거나 내보낼 때는 해당 컴퓨팅 클라우드의 일반적인 데이터 송신 비용이 발생할 수 있습니다. 다만 인공지능 워크로드의 특성상 읽기 작업이 압도적으로 많아 전체 비용 절감 효과는 큽니다.

팩트허깅페이스 버킷은 젯 기술을 기반으로 구축되어 콘텐츠 기반 청킹을 지원합니다. 이를 통해 모델 체크포인트나 데이터셋의 변경된 부분만 저장하고 전송하므로 데이터 중복을 방지하고 효율성을 극대화합니다.

팩트마운트 방식은 허깅페이스의 'hf-mount' 파일시스템인 유즈 백엔드를 사용하며, 데이터 읽기 시 필요한 바이트만 가져오는 지연 로딩 방식을 채택했습니다. 이로 인해 전체 파일을 다운로드할 때까지 기다릴 필요 없이 즉시 GPU 학습을 시작할 수 있습니다.

팩트인증은 기존 허깅페이스 토큰을 그대로 사용합니다. 환경 변수에 토큰을 설정하면 아마존웹서비스, 구글 클라우드 플랫폼, 애저, 네비우스 등 어떤 클라우드 환경에서도 별도의 키 관리 없이 즉시 마운트가 가능합니다.

교차검증스카이파일럿의 마운트와 마운트 캐시 모드는 허깅페이스 스토리지 환경에서 동일하게 동작하며 온디스크 캐시를 유지합니다. 반복적인 데이터 읽기 작업 시 로컬 캐시를 활용하여 네트워크 부하를 줄이고 성능을 향상시킵니다.

팩트벤치마크 결과, 큐웬 3.5 4B 모델을 활용한 미세 조정 작업에서 모델 로딩은 클라우드 종류와 관계없이 약 30초 내에 완료되었습니다. 아마존웹서비스, 구글 클라우드 플랫폼, 람다 환경에서 동일한 버킷을 사용하여 체크포인트를 성공적으로 저장했습니다.

주장이번 기술 연동은 인공지능 인프라 운영의 유연성을 극대화합니다. 기업은 특정 클라우드 환경에 얽매이지 않고 가장 저렴하거나 성능이 우수한 GPU 자원을 선택하여 활용할 수 있습니다.

주장데이터 전송 비용의 제거는 대규모 데이터셋을 다루는 연구자들에게 큰 이점을 제공합니다. 특히 다중 클라우드 환경을 운영하는 조직은 인프라 구축 비용을 획기적으로 낮출 수 있습니다.

출처허깅페이스 공식 블로그(https://huggingface.co/blog/skypilot-hf-storage)를 통해 위 내용을 교차 검증했습니다.