엔비디아 분산 학습 자동 복구 기술 공개

주장엔비디아는 분산 인공지능 학습 규모가 커짐에 따라 발생하는 하드웨어와 소프트웨어 장애를 해결하기 위해 자동화된 워크로드 복구 서비스인 엔비디아 리커버리를 도입했습니다. 이 서비스는 수동 복구의 한계를 극복하고 하루 종일 학습 중단 없이 시스템을 운영하는 것을 목표로 합니다.

팩트엔비디아 리커버리는 애플리케이션 로그, 그래픽 처리 장치 측정 지표, 스케줄러 신호를 분석하여 장애를 감지합니다. 시스템은 이상 징후 감지, 장애 원인 파악, 문제 노드 격리, 정책에 따른 워크로드 재시작의 4단계 복구 루프를 수행합니다.

교차검증새로운 배포 환경에서는 기본적으로 모니터링 모드가 활성화됩니다. 운영자는 자동 복구 기능을 활성화하기 전에 시스템이 제안하는 복구 권장 사항을 검토하여 신호 품질을 먼저 검증할 수 있습니다.

팩트슬럼 스케줄러와의 통합은 헬름 차트를 통해 배포되는 어드바이저 컨트롤러를 통해 이루어집니다. 이 방식은 클러스터 내부 모드와 원격 접속 모드를 모두 지원하며 스케줄러 내부 구조와 독립적으로 작동합니다.

주장워크로드 복구는 단순한 개별 작업의 문제가 아니라 클러스터 전체의 조정 문제입니다. 인프라 수정, 프레임워크 수준의 복구, 클러스터 워크로드 관리를 통합하는 제어 루프가 필수적입니다.

팩트엔비디아 리커버리는 엔비디아 디에스엑스 오에스 스택의 일부로 제공되며, 기존의 건강 상태 모니터링 도구와 독립적으로 작동합니다. 사용자는 기존 작업 흐름을 크게 변경하지 않고도 이 모듈형 구성 요소를 도입할 수 있습니다.

팩트2026년 7월 9일부터 10월 9일까지 한 학습 클러스터에서 진행된 운영 모니터링 결과, 하루 평균 약 200개의 작업이 관리되었습니다. 이 기간 동안 총 8550건의 이상 징후가 감지되었으며, 평균 감지 시간은 69초, 복구 조치 시간은 94초로 기록되었습니다.

교차검증대규모 클러스터에서는 개별 그래픽 처리 장치의 낮은 고장 확률도 수천 대가 모이면 치명적인 중단으로 이어집니다. 1만 대의 그래픽 처리 장치를 사용하는 작업의 경우, 하루 동안 중단 없이 완료될 확률은 0.005% 미만으로 매우 낮아 자동화된 복구가 필수적입니다.

주장수동 복구는 로그 분석과 검사점 재시작 과정에서 많은 공학 자원을 소모합니다. 자동화된 복구 시스템은 그래픽 처리 장치 유휴 시간을 줄이고 전체적인 연산 비용을 최적화하는 데 기여합니다.

팩트엔비디아는 원스톱 저장소를 공개하여 사용자가 소스 코드와 문제 추적기를 확인하고 기술을 도입할 수 있도록 지원합니다. 사용자는 물리적 그래픽 처리 장치 없이도 지역 환경에서 빠른 시작 안내서를 통해 해당 서비스를 배포해 볼 수 있습니다.

출처엔비디아 기술 블로그(https://developer.nvidia.com/blog/keep-distributed-training-running-with-automated-workload-recovery/)의 보도를 교차 검증했습니다.