구글 딥마인드, 분산형 AI 학습 기술 디커플드 다이로코 공개

주장구글 딥마인드는 기존의 엄격한 동기화 기반 인공지능 학습 방식이 가진 한계를 극복하고자 디커플드 다이로코(Decoupled DiLoCo)라는 새로운 분산형 아키텍처를 제안했습니다. 이 기술은 대규모 언어 모델 학습 과정에서 발생하는 하드웨어 동기화 문제를 해결하여 유연한 학습 환경을 조성합니다.

팩트디커플드 다이로코는 학습 작업을 독립적인 컴퓨팅 섬으로 분할하고 데이터 흐름을 비동기식으로 처리합니다. 이러한 구조는 특정 지역에서 하드웨어 장애가 발생하더라도 전체 시스템이 멈추지 않고 학습을 지속하게 합니다.

교차검증기존 데이터 병렬 처리 방식은 글로벌 규모에서 통신 지연 문제로 인해 실용성이 낮았습니다. 디커플드 다이로코는 통신 병목 현상을 제거하여 지리적으로 떨어진 데이터 센터 간의 효율적인 학습을 지원합니다.

팩트연구진은 카오스 엔지니어링 기법을 활용해 학습 도중 인위적인 하드웨어 장애를 발생시키는 테스트를 수행했습니다. 실험 결과, 디커플드 다이로코는 일부 학습 유닛이 손실되어도 학습 과정을 유지했으며 복구 시 원활하게 재통합되는 자가 치유 능력을 보였습니다.

팩트젬마 4 모델을 활용한 테스트에서 이 시스템은 기존 방식보다 높은 학습 클러스터 가용성을 유지했습니다. 또한 전통적인 동기화 방식과 비교했을 때 동일한 수준의 머신러닝 성능을 달성했습니다.

팩트연구팀은 120억 개의 파라미터를 가진 모델을 미국 내 4개 지역에 걸쳐 2~5 Gbps의 광역 네트워크 환경에서 성공적으로 학습시켰습니다. 이는 전용 네트워크 인프라 없이도 일반적인 인터넷 연결을 통해 학습이 가능함을 의미합니다.

팩트디커플드 다이로코는 기존 동기화 방식보다 20배 이상 빠른 학습 속도를 달성했습니다. 시스템의 특정 부분이 다른 부분을 기다려야 하는 차단 병목 현상을 제거하고 통신을 계산 기간 내에 포함했기 때문입니다.

주장이 기술은 서로 다른 세대의 하드웨어를 단일 학습 작업에 혼합하여 사용함으로써 자원 활용도를 높입니다. 예를 들어 텐서 처리 장치(TPU) v6e와 TPU v5p를 동시에 사용하여 기존 하드웨어의 수명을 연장하고 전체 컴퓨팅 용량을 확대합니다.

교차검증하드웨어 세대가 다르면 처리 속도에 차이가 발생할 수 있으나, 실험 결과 서로 다른 속도의 칩을 사용해도 단일 유형의 칩을 사용한 학습과 동일한 성능을 보였습니다. 이는 하드웨어 교체 주기에 따른 물류 및 용량 병목 현상을 완화합니다.

출처구글 딥마인드 공식 블로그의 'Decoupled DiLoCo: Resilient, Distributed AI Training at Scale' 게시물을 통해 해당 내용을 교차 검증했습니다(2026년 4월 23일).