올모-코어 3(Olmo-core 3) 기반 대규모 MoE 학습 인프라 공개

주장앨런 AI 연구소(Allen AI Institute)는 대규모 언어 모델 개발의 진입 장벽을 낮추기 위해 올모-코어 3(Olmo-core 3)를 공개했습니다. 이 프레임워크는 전문가 혼합(Mixture-of-Experts, MoE) 모델의 학습 효율을 높여 학계와 소규모 연구소도 고성능 모델을 개발하도록 지원합니다.

팩트올모-코어 3는 전문가 풀을 기존 8개에서 128개로 확장했습니다. 전체 파라미터 용량은 46억 개에서 470억 개로 증가했으나, 토큰당 활성 파라미터 수는 약 32억 개로 유지했습니다. 이 과정에서 학습 처리량 감소는 5% 미만에 그쳤습니다.

팩트연구소는 기존 완전 샤딩 데이터 병렬화(Fully Sharded Data Parallelism, FSDP) 방식에서 분산 데이터 병렬화(Distributed Data Parallelism, DDP) 기반 시스템으로 전환했습니다. 이를 통해 전문가 모델을 그래픽 처리 장치(GPU)에 상주시켜 가중치를 반복적으로 수집하는 비용을 제거했습니다.

팩트엔비디아(NVIDIA) B300 GPU 8대를 사용한 테스트에서 470억 파라미터 MoE 모델의 처리량은 초당 5만 2000 토큰을 기록했습니다. 이는 기존 방식인 1만 9400 토큰 대비 약 2.7배 향상된 수치입니다.

주장올모-코어 3는 전문가 병렬 처리, 파이프라인 병렬 처리, 분산 옵티마이저 기술을 결합하여 메모리 효율을 극대화합니다. 이 기술들은 모든 GPU가 전체 모델 상태를 메모리에 유지하지 않고도 대규모 모델을 분산 학습하도록 돕습니다.

팩트연구소는 MXFP8 정밀도 형식을 도입하여 학습 처리량을 기존 BF16 대비 약 21% 향상했습니다. 또한 피크 활성 메모리 사용량을 103 GiB에서 95 GiB로 줄여 자원 효율성을 개선했습니다.

교차검증시스템 성능 향상을 위해 통신과 연산을 중첩하는 기술을 적용했으나, 모든 환경에서 학습 속도가 빨라지지는 않았습니다. 일부 테스트에서는 오히려 전체 실행 시간이 지연되는 결과가 나타났습니다.

팩트512개의 엔비디아 B300 GPU를 사용하여 1.2조 파라미터 모델을 테스트한 결과, GPU당 최대 858 TFLOP/s의 처리량을 달성했습니다. 연구진은 딥이피 브이2(DeepEP v2)를 활용해 2.38조 파라미터 규모의 구성까지 실험적으로 구현했습니다.

교차검증연구진은 토큰 게리맨더링(token gerrymandering) 현상을 발견했습니다. 이는 모델의 라우팅 균형 점수는 개선되더라도 실제 작업 부하의 균형은 깨질 수 있다는 위험을 의미합니다.

주장올모-코어 3는 복잡한 분산 학습 환경에서 자원 배분의 최적화를 실현합니다. 이는 대규모 모델 연구의 비용 효율성을 높이는 중요한 전환점이 됩니다.

팩트이번 프레임워크는 공개된 오픈 소스 생태계를 기반으로 설계되었습니다. 이를 통해 누구나 대규모 언어 모델의 학습 구조를 분석하고 개선할 수 있습니다.

출처허깅페이스(https://huggingface.co/blog/allenai/olmocore3)의 앨런 AI 공식 블로그 내용을 교차 검증했습니다.