엔비디아 GB300 기반 큐원3.8-2.4T 모델 추론 기술

주장알리바바가 공개한 큐원3.8-2.4T-에이95비 모델은 오픈 소스 생태계에서 최상위 수준의 성능을 제공합니다. 이 모델은 복잡한 추론과 에이전트 기반의 작업을 수행하기 위해 설계되었습니다.

주장앞서 언급한 모델의 효율적인 서빙을 위해 세밀한 혼합 전문가 아키텍처가 적용되었습니다. 이 구조는 전체 파라미터를 모두 사용하는 대신 필요한 전문가만 활성화하여 비용을 절감합니다.

주장개발자는 추론 깊이를 조절할 수 있는 내장형 제어 기능을 통해 작업의 성격에 맞게 성능을 최적화할 수 있습니다. 복잡한 다단계 추론이 필요할 때는 높은 설정을, 단순 문서 처리에는 낮은 설정을 선택할 수 있습니다.

팩트해당 모델은 전체 2조 4000억 개의 파라미터를 보유하고 있으며, 토큰당 950억 개의 파라미터가 활성화되는 구조입니다. 최대 100만 토큰의 문맥 창과 12만 8000토큰의 출력 길이를 지원합니다.

팩트모델은 전체 주의 집중과 선형 주의 집중을 결합한 혼성 구조를 채택했습니다. 이를 통해 100만 토큰 규모의 긴 문맥에서도 기억 장치와 연산 자원을 효율적으로 관리합니다.

팩트엔비디아 지비300 엔브이엘72 시스템에서 에프피8 정밀도로 구동 시, 그래픽 처리 장치당 초당 4000토큰 이상의 처리량을 기록했습니다. 사용자당으로는 초당 350토큰 이상의 속도를 제공하여 높은 생산성을 보장합니다.

팩트지비300 엔브이엘72는 72개의 블랙웰 울트라 그래픽 처리 장치를 통합하여 130테라바이트 퍼 세컨드의 대역폭을 제공합니다. 이러한 하드웨어 구조는 전문가 트래픽이 망 병목 현상을 겪지 않도록 돕습니다.

팩트엔비디아는 에스지랭크, 브이엘엘엠, 엔비디아 다이나모 및 님 컨테이너를 통해 다양한 배포 경로를 제공합니다. 또한 네모 오토모델을 사용하여 영역 특화 데이터로 추가 학습이 가능합니다.

교차검증2조 4000억 파라미터라는 거대한 규모는 자료 센터 수준의 가속 컴퓨팅 기반 시설을 필수적으로 요구합니다. 따라서 일반적인 환경에서는 구동이 어려우며, 엔비디아의 엔브이링크와 같은 고속 통신 기술이 뒷받침되어야 합니다.

교차검증앞서 살펴본 대규모 모델의 원활한 구동을 위해서는 전력 소모와 장비 유지 비용 증가 문제를 해결해야 합니다. 특수 하드웨어 의존도가 높다는 점은 보급형 서비스 확산에 걸림돌로 작용합니다.

교차검증향후 다양한 상용 서비스 환경에서 성능 검증이 지속적으로 이루어져야 합니다. 실제 운영 환경에서의 안정성 확보 여부는 시장 안착을 좌우합니다.

출처엔비디아 기술 블로그 자료 및 https://developer.nvidia.com/blog/serve-qwen3-8-2-4t-a95b-a-2-4t-parameter-model-with-configurable-reasoning-on-nvidia-gb300-nvl72/ 내용을 교차 검증했습니다.