엔비디아의 속도·효율성 중심 인공지능 모델 네모트론 3.5 라이트닝 공개

주장엔비디아는 네모트론 3.5 라이트닝을 통해 최대 지능보다 추론 속도와 효율성에 우선순위를 둔 모델을 시장에 선보였습니다.

팩트이 모델은 총 316억 개의 파라미터를 보유하고 있으며, 실제 작동 시에는 36억 개의 파라미터만 활성화하는 하이브리드 맘바-트랜스포머 구조를 채택했습니다.

팩트하이브리드 구조는 이전 모델인 네모트론 3 나노 30B의 직접적인 후속작으로 설계되었습니다.

팩트아티피셜 애널리시스의 벤치마크 결과에 따르면, 해당 모델은 인텔리전스 인덱스에서 24점을 기록했습니다.

팩트인텔리전스 인덱스는 4배 더 큰 규모의 네모트론 3 슈퍼 모델과 유사한 수준의 지능을 보여줍니다.

팩트추론 속도 측면에서 네모트론 3.5 라이트닝은 초당 약 670토큰을 처리하며 동급 모델 중 가장 빠른 속도를 기록했습니다.

팩트처리량은 구글의 제미나이 3.5 플래시-라이트보다 약 2배 빠릅니다.

교차검증큐엔 3.6 35B나 메타의 뮤즈 글리머와 같은 동급 크기의 모델들은 인텔리전스 인덱스에서 30점 이상의 점수를 기록하며 지능 측면에서 우위를 점하고 있습니다.

팩트에이전트 벤치마크인 GDPval-AA v2에서 네모트론 3.5 라이트닝은 824점의 엘로 레이팅을 기록했습니다.

팩트엘로 레이팅은 이전 세대 대비 334점 상승한 수치이며, 더 큰 모델인 네모트론 3 슈퍼를 능가합니다.

주장엔비디아는 100억 개 미만의 파라미터를 가진 모델로도 700억에서 1750억 파라미터 모델의 에이전트 작업 대부분을 수행할 수 있다는 연구 결과를 실현하고 있습니다.

팩트네모트론 3.5 라이트닝은 오픈MDW-1.1 라이선스로 배포되며, 100만 토큰의 컨텍스트 윈도우를 지원합니다.

팩트모델은 BF16 및 NVFP4 가중치 버전을 모두 제공하여 사용자의 환경에 맞춘 선택을 지원합니다.

팩트현재 딥인프라, 파이어웍스, 프렌들리AI, 코어위브 등 다양한 서버리스 추론 플랫폼을 통해 모델을 이용할 수 있습니다.

출처https://the-decoder.com/nvidias-open-weight-nemotron-3-5-lightning-prioritizes-speed-over-maximum-intelligence/ 및 엔비디아, 아티피셜 애널리시스, 허깅페이스 자료를 교차 검증했습니다.