엔비디아 양자화 인식 증류 기술 기반 넴로트론 3.5 경량화 성공

주장엔비디아는 대규모 언어 모델의 효율적인 배포를 위해 양자화 인식 증류라는 새로운 최적화 파이프라인을 제시합니다. 이 기술은 모델의 메모리 점유율을 줄이면서도 추론 성능을 극대화합니다.

팩트넴로트론 3.5 라이트닝 모델에 양자화 인식 증류를 적용한 결과, 모델 크기가 기존 66GB에서 22GB로 약 3배 감소했습니다. 또한, 엔비디아 부동소수점 4비트 양자화 방식을 통해 처리량이 최대 4배까지 증가합니다.

팩트최적화 프로세스는 2단계로 진행됩니다. 첫 번째 단계인 사후 학습 양자화를 통해 저정밀 학생 모델을 생성하고, 두 번째 단계에서 고정밀 교사 모델을 활용한 증류 과정을 거쳐 정확도를 복구합니다.

교차검증일반적인 사후 학습 양자화만 사용할 경우, 과도한 양자화로 인해 모델의 정확도가 크게 떨어질 위험이 있습니다. 양자화 인식 증류는 증류 과정을 통해 이러한 성능 저하를 보완하는 대안을 제공합니다.

팩트최적화 과정은 쿨백-라이블러 발산 손실을 사용하여 학생 모델이 교사 모델의 로짓을 모방하도록 학습시킵니다. 이 과정에서 학생 모델은 시뮬레이션된 양자화 환경에서 학습하여 실제 추론 시 발생하는 양자화 노이즈에 적응합니다.

주장양자화 인식 증류는 단순히 모델의 크기를 줄이는 것을 넘어, 에이전트 및 코딩 벤치마크에서 기존 사후 학습 방식보다 일관되게 높은 성능을 보여줍니다. 이는 더 공격적인 양자화 설정을 가능하게 하여 하드웨어 자원 효율성을 높입니다.

팩트연구진은 맘바 선형 레이어를 W4A16으로 양자화하는 등 공격적인 설정을 적용했습니다. 이러한 설정은 일반적인 사후 학습 방식에서는 성능 저하가 심해 사용하기 어렵지만, 양자화 인식 증류를 결합하면 실용적인 수준의 정확도를 유지합니다.

팩트모델 최적화 과정에서 1,000개의 샘플을 사용하여 캘리브레이션을 진행했습니다. 캘리브레이션은 엔비디아 디지에스 비300 시스템을 활용했으며, 3만2000 시퀀스 길이에서 가장 우수한 결과를 얻었습니다.

교차검증양자화 인식 증류를 적용할 때 사후 학습 양자화 단계에서 정확도가 95%에서 99% 수준으로 떨어지도록 의도적으로 설정하는 것이 권장됩니다. 이는 양자화의 이점을 충분히 확보하면서도, 후속 증류 단계에서 정확도를 회복할 수 있는 최적의 공간을 남겨두기 위함입니다.

출처엔비디아 테크니컬 블로그(https://developer.nvidia.com/blog/developing-nemotron-3-5-lightning-nvfp4-with-qad-using-nvidia-model-optimizer/)의 보도를 교차 검증했습니다.