ReplaySSM 기반 하이브리드 모델 디코딩 가속

주장엔비디아와 프린스턴대학교 다오AI연구소는 상태 공간 모델인 에스에스엠(SSM)의 디코딩 효율을 극대화하기 위해 리플레이에스에스엠을 개발했습니다.

주장기존 기술은 상태 업데이트와 출력 계산을 동시에 수행하며 병목을 유발했고, 이 연구소는 두 과정을 분리하는 방식을 택했습니다.

팩트리플레이에스에스엠은 엔비디아 블랙웰 울트라 비300(Blackwell Ultra B300) 그래픽처리장치에서 배치 사이즈 256 기준으로 에스에스엠 디코딩 커널 속도를 1.46배에서 1.80배까지 높입니다.

팩트이 기술은 추측적 디코딩 과정에서 상태 스냅샷을 찍는 대신 초안 입력을 버퍼에 추가하는 방식을 사용합니다.

팩트120B급 모델에서 1.85배에서 2.10배 더 높은 추측적 처리량을 달성했습니다.

팩트에스에스엠 레이어는 기존 어텐션 레이어의 케이브이(KV) 캐시와 달리 문맥 길이에 따라 크기가 커지지 않는 고정 크기 상태를 사용합니다.

교차검증배치 사이즈가 커질수록 에스에스엠 레이어 자체가 연산 병목 현상을 일으키는 주요 원인이 될 수 있다는 한계가 존재합니다.

팩트리플레이에스에스엠은 상태 메모리 트래픽을 약 절반으로 줄여 고대역폭 메모리 대역폭 문제를 완화합니다.

팩트이 기술은 고정밀 체크포인트와 저정밀 복사본을 함께 사용하여 양자화 오류 누적을 제한합니다.

팩트평가된 4개 모델 중 3개 모델에서 에프피32(FP32) 정확도 대비 2% 포인트 이내의 성능을 유지했습니다.

주장엔비디아 네모트론 3(Nemotron 3), 큐원 3.5(Qwen3.5), 키미 케이3(Kimi-K3) 등이 에스에스엠 레이어와 어텐션 레이어를 혼합한 하이브리드 구조를 채택하고 있습니다.

주장리플레이에스에스엠은 이러한 모델들이 대규모 문맥 처리 시 겪는 지연 시간 문제를 해결합니다.

팩트기존 에스에스엠 디코딩은 매 단계마다 상태를 고대역폭 메모리에서 불러오고 업데이트한 뒤 다시 저장하는 과정을 반복합니다.

팩트리플레이에스에스엠은 버퍼가 가득 찰 때만 체크포인트를 업데이트하는 플러시 방식을 도입하여 메모리 접근 횟수를 줄입니다.

팩트이 기술은 엔비디아 텐서알티엘엘엠(TensorRT-LLM), 브이엘엘엠(vLLM), 플래시인퍼(FlashInfer)에 통합되어 있습니다.

팩트지엘엠 5.3 플래시(GLM-5.3-Flash) 및 키미 케이3 모델의 실제 프로덕션 환경에 적용되었으며 개발자들은 깃허브(GitHub)를 통해 구현 코드를 실험해 볼 수 있습니다.

교차검증에스에스엠 상태 양자화는 반복적인 업데이트 과정에서 반올림 오류가 누적되는 문제가 발생합니다.

주장리플레이에스에스엠은 상태 업데이트와 출력 계산을 분리함으로써 이러한 오류가 재귀적으로 전파되는 것을 방지합니다.

출처엔비디아 테크니컬 블로그(https://developer.nvidia.com/blog/replayssm-rethinking-state-storage-for-faster-hybrid-model-decoding/)의 보도를 교차 검증했습니다.