엔비디아 젯슨 AGX 토르 에이전트 AI 성능 6.4배 향상

주장엔비디아는 엣지 디바이스 환경에서 인공지능의 추론 성능을 개선하는 기술을 선보였습니다.

팩트엔비디아의 텐서알티 엣지 대규모 언어 모델은 젯슨 AGX 토르 개발자 키트에서 콴 3.6-27비트 모델을 구동하여 초당 52.33 토큰의 성능을 기록했습니다.

팩트이는 기존 참조 모델이 2시간 37분 걸리던 작업을 24분 36초 만에 완료한 수치입니다.

팩트이번 벤치마크는 총 1,007회의 에이전트 턴을 포함하는 기계 학습 성능 추론 브이 6.1 엣지 에이전트 워크로드를 대상으로 진행되었습니다.

팩트입력 길이는 최대 2만3500 토큰에 달하며, 엣지 환경에서 긴 문맥 처리가 필수적임을 보여줍니다.

주장에이전트 인공지능은 도구를 선택하고 결과를 평가하며 추론을 지속해야 하므로 높은 연산 효율이 필요합니다.

주장엔비디아는 이를 위해 엠브이피에프4 양자화와 트리 기반 다중 토큰 예측 기술을 결합하여 메모리 대역폭 한계를 극복했습니다.

팩트엠브이피에프4 양자화는 가중치와 활성화 함수에 4비트 부동 소수점 형식을 적용하여 메모리 점유율을 낮춥니다.

팩트키브이 캐시에 에프피8 형식을 사용하여 블랙웰 그래픽 처리 장치 기반의 젯슨 AGX 토르에서 최적의 성능을 이끌어냈습니다.

팩트키브이 캐시와 순환 상태 재사용 기술을 통해 전체 프롬프트 토큰의 약 96퍼센트를 핫 캐시에서 처리합니다.

주장트리 기반 다중 토큰 예측은 함수 호출 워크로드에서 강력한 성능을 발휘합니다.

팩트8단계, 상위 2개 후보, 16개 노드 검증 트리를 사용한 결과, 선형 다중 토큰 예측 대비 약 40퍼센트의 추가적인 디코딩 성능 향상을 달성했습니다.

교차검증엣지 디바이스는 전력과 메모리 제약이 엄격하므로, 모델의 정확도와 성능 사이의 균형을 맞추는 작업이 중요합니다.

출처엔비디아 기술 블로그(https://developer.nvidia.com/blog/tensorrt-edge-llm-completes-the-mlperf-edge-agentic-benchmark-6-4x-faster-on-jetson-agx-thor/)의 보도를 교차 검증했습니다.