엔비디아 C++ 기반 로컬 인공지능 앱 개발 도구 공개

주장엔비디아는 로컬 환경에서 인공지능 인공지능(AI) 모델을 효율적으로 실행하기 위해 디인 디로이(DIN Deploy)라는 오픈소스 C++ 샘플 모음을 공개했습니다.

팩트이 도구는 모델 체크포인트를 온닉스(ONNX) 형식으로 변환해 하드웨어 가속이 적용된 네이티브 애플리케이션으로 배포하는 과정을 표준화합니다.

팩트딘 디로이는 온닉스 런타임과 엔비디아 텐서알티 ртх(TensorRT RTX) 실행 공급자를 결합하여 윈도우 및 리눅스 환경에서 인공지능 추론 성능을 높입니다.

팩트개발자는 파이썬 기반 내보내기 도구를 사용하여 허깅페이스 모델을 온닉스 아티팩트로 변환한 뒤, C++ 명령줄 인터페이스(CLI)를 통해 실행합니다.

팩트지원되는 주요 인공지능 모델에는 오픈에이아이의 위스퍼(Whisper), 엔비디아의 파라키트 티디티(Parakeet TDT) 및 네모트론 에이에스알(Nemotron ASR) 스트리밍이 포함됩니다.

팩트메타의 에스에이엠 2.1(SAM 2.1)을 활용한 대화형 세그멘테이션과 플럭스.2-클라인-4비(FLUX.2-klein-4B)를 이용한 이미지 생성 기능도 제공합니다.

팩트디지엑스 스파크(DGX Spark)에서 측정한 성능 데이터에 따르면, 네모트론 에이에스알 스트리밍은 실시간 대비 39배, 파라키트 티디티는 206배의 가속 성능을 보였습니다.

팩트메타 에스에이엠 2.1 모델은 중앙처리장치(CPU)에서 초당 0.5 프레임(FPS)을 기록한 반면, 그래픽처리장치(GPU) 가속 시 초당 38.3 프레임을 달성했습니다.

교차검증이번 샘플은 온닉스 인터페이스를 유지하면서 하드웨어 가속을 제공하지만, 양자화 기법은 특정 하드웨어 환경에 의존적일 수 있습니다. 다만, 엔비디아 모델 최적화 도구를 사용하면 애플리케이션 코드 수정 없이 양자화된 모델로 교체할 수 있습니다.

팩트플럭스.2 샘플은 온닉스 런타임 1.25 버전 그래픽 상호 운용성 기능을 활용하여 벌칸 및 다이렉트엑스(DirectX)와 연동됩니다.

팩트이 저장소는 윈도우와 리눅스용 씨메이크(CMake) 프리셋을 제공하며, 암64(Arm64) 아키텍처도 지원합니다.

팩트데이터 처리를 위해 온닉스 런타임의 복사 텐서 응용 프로그램 프로그래밍 인터페이스(API)를 사용하여 데이터 지역성을 관리합니다.

출처엔비디아 기술 블로그(https://developer.nvidia.com/blog/build-local-ai-apps-with-c-and-nvidia-tensorrt-rtx-samples/)의 보도를 교차 검증했습니다.