Liquid AI, LFM2.5용 QAD Q4_0 체크포인트 공개

주장Liquid AI는 양자화 인식 증류 기술을 활용하여 인공지능 모델의 4비트 양자화 버전을 새롭게 출시했습니다. 이 기술은 고정밀 교사 모델을 양자화된 학생 모델에 증류하여 기존 양자화 방식의 성능 저하 문제를 해결합니다.

팩트이번에 공개된 모델은 LFM2.5-230M과 LFM2.5-350M을 비롯하여 LFM2.5-1.2B-Instruct와 LFM2.5-2.6B 등 총 4종입니다. 해당 모델들은 기존 16비트 부동소수점 기준 평균 정확도의 약 97퍼센트를 복구하는 성능을 보였습니다.

팩트벤치마크 평가에는 일반적이고 복잡한 추론 능력을 측정하기 위해 다양한 지표가 사용되었습니다. 또한 모델 규모에 따라 수학 평가를 추가하여 검증을 진행했습니다.

교차검증기존의 사후 학습 양자화 방식과 비교했을 때, 양자화 인식 증류 방식은 모든 모델에서 실질적인 성능 향상을 입증했습니다. 특히 4개 모델 모두 기존 성능의 96.5퍼센트에서 97.4퍼센트 사이를 유지하며 높은 정확도를 기록했습니다.

팩트엣지 하드웨어에서의 성능 측정을 위해 맥북 프로와 미니 피시, 갤럭시 스마트폰, 라즈베리 파이를 테스트 환경으로 설정했습니다. 맥북 프로와 미니 피시는 그래픽 처리 장치 추론을 사용했습니다.

팩트갤럭시 스마트폰과 라즈베리 파이는 중앙 처리 장치 추론을 사용했습니다.

주장소형 모델은 기존 품질과 대등하면서도 더 빠른 처리량을 보여줍니다. 대형 모델 역시 기존 품질을 유지하면서 향상된 처리 속도를 달성했습니다.

팩트이번 검증 결과물은 라마 시피피를 비롯하여 관련 아티팩트를 지원하는 모든 구동 환경에서 즉시 사용 가능합니다. 개발자는 명령줄 인터페이스를 통해 간단하게 모델을 불러오고 추론을 실행할 수 있습니다.

교차검증이번 결과는 기존의 외부 양자화 체크포인트와 비교해도 동등하거나 우수한 성능을 나타냅니다. 이는 엣지 기기 환경에서 모델 경량화와 성능 유지라는 두 가지 목표를 동시에 달성했음을 의미합니다.

주장Liquid AI는 이번 기술 공개를 통해 엣지 컴퓨팅 환경에서의 인공지능 배포 효율성을 극대화합니다. 고성능 모델을 저사양 기기에서도 원활하게 구동할 수 있게 함으로써 로컬 에이전트 생태계 확장을 기대합니다.

출처Hugging Face(https://huggingface.co/blog/LiquidAI/qad) 및 Liquid AI(https://www.liquid.ai/blog/qad)의 보도를 교차 검증했습니다.