프리즘ML, 아이폰 구동 가능한 27B 규모 본사이 모델 출시

주장프리즘ML은 스마트폰의 제한된 자원 안에서도 추론과 에이전트 능력을 유지하는 본사이 27B 모델을 개발했습니다. 이 모델은 클라우드 의존도를 낮추고 개인정보 보호를 강화하는 온디바이스 인공지능의 핵심 기반이 됩니다.

팩트본사이 27B는 알리바바의 큐웬 3.6-27B 모델을 기반으로 설계되었습니다. 해당 모델은 다단계 추론과 도구 사용, 이미지 이해 및 에이전트 기반 작업을 지원합니다.

팩트프리즘ML은 신경망 가중치를 16비트 대신 1~2비트로 압축하는 기술을 적용했습니다. 가장 작은 버전은 3.9GB 용량으로 아이폰 17 프로 맥스의 가용 메모리 내에서 구동합니다.

팩트아이폰 17 프로 맥스에서 구동할 경우 초당 약 11개의 토큰을 생성합니다. 배터리 1%당 약 672개의 토큰을 생성하며, 완전 충전 시 약 6만 7천 개의 토큰을 처리합니다.

교차검증모델의 크기를 3.9GB 수준으로 압축하는 과정에서 이미지 이해나 지시 이행 능력은 다소 저하될 가능성이 존재합니다. 프리즘ML은 15개 벤치마크 테스트 결과, 작은 버전의 모델이 원본 대비 90%의 성능을 유지한다고 설명합니다.

교차검증바박 하시비 프리즘ML 최고경영자는 애플과 압축 기술 도입을 논의 중임을 확인했습니다. 다만 협상은 초기 단계이며, 애플은 속도와 전력 소모 및 성능을 다각도로 검증하고 있습니다.

주장온디바이스 인공지능은 클라우드 기반 모델이 겪는 토큰 비용과 네트워크 지연 문제를 해결합니다. 사용자의 개인 데이터가 외부로 유출되지 않도록 차단하여 보안성을 높입니다.

팩트본사이 27B 모델은 아파치 2.0 라이선스로 공개되었습니다. 현재 애플의 엠엘엑스 프레임워크와 엔비디아 그래픽처리장치 환경에서 구동을 지원합니다.

팩트프리즘ML은 코슬라 벤처스와 세르베루스, 구글 등으로부터 투자를 유치했습니다. 앞으로 구글의 젬마 모델 시리즈에도 자사의 압축 기술을 적용할 계획입니다.

출처더 디코더의 본사이 27B 관련 보도와 기술 백서를 교차 검증했습니다.