거대언어모델을 소형화하는 새로운 프로그래밍 패러다임, PAW 공개

주장하버드대학교와 공동 연구진이 발표한 '프로그램-애즈-웨이트(PAW)'는 거대언어모델(LLM)을 활용한 소프트웨어 개발 방식을 근본적으로 재정의합니다. 연구진은 기존의 규칙 기반 프로그래밍이 어려운 작업을 거대언어모델에 의존하는 현상을 극복하고자 했습니다.

팩트연구진은 자연어 명세를 로컬에서 실행 가능한 소형 신경망 아티팩트(Neural Artifact)로 변환하는 '퍼지 함수 프로그래밍(Fuzzy-function programming)' 개념을 제안했습니다. 이는 모델을 매번 호출하는 대신, 특정 기능을 수행하는 작은 프로그램을 생성해 재사용하는 방식입니다.

팩트이번 연구를 위해 연구진은 1천만 개의 예제로 구성된 '퍼지벤치(FuzzyBench)' 데이터셋을 구축했습니다. 이를 바탕으로 40억 개의 파라미터를 가진 컴파일러를 훈련하여 고효율 어댑터를 생성하도록 설계했습니다.

팩트0.6B(6억 개) 파라미터 규모의 'Qwen3' 인터프리터(컴퓨터 언어를 즉시 실행하는 프로그램)가 PAW 프로그램을 실행할 경우, 32B(320억 개) 규모의 Qwen3 모델을 직접 사용하는 것과 대등한 성능을 보입니다.

팩트PAW 기술을 적용하면 추론에 필요한 메모리 사용량을 기존 대비 50분의 1 수준으로 절감할 수 있습니다. 또한 맥북 M3 환경에서 초당 30토큰(Token, 언어 모델이 처리하는 최소 단위)의 처리 속도를 기록했습니다.

주장PAW는 거대언어모델을 입력값마다 문제를 해결하는 도구가 아닌, 기능을 만드는 '도구 제작자'로 전환합니다. 함수 정의 시점에 단 한 번만 모델을 호출하면 되므로 이후 실행 과정에서 발생하는 비용과 지연 시간을 최소화합니다.

교차검증본 연구는 아카이브(arxiv)에 공개된 선공개 논문으로, 아직 학계의 공식적인 동료 평가(Peer Review) 과정을 거치지 않았습니다. 따라서 제시된 성능 수치와 방법론은 향후 검증 과정에서 수정될 가능성이 있습니다.

교차검증기술적 측면에서 PAW는 특정 도메인에 최적화된 소형 모델을 생성하는 방식이므로, 학습 데이터셋인 퍼지벤치에 포함되지 않은 범용적인 작업이나 복잡한 추론 문제에서는 성능 저하가 발생할 수 있습니다. 또한 모델의 가중치를 고정하는 방식이기에 새로운 데이터에 대한 적응성(Generalizability) 측면에서 추가 연구가 필요합니다.

주장이번 성과는 로컬 환경에서 거대언어모델을 운용하려는 기업과 개발자들에게 새로운 대안을 제시합니다. 외부 API 의존도를 낮추어 데이터 보안과 비용 효율성을 동시에 확보할 수 있기 때문입니다.

팩트연구진은 이번 프로젝트를 통해 로컬 실행의 중요성을 강조하며, 클라우드 기반 API 호출이 가진 재현성 부족과 비용 문제를 해결하고자 했습니다. PAW는 오프라인 환경에서도 고성능의 언어 모델 기능을 구현할 수 있는 토대를 마련했습니다.

주장향후 PAW와 같은 경량화 기술이 보편화되면 스마트폰이나 노트북 등 온디바이스(On-device) AI 시장의 성장이 더욱 가속화될 것으로 전망됩니다. 거대언어모델의 거대한 파라미터 규모가 더 이상 로컬 실행의 걸림돌이 되지 않기 때문입니다.

출처arxiv의 선공개 논문(https://arxiv.org/abs/2607.02512)을 참고했습니다.