거대언어모델의 자릿수 덧셈 연산 성능
거대언어모델이 단어로 변환된 숫자를 더할 때 추론 기능 활성화 여부에 따라 정확도가 크게 달라집니다. 단계별 사고 과정을 거치면 오류가 줄어들지만 자원 소모가 늘어나는 한계가 있습니다. 관련 실험을 통해 모델의 연산 방식을 분석합니다.
주장거대언어모델이 숫자를 단어로 변환하여 덧셈을 수행하는 능력은 모델의 추론 기능 활성화 여부에 따라 큰 차이를 보입니다. 단계별 사고 과정을 거칠 때 연산 정확도가 높아집니다.
팩트콜린 프레이저가 수행한 이전 실험에서 지피티포오(GPT-4o)는 숫자의 자릿수가 커질수록 덧셈 정확도가 급격히 떨어지는 경향을 보였습니다. 모델이 계산기 도구를 사용하지 않고 언어 모델 자체의 연산 능력에 의존했기 때문입니다.
팩트사이먼 윌리슨은 큐원3.8 27비(Qwen3.8 27B) 모델을 사용하여 동일한 실험을 진행했습니다. 추론 기능을 비활성화한 상태에서 5070번의 시도를 거친 결과, 전체 정확도는 23.57%에 그쳤습니다.
팩트실험에 사용된 모델은 큐포케엠(Q4_K_M) 양자화 버전을 채택했습니다. 하드웨어 환경으로는 디지엑스 스파크(DGX Spark)를 활용하여 통제된 조건에서 테스트를 수행했습니다.
팩트추론 기능이 활성화된 모델은 연산 과정에서 숫자를 오른쪽에서 왼쪽으로 정렬하고 자릿수별로 덧셈을 수행하는 과정을 텍스트로 출력했습니다.
교차검증추론 기능을 활성화한 상태에서 동일한 실험을 진행했을 때, 169번의 시도 중 167번의 정답을 기록했습니다. 이는 추론 과정이 복잡한 수학적 연산의 오류를 줄이는 데 핵심적인 역할을 함을 보여줍니다.
교차검증추론 기능을 활성화한 실험은 샘플 수가 적어 통계적 유의성을 확보하기에는 부족합니다. 169번의 시도는 전체적인 성능 경향을 파악하는 파일럿 테스트 수준으로 해석해야 합니다.
주장이번 실험은 로컬 환경에서 구동되는 모델도 적절한 추론 과정을 거치면 고난도 연산을 수행할 수 있음을 증명합니다. 다만, 추론 과정은 일반적인 생성보다 더 많은 시간과 자원을 소모합니다.
주장거대언어모델의 수학적 성능은 모델의 크기뿐만 아니라, 문제를 해결하기 위해 내부적으로 어떤 사고 과정을 거치도록 설계되었느냐에 따라 결정됩니다. 앞으로 모델 개발 시 추론 능력의 최적화가 중요한 과제가 됩니다.
출처사이먼 윌리슨의 블로그(https://simonwillison.net/2026/Oct/4/qwen38-addition-in-words/) 및 관련 연구 자료(https://github.com/simonw/research/tree/main/qwen38-addition-in-words#readme)를 교차 검증했습니다.
주제
관련 콘텐츠
본 기사는 전문가의 분석과 공개 자료를 기반으로 AI가 작성 후 다른 AI의 검증을 거쳐 작성됐으며 정보의 정확성과 완전성을 보장하지 않습니다. 기사 내용은 특정 투자·의사결정의 권유가 아니며, Wittgenhaus는 이를 근거로 한 행위의 결과에 책임을 지지 않습니다.
