MIT 연구진의 거대언어모델 확장 법칙 원리 규명

주장미국 매사추세츠공과대학(MIT) 연구진은 거대언어모델의 성능이 모델 크기에 따라 예측 가능하게 향상되는 이유를 중첩 현상으로 설명합니다. 모델은 제한된 차원 내에 수많은 개념을 압축하여 저장하는 기하학적 특성을 보입니다.

팩트연구진은 2025년 신경정보처리시스템학회(NeurIPS)에서 이 현상을 발표했습니다. 이번 연구는 모델의 매개변수와 데이터, 연산량이 증가할 때 예측 오차가 거듭제곱 법칙을 따르는 원리를 밝혀냈습니다.

팩트거대언어모델은 수만 개의 토큰과 추상적 의미를 수천 차원의 내부 공간에 저장합니다. 모델은 이를 위해 여러 개념을 동일한 차원에 겹쳐서 저장하는 중첩 방식을 채택합니다.

교차검증과거에는 모델이 흔한 개념만 명확히 표현하고 나머지는 손실된다는 약한 중첩 가설이 지배적이었습니다. 그러나 이번 연구는 실제 거대언어모델이 모든 개념을 중첩하여 저장하는 강한 중첩 체계에서 작동함을 입증했습니다.

팩트강한 중첩 체계에서는 모델의 너비가 두 배가 될 때마다 오차가 절반으로 줄어드는 기하학적 관계가 나타납니다. 이는 모델의 너비에 반비례하는 1/m 비율로 설명됩니다.

팩트연구진은 OPT, GPT-2, Qwen2.5, Pythia 등 다양한 오픈소스 모델을 분석했습니다. 분석 결과 모든 모델에서 토큰 벡터가 중첩되어 있으며, 중첩 강도가 예측된 1/m 비율과 일치함을 확인했습니다.

팩트측정된 확장 지수는 0.91로 나타났으며, 이는 이론적 값인 1에 매우 근접한 수치입니다. 이는 딥마인드의 친칠라 데이터 분석 결과인 0.88과도 거의 일치합니다.

주장모델의 너비가 어휘 사전의 크기와 일치하면 중첩으로 인한 오차가 사라지며 확장 법칙은 한계에 도달합니다. 이 지점이 모델 확장의 물리적 한계점이 됩니다.

교차검증중첩을 활용하면 모델의 성능을 높일 수 있으나 내부 해석 가능성은 낮아집니다. 개념이 겹칠수록 모델 내부의 의사결정 과정을 추적하기 어려워지며 이는 인공지능 안전성 연구의 과제로 남습니다.

출처더 디코더(The Decoder) 보도 내용 및 2025년 신경정보처리시스템학회(NeurIPS) 연구 보고서를 교차 검증했습니다.