거대언어모델 강화학습의 새로운 이정표, 단조 추론 정책 개선 기법 등장

팩트징 리앙(Jing Liang)을 포함한 다국적 연구진은 거대언어모델(LLM) 강화학습의 고질적인 문제인 학습-추론 불일치를 해결하는 새로운 방법론을 발표했습니다. 연구진 소속 정보는 arxiv 등록 기준입니다.

주장강화학습은 거대언어모델의 사후 학습 단계에서 핵심적인 역할을 수행합니다. 그러나 현재의 강화학습 방식은 불안정하거나 모델이 붕괴하는 현상을 자주 노출합니다.

팩트연구진은 이러한 문제의 근본 원인을 학습 엔진과 추론 엔진의 분리에서 찾았습니다. 두 엔진은 효율성과 정밀도를 위해 서로 다른 방식을 사용하며, 이로 인해 동일한 경로에서도 서로 다른 확률값을 출력합니다.

주장기존 연구들은 이러한 오프 폴리시(Off-policyness, 학습 정책과 실제 행동 정책이 일치하지 않는 상태) 문제를 해결하는 데 집중했습니다. 하지만 연구진은 학습 엔진의 업데이트가 실제 배포되는 추론 정책의 개선을 보장하지 않는다는 점을 지적합니다.

팩트연구진은 이를 해결하기 위해 단조 추론 정책 개선(Monotonic Inference Policy Improvement, MIPI)이라는 새로운 최적화 목표를 제안했습니다. 이는 추론 정책의 성능이 단조롭게 향상되도록 강제하는 방식입니다.

팩트또한 연구진은 이를 구현하기 위한 2단계 프레임워크인 단조 추론 정책 업데이트(Monotonic Inference Policy Update, MIPU)를 개발했습니다. 이 시스템은 샘플러 참조 후보를 생성하고 추론 측의 간극 대리 지표를 활용해 후보를 선택적으로 수용합니다.

교차검증본 연구는 arxiv에 공개된 선공개 논문으로, 아직 학계의 공식적인 동료 평가(Peer Review) 과정을 거치지 않았습니다. 따라서 연구 결과의 학술적 타당성은 향후 검증이 필요합니다.

교차검증해당 방법론은 높은 수준의 학습-추론 불일치 환경에서 성능 개선을 입증했으나, 다양한 모델 구조나 데이터셋 환경에서도 동일한 일반화 성능을 보일지는 추가적인 연구가 필요합니다. 특히 추론 측의 간극 대리 지표가 복잡한 작업에서 얼마나 정확하게 작동할지에 대한 설명 가능성 확보가 과제로 남습니다.

주장이번 연구는 강화학습의 초점을 단순히 학습 정책의 최적화에 두지 않고, 실제 서비스 환경인 추론 정책의 개선으로 옮겼다는 점에서 큰 의의가 있습니다.

팩트실험 결과, MIPU 프레임워크는 높은 불일치 환경에서 거대언어모델의 평균 추론 성능을 유의미하게 향상했습니다. 또한 학습 과정의 전반적인 안정성 역시 크게 개선했습니다.

팩트연구진은 두 가지 규모의 모델을 대상으로 실험을 진행하여 방법론의 범용성을 확인했습니다. 이는 기존 강화학습 기법들이 겪던 학습 붕괴 현상을 완화하는 데 효과적인 대안이 될 전망입니다.

출처arxiv의 선공개 논문(https://arxiv.org/abs/2606.29526)을 참고했습니다.