구글의 인공지능 에이전트 과적합 방지 기술 개발

주장구글 클라우드 인공지능 연구팀은 인공지능 에이전트가 스스로 작업 환경을 최적화하는 과정에서 발생하는 과적합 문제를 해결하기 위해 정규화 재귀적 자기 개선(RRSI, Regularized Recursive Self-Improvement) 기법을 제안했습니다. 이 연구는 에이전트가 특정 테스트 작업에만 매몰되지 않고 새로운 환경에서도 범용적인 성능을 발휘하도록 설계되었습니다.

팩트현대의 인공지능 에이전트는 프롬프트, 워크플로우, 도구, 메모리 등으로 구성된 하네스(harness)라는 프레임워크를 통해 제어됩니다. 최근의 성능 향상은 모델 자체의 변화보다는 이러한 하네스를 최적화하는 과정에서 주로 발생합니다.

주장기존의 자동화된 자기 개선 방식은 에이전트가 동일한 테스트 데이터셋을 반복 학습하게 함으로써 해당 데이터를 암기하게 만드는 부작용이 있습니다. 이는 훈련 데이터에 대한 점수는 높이지만, 실제 새로운 작업에서는 성능이 떨어지는 결과를 초래합니다.

팩트정규화 재귀적 자기 개선 기법은 에이전트가 하네스를 수정할 때 수정 가능한 편집 범위를 제한하고, 시간이 지남에 따라 편집 예산을 줄이는 방식을 사용합니다. 또한, 하네스 수정 과정에서 특정 평가 기준에만 최적화된 코드를 삽입하지 못하도록 엄격한 비평가(critic) 시스템을 도입했습니다.

팩트연구팀은 코딩, 사무 자동화, 엔지니어링 설계 등 8개 벤치마크에서 클로드 오푸스(Claude Opus) 4.8 모델을 고정한 채 실험을 진행했습니다. 실험 결과, 이 기법은 훈련 데이터에서 최대 14.1점, 학습하지 않은 새로운 평가 기준에서 최대 4.7점의 성능 향상을 기록했습니다.

팩트정규화 재귀적 자기 개선 기법을 적용한 에이전트는 기존의 방식보다 실행 시간 토큰 사용량을 약 30% 절감하는 효율성을 보였습니다. 이는 불필요한 복잡성을 제거하고 성능 향상이 측정 가능한 경우에만 수정을 허용하는 규칙 덕분입니다.

주장하네스 최적화는 모델의 성능에 종속되지 않는 독립적인 개선 기법으로 활용될 수 있습니다. 연구에 따르면 제미나이(Gemini) 3.5 플래시(Flash)로 최적화된 하네스를 더 낮은 사양의 제미나이 3.1 플래시 라이트(Flash Lite)에 적용했을 때도 성능 향상이 확인되었습니다.

교차검증이번 연구는 고정된 모델 가중치를 전제로 하네스만을 최적화하는 방식에 집중하고 있습니다. 따라서 모델 자체의 가중치가 변경되는 상황에서의 범용성이나 장기적인 안정성에 대해서는 추가적인 검증이 필요합니다.

팩트엔비디아(Nvidia) 역시 최근 에스오엘파이(SoL-Pi)라는 유사한 기법을 통해 코딩 에이전트의 하네스를 자동 재구성하는 연구를 발표한 바 있습니다. 해당 기술은 성능 저하 없이 토큰 사용량을 최대 49%까지 절감하는 성과를 거두었습니다.

출처더 디코더(https://the-decoder.com/google-researchers-find-a-way-to-keep-self-improving-ai-agents-from-memorizing-their-tests/) 및 관련 깃허브(GitHub)의 보도를 교차 검증했습니다.