오픈소스 AI의 검색 추론 능력 향상 위한 다중 에이전트 프로토콜 증류 기술 개발
연구진은 독점 모델의 추론 능력을 오픈소스 모델로 효율적으로 이전하는 다중 에이전트 프로토콜 증류(MAPD) 프레임워크를 제안했습니다. 이 기술은 7개 질의응답 벤치마크에서 기존 강화학습 방식보다 뛰어난 성공률을 기록했습니다.
팩트준린 리우 등 10인으로 구성된 연구진은 오픈소스 거대언어모델(LLM)의 검색 성능을 극대화하는 새로운 증류 기법인 MAPD를 발표했습니다. 연구진 소속 정보는 arxiv 등록 기준입니다.
주장기존의 강화학습(RL, 보상을 통해 모델을 최적화하는 학습 방식) 기반 검색 최적화는 결과 중심의 희소한 정보만을 제공하여 학습 효율이 낮다는 한계가 있습니다.
팩트연구진은 독점 모델의 강력한 추론 능력을 오픈소스 모델로 전달하기 위해 중간 표현으로 구조화된 프로토콜을 활용하는 방식을 택했습니다.
팩트MAPD는 멀티 에이전트 시스템(MAS, 여러 지능형 에이전트가 협력하여 문제를 해결하는 시스템)을 활용하여 질의를 분해하고 증거를 검색하며 오류를 수정합니다.
팩트이 과정에서 생성된 탐색 경로는 작업 유형과 추론 계획, 근거 사실을 포함한 JSON 형식의 프로토콜로 변환됩니다.
주장연구진은 이 프로토콜이 학생 모델의 토큰 분포에 밀도 높은 증류 신호를 제공하여 강화학습의 한계를 보완한다고 설명합니다.
팩트실험 결과, Qwen3-1.7B 모델은 39.4%, Qwen3-4B 모델은 44.4%의 평균 성공률을 달성하며 기존 증류 기법을 상회하는 성과를 보였습니다.
주장이번 연구는 독점 모델의 스타일을 무분별하게 모방하는 부작용을 방지하고, 모델의 핵심 추론 역량만을 효과적으로 학습시키는 데 성공했습니다.
교차검증본 연구는 arxiv에 공개된 선공개 논문으로, 아직 학계의 공식적인 동료 평가(Peer Review) 과정을 거치지 않았습니다.
교차검증해당 기술은 다양한 독점 모델을 교사로 활용할 수 있으나, 특정 데이터셋에 과적합될 가능성이 존재하며 실제 복잡한 실무 환경에서의 일반화 성능은 추가 검증이 필요합니다.
팩트연구진은 7개의 질의응답 벤치마크를 통해 해당 프레임워크의 범용성과 성능 안정성을 입증했습니다.
출처arxiv의 선공개 논문(https://arxiv.org/abs/2607.24280)을 참고했습니다.
관련 콘텐츠
본 기사는 전문가의 분석과 공개 자료를 기반으로 AI가 작성 후 다른 AI의 검증을 거쳐 작성됐으며 정보의 정확성과 완전성을 보장하지 않습니다. 기사 내용은 특정 투자·의사결정의 권유가 아니며, Wittgenhaus는 이를 근거로 한 행위의 결과에 책임을 지지 않습니다.
