상태 추적 능력 평가 벤치마크 StateBench 도입

팩트허깅페이스는 긴 문맥 내에서 개체 정보의 변화를 추적하는 언어 모델의 능력을 측정하기 위해 StateBench 벤치마크를 도입했습니다.

팩트StateBench는 상태 추적의 복잡도를 4단계로 분류하여 평가합니다. 가장 쉬운 R-trivial 단계부터 비주기적, 가해, 그리고 가장 어려운 일반 유한 문제까지 단계별로 구성되어 있습니다.

주장상태 추적은 코드의 변수 할당부터 소설 속 인물의 이동 경로 파악에 이르기까지 언어 모델의 핵심적인 추론 능력을 결정짓는 요소입니다.

팩트연구진은 제미나이 3.8 플래시, 클로드 오퍼스 5.5, GPT-6 솔, 루나와 같은 최첨단 모델들을 테스트했습니다.

팩트최첨단 모델들은 쉬운 단계에서는 우수한 성능을 보였으나, 입력 길이가 길어질수록 복잡한 상태 추적 문제에서 정확도가 13퍼센트 이하로 급격히 하락했습니다.

주장상태 추적의 난이도는 크론-로즈 이론에 근거하여 대수적으로 구분됩니다. 상태 추적 문제는 유한 모노이드 위의 단어 문제로 해석되며, 각 단계는 서로 다른 원시 연산으로 분해됩니다.

팩트올모 3 트랜스포머와 올모 하이브리드 모델을 대상으로 실험한 결과, 대부분의 모델이 R-trivial 문제에서는 높은 성능을 보였습니다. 그러나 입력 길이가 길어질수록 비주기적 문제에서 정확도가 감소했으며, 일반 유한 문제에서는 무작위 수준의 성능을 기록했습니다.

교차검증기존의 트랜스포머 기반 모델들은 긴 의존성 체인을 가진 상태 추적 문제에서 이론적인 한계를 보이고 있습니다. 이러한 한계를 극복하기 위해 Gated DeltaNet과 같은 순환형 및 하이브리드 아키텍처가 대안으로 제시되고 있습니다.

팩트이번 연구에서는 275만 개의 파라미터를 가진 모델들을 처음부터 학습시켜 최대 6만4000개의 할당 시퀀스를 테스트했습니다.

교차검증연구진이 직접적인 타겟 학습을 수행한 결과, 하이브리드 모델과 Gated DeltaNet은 트랜스포머보다 긴 시퀀스에서 훨씬 더 높은 일반화 능력을 보여주었습니다.

주장모델이 단순히 최신 값을 찾는 것을 넘어, 이전 상태를 기억하고 연쇄적인 변화를 추적하는 능력이 모델의 지능을 판가름하는 척도가 됩니다.

출처허깅페이스(https://huggingface.co/blog/allenai/statebench)의 기술 보고서를 교차 검증했습니다.