기업용 AI 에이전트 성능 평가 벤치마크 '엔터프라이즈클로벤치' 공개

팩트프론티스AI 소속 연구진이 실제 기업 업무 환경을 반영한 새로운 AI 에이전트 평가 체계인 엔터프라이즈클로벤치(EnterpriseClawBench)를 공개했습니다. 이번 연구에는 진청 종(Jincheng Zhong)을 포함한 8명의 연구자가 참여했습니다.

주장기존의 AI 평가 방식은 단순한 정답률 측정에 치중해 기업 현장의 복잡한 업무를 반영하지 못한다는 한계가 있었습니다. 연구진은 실제 기업 내부 세션 데이터를 활용해 AI 에이전트가 수행하는 문서 분석과 도구 활용 능력을 정밀하게 평가하고자 했습니다.

팩트엔터프라이즈클로벤치는 총 852개의 재현 가능한 업무 과제로 구성됩니다. 각 과제는 복구된 고정 데이터, 재작성된 프롬프트, 역할 분류, 기술 하위 분류, 엄격한 규칙 및 의미론적 평가 기준을 포함합니다.

주장연구진은 기업 내부 정보 보호를 위해 벤치마크 데이터 자체를 외부에 공개하지 않는 방식을 택했습니다. 대신 누구나 활용할 수 있는 평가 구축 프로토콜과 방법론을 오픈소스로 제공하여 기업 환경에 최적화된 평가 체계를 확산시키고자 합니다.

팩트평가 결과, 가장 우수한 성능을 보인 조합은 코드엑스(Codex)와 GPT-5.5 모델을 결합한 구성이었습니다. 이 조합은 해당 벤치마크에서 0.663점의 성능 점수를 기록했습니다.

주장연구진은 기업용 AI 에이전트 평가가 단순히 하나의 점수로 성능을 단정해서는 안 된다고 강조합니다. 모델과 평가 프레임워크의 조합, 결과물의 시각적 품질, 운영 비용, 실행 시간, 기술 전이 능력을 종합적으로 고려해야 합니다.

교차검증본 연구는 아카이브(arXiv)에 등록된 선공개 논문으로, 아직 학계의 공식적인 동료 평가(Peer Review) 과정을 거치지 않았습니다. 따라서 연구 결과의 학술적 타당성에 대해서는 추가적인 검증이 필요합니다.

교차검증해당 벤치마크는 실제 기업 데이터를 기반으로 하지만, 데이터 보안 문제로 인해 원본 데이터셋을 공개하지 않습니다. 이는 외부 연구자가 동일한 환경에서 결과를 재현하거나 모델의 일반화 성능을 검증하는 데 제약 요소로 작용할 수 있습니다.

팩트이번 연구는 AI 에이전트가 잠재 공간(Latent Space, 인공지능이 데이터를 처리하는 고차원적 수학적 공간) 내에서 어떻게 비즈니스 아티팩트를 생성하는지 분석합니다. 또한 멀티 에이전트 시스템(MAS, 여러 AI 에이전트가 협력하여 문제를 해결하는 구조)의 효율성을 측정하는 데 중점을 둡니다.

주장기업은 이제 단순한 텍스트 생성 능력을 넘어 실제 업무 프로세스를 완수하는 에이전트의 능력을 검증해야 합니다. 이번 벤치마크는 AI 도입을 검토하는 기업들에게 실질적인 가이드라인을 제공합니다.

팩트연구진은 이번 평가 프로토콜이 기업용 AI 에이전트가 직면한 복잡한 업무 환경을 이해하는 데 큰 도움이 될 것으로 기대합니다. 관련 코드는 깃허브(GitHub)를 통해 공개되어 있습니다.

출처arxiv의 선공개 논문(https://arxiv.org/abs/2606.23654)을 참고했습니다.