아마존 베드록 에이전트코어의 맞춤형 코드 기반 평가기 도입

주장아마존 베드록 에이전트코어는 에이전트 애플리케이션의 품질을 다각도로 측정하고자 코드 기반 평가기를 새롭게 도입했습니다. 이는 언어 모델의 판단을 넘어 도메인 특화 요구사항을 충족하기 위한 필수적인 단계입니다.

팩트맞춤형 코드 기반 평가기는 아마존 웹 서비스 람다 함수를 평가 엔진으로 활용합니다. 사용자는 정규식 검증과 외부 데이터 조회, 비즈니스 규칙 적용 등 원하는 평가 로직을 직접 제어합니다.

교차검증거대언어모델 기반 평가 방식은 비용이 많이 들고 결정론적 결과 도출이 어려울 수 있습니다. 반면 코드 기반 평가기는 동일한 입력에 대해 항상 같은 결과를 보장하므로 객관적인 검증이 필요한 영역에 적합합니다.

팩트금융 서비스와 같은 전문 분야에서는 주가 정보의 정확성과 개인정보 보호, 필수 워크플로우 준수 여부가 중요합니다. 코드 기반 평가기는 이러한 수치적 정확성과 규정 준수 여부를 결정론적으로 확인합니다.

주장코드 기반 평가와 거대언어모델 기반 평가를 결합하면 에이전트의 신뢰성을 크게 향상할 수 있습니다. 이는 에이전트가 단순히 그럴듯한 답변을 하는 수준을 넘어 계약과 규칙을 준수하도록 만듭니다.

팩트평가기는 에이전트의 오픈텔레메트리 스팬 데이터를 입력받아 실행됩니다. 성공 시 라벨과 점수, 설명을 반환하며 실패 시 오류 코드와 메시지를 반환하는 고정된 계약 구조를 따릅니다.

팩트평가 수준은 트레이스와 도구 호출, 세션의 세 가지 단계로 설정할 수 있습니다. 동일한 람다 함수를 여러 수준으로 등록하여 다양한 범위에서 에이전트의 품질을 점검합니다.

주장온디맨드 평가 방식은 개발 반복과 회귀 테스트, 지속적 통합 및 배포 관문에 활용됩니다. 이를 통해 새로운 에이전트 버전을 배포하기 전 품질을 자동으로 검증하여 운영 안정성을 확보합니다.

팩트온라인 평가 모드는 실시간 운영 트래픽을 지속적으로 샘플링하여 점수를 매깁니다. 개발 환경에서 사용한 동일한 평가기 식별자를 운영 환경에서도 그대로 사용하여 일관된 품질 관리를 지원합니다.

출처아마존 웹 서비스 공식 블로그를 통해 해당 기술의 도입 사실과 상세 사양을 교차 검증했습니다. (https://aws.amazon.com/blogs/machine-learning/build-custom-code-based-evaluators-in-amazon-bedrock-agentcore/)