CWE-벤치 v2 공개와 인공지능 보안 평가

주장CWE-벤치 v2는 인공지능 모델의 보안 대응 능력을 한계까지 시험합니다. 실제 오픈소스 저장소 환경에서 보안 취약점을 발견하고 기능을 유지하며 수정하는 능력을 평가합니다.

팩트이번 벤치마크는 총 100개의 과제로 구성되어 있으며 91개의 서로 다른 공통 취약점 목록을 다룹니다. 모델은 단순히 패턴을 인식하는 것을 넘어 다양한 취약점 표면을 이해하고 대응해야 합니다.

팩트평가 결과는 프로그램 방식으로 결정되며 결과의 재현성이 보장됩니다. 모든 검증 과정은 대규모 언어 모델 판정단이 참여하여 난이도와 공정성을 확보했습니다.

교차검증모델이 학습 데이터에 포함된 기존 패치를 암기하여 해결하는 것을 방지하기 위해 검증 장치를 마련했습니다. 모델이 보지 못한 과제를 포함하는 별도의 보류 세트를 운영하여 지속적인 성능 추적을 지원합니다.

팩트평가 결과 제미나이 4 아르곤 모델이 67.8%의 pass@1 점수로 1위를 기록했습니다. 클로드 오퍼스 5.5 모델은 67.3%의 점수로 근소한 차이를 보이며 뒤를 이었습니다.

교차검증현재 11개의 모델을 평가한 결과 95개의 과제는 최소 하나의 모델이 해결할 수 있는 것으로 나타났습니다. 최고 성능 모델조차 전체 과제의 19%를 해결하지 못해 여전히 개선의 여지가 큽니다.

팩트비용 효율성 측면에서 딥시크 V4.1 플래시와 클로드 오퍼스 5.5 및 제미나이 4 아르곤이 파레토 최적 곡선을 형성합니다. 딥시크는 롤아웃당 0.04달러의 비용으로 57.0%의 성능을 보여 가성비가 뛰어납니다.

팩트모든 과제는 도커 기반의 하버 환경에서 실행되며 허깅페이스 저장소에서 직접 실행할 수 있습니다. 사용자는 별도의 복제 과정 없이 명령어를 통해 즉시 모델 평가를 수행합니다.

주장이번 벤치마크는 단순히 모델을 평가하는 도구를 넘어 방어형 에이전트 학습을 위한 환경으로도 활용됩니다. 데이터셋은 강화학습 환경 태그가 지정되어 있어 보안 에이전트의 보상 체계로 사용합니다.

출처허깅페이스(https://huggingface.co/blog/cwe-bench)의 보도를 교차 검증했습니다.