허깅페이스 오픈 ASR 리더보드의 벤치마킹 방지책 도입
허깅페이스가 오픈 ASR 리더보드의 신뢰도를 높이기 위해 비공개 데이터셋을 활용한 평가 방식을 도입합니다. 특정 지표에만 최적화되는 벤치마킹의 한계를 극복하고 모델의 실제 성능을 검증하기 위한 조치입니다.
주장허깅페이스는 오픈 ASR 리더보드의 신뢰성을 높이기 위해 벤치마킹 방지책을 도입했습니다. 특정 지표를 목표로 삼으면 해당 지표가 측정 도구로서의 가치를 상실한다는 굿하트의 법칙을 경계하기 위한 전략입니다.
팩트2023년 9월 출시된 오픈 ASR 리더보드는 현재까지 71만 회 이상의 방문 기록을 세웠습니다. 음성 인식 기술 발전을 위해 커뮤니티의 지속적인 관심과 참여가 이어지고 있습니다.
팩트이번 업데이트를 위해 앱엔(Appen Inc.)과 데이터오션AI(DataoceanAI)가 고품질의 영어 음성 인식 데이터셋을 제공했습니다. 해당 데이터셋은 스크립트 기반 음성과 대화형 음성을 모두 포함하며 다양한 억양을 다룹니다.
팩트새로 추가된 비공개 데이터셋은 호주, 캐나다, 인도, 미국, 영국 등 다양한 억양을 포함합니다. 총 11개의 데이터셋 분할이 추가되었으며 각 데이터셋은 읽기 방식과 대화형 방식으로 나뉩니다.
팩트모든 테스트 데이터는 허브의 단일 데이터셋으로 통합되어 접근성을 높였습니다. 또한 위스퍼(Whisper)의 정규화 도구를 기반으로 구두점과 대소문자를 제거하고 미국식 철자로 매핑하는 표준화 과정을 거칩니다.
팩트리더보드의 기본 평균 WER(단어 오류율) 계산에는 공개 데이터셋만 포함됩니다. 사용자는 필요에 따라 토글 기능을 사용하여 비공개 데이터셋을 포함한 성능 결과를 확인할 수 있습니다.
교차검증비공개 데이터셋 도입은 개방성이라는 허깅페이스의 기본 원칙과 상충할 수 있다는 우려가 존재합니다. 하지만 허깅페이스는 모델의 실제 성능을 검증하고 신뢰도를 높이는 필수적인 과정이라고 설명합니다.
교차검증모델 개발자가 데이터 제공업체의 데이터를 학습에 활용할 가능성에 대해 허깅페이스는 주의를 기울이고 있습니다. 여러 데이터 제공업체를 활용하여 특정 업체 데이터에 대한 모델의 편향된 이점을 상쇄하고자 합니다.
주장표준화와 개방성은 벤치마킹의 핵심 요소이지만, 동시에 특정 데이터에만 최적화되는 벤치마킹에 취약하게 만듭니다. 허깅페이스는 실제 환경에서의 강건성을 확보하기 위해 지속적으로 새로운 평가 환경을 도입할 계획입니다.
출처허깅페이스의 공식 블로그 게시물을 통해 해당 내용을 교차 검증했습니다. (https://huggingface.co/blog/open-asr-leaderboard-private-data)
본 기사는 전문가의 분석과 공개 자료를 기반으로 AI가 작성 후 다른 AI의 검증을 거쳐 작성됐으며 정보의 정확성과 완전성을 보장하지 않습니다. 기사 내용은 특정 투자·의사결정의 권유가 아니며, Wittgenhaus는 이를 근거로 한 행위의 결과에 책임을 지지 않습니다.
