허깅페이스, 에틴 리랭커 모델 6종 출시

주장허깅페이스는 검색 시스템 성능을 극대화하기 위해 에틴 리랭커 모델 6종을 새롭게 출시했습니다. 이 모델군은 검색 결과의 정확도를 결정하는 재순위화 단계에서 최첨단 성능을 제공합니다.

팩트공개된 모델은 17M, 32M, 68M, 150M, 400M, 1B 파라미터 규모로 구성됩니다. 각 모델은 존스 홉킨스 대학의 에틴 인코더를 기반으로 하며 최대 8,192 토큰의 긴 문맥을 처리합니다.

팩트모델 학습에는 증류 기법이 적용되었으며 믹스브레드 AI의 리랭크 데이터 점수를 활용했습니다. 전체 학습 과정은 센텐스 트랜스포머 v5.5.0에 포함된 새로운 에이전트 스킬로 자동화했습니다.

주장에틴 리랭커는 모던버트 아키텍처를 채택하여 플래시 어텐션 2를 지원합니다. 이를 통해 기존 방식 대비 모델 크기와 길이에 따라 1.7배에서 8.3배까지 속도 향상을 기대합니다.

팩트모델 구조는 4단계 분류 헤드를 포함하며 실험 결과 CLS 풀링 방식이 평균 풀링보다 우수한 성능을 보였습니다. 이는 모던버트의 글로벌 어텐션 층이 충분한 정보를 전달하기 때문입니다.

팩트사용자는 센텐스 트랜스포머 라이브러리를 사용하여 단 3줄의 코드로 모델을 불러옵니다. 또한 모델 설정값을 조정하여 정밀도와 플래시 어텐션을 적용하면 처리량을 극대화합니다.

주장이번 모델들은 다양한 규모로 제공되어 사용자가 품질과 속도 사이에서 최적의 선택을 하도록 돕습니다. 긴 문맥 처리가 가능하여 방대한 문서 검색이 필요한 환경에서 유용합니다.

교차검증리랭커는 쿼리와 문서를 결합하여 처리하므로 임베딩 모델보다 정확도가 높지만 연산 비용이 많이 발생합니다. 따라서 전체 문서를 검색하기보다 임베딩 모델로 후보를 추린 뒤 리랭커로 순위를 재조정하는 방식이 권장됩니다.

교차검증리랭커 모델은 단독 사용보다 검색 시스템의 최종 단계에서 순위를 결정하는 용도로 적합합니다. 전체 코퍼스에 대해 리랭커를 실행하는 것은 비효율적이므로 반드시 검색과 재순위화 파이프라인을 구축해야 합니다.

출처허깅페이스 공식 블로그 및 관련 기술 문서를 통해 해당 내용을 교차 검증했습니다.