독일 AI 연합의 고성능 오픈 소스 모델 수피 S 공개

주장독일 AI 연합은 유럽의 기술 주권을 확보하고자 독일어와 영어에 최적화된 고성능 오픈 소스 모델 수피 S를 개발했습니다. 이 모델은 유럽 내 인프라에서 학습을 완료했으며 산업 현장에 즉시 적용 가능한 수준의 성능을 지향합니다.

팩트수피 S는 총 316억 개의 파라미터를 보유하고 있으며 토큰당 32억 개만 활성화하는 하이브리드 구조를 채택했습니다. 엔비디아의 네모트론 나노 아키텍처를 기반으로 설계하여 연산 비용을 30억 개 규모 모델 수준으로 낮췄습니다.

팩트모델 학습에는 총 27조 개의 토큰이 투입되었습니다. 연구진은 독일어 데이터 비중을 단계별로 최대 15.3%까지 높여 일반적인 모델의 다국어 학습 비중인 5%보다 높은 독일어 처리 능력을 구현했습니다.

팩트수피 S는 뮌헨에 위치한 도이체 텔레콤의 산업용 인공지능 클라우드에서 학습했습니다. 512개의 엔비디아 B200 그래픽 처리 장치를 사용하여 총 25만 3천 시간의 학습 시간을 기록했습니다.

팩트벤치마크 결과 수피 S는 휴먼이밸에서 73.8%, 엠비피피에서 70.2%의 점수를 기록하며 오픈 소스 모델 중 최상위권 성능을 보였습니다. 독일어 특화 지식 테스트인 인클루드-디이에서도 61.2점으로 공동 1위를 차지했습니다.

교차검증수피 S는 수학 문제 풀이와 사실 관계 검색 능력에서 일부 한계를 보입니다. 특히 3만 2천 토큰 이상의 긴 문맥에서 특정 단어를 추출하는 작업의 성공률이 경쟁 모델 대비 낮게 나타났습니다.

팩트이번 프로젝트는 독일 AI 협회가 주도하고 독일 연방 경제기후보호부가 자금을 지원했습니다. 프라운호퍼 연구소와 독일 인공지능 연구소, 다름슈타트 공대 등 다수의 독일 연구 기관과 기업이 컨소시엄에 참여했습니다.

주장연구진은 모델 가중치와 학습 코드, 데이터 인벤토리를 모두 공개하여 오픈 소스 이니셔티브의 정의를 충족하고자 했습니다. 이들은 투명한 기술 공개를 통해 유럽 인공지능 생태계의 발전을 도모합니다.

교차검증학습 데이터의 1.3%를 차지하는 제니오스 데이터는 상업용 라이선스를 따르고 있습니다. 이로 인해 모든 학습 토큰을 자유롭게 배포해야 한다는 엄격한 유럽형 오픈 데이터 기준은 완전히 충족하지 못했습니다.

주장수피 S는 상업용 데이터 사용으로 인해 완전한 오픈 데이터 기준에는 미치지 못하는 부분이 존재합니다. 그럼에도 불구하고 유럽 내 자체적인 인공지능 모델 확보라는 측면에서 중요한 성과로 평가받습니다.

팩트독일 AI 연합은 이번 모델 공개를 시작으로 유럽 내 다양한 산업군에서 활용 가능한 인공지능 모델을 지속적으로 개발할 계획입니다. 이들은 향후 데이터 투명성을 높이기 위한 추가적인 보완 작업을 진행합니다.

출처더 디코더(The Decoder)의 보도 내용을 교차 검증했습니다. https://the-decoder.com/german-ai-consortium-releases-soofi-s-an-open-30b-model-that-tops-benchmarks-in-both-english-and-german/