엔비디아·에이아이포바라트, 인도어 2.8조 토큰 데이터 공개

주장인도 언어 기술은 영어권 중심의 데이터 편중 현상으로 인해 발전 속도가 제한적인 상황입니다. 엔비디아와 에이아이포바라트는 이번 대규모 데이터 공개를 계기로 인도 지역 언어를 지원하는 거대언어모델의 학습 효율성을 극대화합니다.

팩트공개된 데이터셋은 인도 헌법이 지정한 22개 언어를 아우르며 전체 규모는 2조8000억 토큰에 달합니다. 이 가운데 네이티브 스크립트 기반 토큰은 2조6000억개이며 로마자 표기 토큰은 2246억개로 집계되었습니다.

팩트데이터 생산 공정에는 엔비디아가 개발한 오픈소스 프레임워크인 네모 데이터 디자이너가 적용되었습니다. 해당 파이프라인은 기계 번역과 품질 평가 및 오류 수정 단계를 거치며 연구자가 자체 소스 자료에 기반한 맞춤형 데이터를 구축하도록 지원합니다.

교차검증데이터 신뢰성을 확보하기 위해 다차원 품질 지표를 응용한 평가 체계가 작동합니다. 전체 평가 점수 100점 가운데 75점을 넘어선 결과물만 최종 데이터셋에 편입되어 정보의 정확성을 담보합니다.

팩트데이터셋은 벵골어와 구자라트어以及 힌디어와 타밀어를 포함한 12개 언어에서 네이티브 문자와 로마자 표기를 동시에 지원합니다. 나머지 10개 언어는 네이티브 문자 중심의 데이터를 제공하여 각 언어의 고유한 특성을 보존합니다.

주장이번 프로젝트의 본질은 단순히 데이터를 배포하는 단계를 넘어 데이터 생성 과정 전반을 개방하는 데 있습니다. 이를 통해 전 세계 개발자 커뮤니티가 인도 언어 인공지능 연구를 독립적으로 재현하고 확장하는 생태계가 형성됩니다.

팩트데이터셋 내부에는 수학과 프로그래밍 코드 및 질의응답을 아우르는 전문 분야의 콘텐츠가 다수 포함되었습니다. 이러한 구성은 인도 언어 모델이 추상적인 기술 개념을 소화하고 복잡한 문제를 해결하는 연산 능력을 기르는 데 기여합니다.

교차검증합성 데이터 전량은 원본 영어 문서와 일일이 대조하는 교차 검증 절차를 거쳤습니다. 번역 과정에서 수식이나 표 및 코드가 누락되거나 변형되는 현상을 방지하기 위해 철저한 품질 통제 장치가 가동되었습니다.

팩트엔비디아는 네모트론 3.5 슈퍼 비엘 모델의 사전 학습 단계에서 이미 이번 데이터셋에 포함된 100억개의 인도어 토큰을 투입했습니다. 앞으로 선보일 차세대 네모트론 시리즈에도 해당 코퍼스가 지속적으로 반영될 예정입니다.

출처허깅페이스 블로그(https://huggingface.co/blog/nvidia/scaling-indic-pretraining) 및 에이아이포바라트의 연구 자료를 교차 검증했습니다.