단일 세포 파운데이션 모델의 데이터 확장성 최적화 전략

팩트단일 세포 생물학 분야의 파운데이션 모델은 초기 100만 개 세포 수준에서 최근 1억 개 이상의 세포를 포함하는 아틀라스 규모로 성장했습니다. 이러한 규모의 확장은 트랜스포머(Transformer) 기반 모델의 성공에 기인합니다.

주장단일 세포 파운데이션 모델은 대규모 언어 모델과 달리 명확한 데이터 확장 법칙을 따르지 않습니다. 데이터 양을 무조건 늘리기보다 모델 용량과 데이터셋 크기, 컴퓨팅 자원 간의 균형을 맞추는 작업이 중요합니다.

팩트연구진은 2,220만 개의 세포로 구성된 대규모 데이터셋을 활용하여 총 400개의 모델을 사전 학습시켰습니다. 이들은 모델 성능을 검증하기 위해 총 6,400회의 실험을 수행했습니다.

교차검증현재 단일 세포 파운데이션 모델은 전체 학습 데이터셋의 일부만 사용해도 성능이 정체되는 경향을 보입니다. 이는 데이터 양이 곧바로 성능 향상으로 이어지지 않는다는 한계를 시사합니다.

교차검증데이터 규모가 커짐에 따라 컴퓨팅 자원 소모는 기하급수적으로 증가하지만, 그에 상응하는 성능 개선은 확인되지 않습니다. 이는 현재 모델링 방식이 데이터 효율성 측면에서 개선의 여지가 많음을 의미합니다.

주장개발자는 단순히 데이터를 무분별하게 늘리는 전략에서 벗어나야 합니다. 데이터 다양성과 모델의 구조적 효율성을 고려한 최적화 전략이 앞으로 모델 개발의 핵심이 됩니다.

주장단일 세포 생물학의 복잡성을 고려할 때, 데이터의 양적 팽창보다 생물학적 의미를 담은 데이터의 질적 다양성을 확보하는 방식이 모델 성능 향상에 더 효과적입니다.

팩트본 연구에서 사용된 클론 조혈, 태반, 장기 칩, 치주염, 신장 및 간 데이터셋은 셀엑스진(CELLxGENE) 센서스를 통해 공개되어 있습니다. 폐 데이터셋은 큐레이티드 캔서 셀 아틀라스(Curated Cancer Cell Atlas)를 통해 접근이 가능합니다.

팩트연구에 사용된 모든 코드는 엠아이티(MIT) 라이선스 하에 오픈 소스로 공개되었습니다. 연구진은 에스씨브이아이(scVI), 에스에스엘(SSL), 진포머(Geneformer), 에스씨밀러리티(SCimilarity) 등 다양한 기존 도구를 모델 평가와 학습에 활용했습니다.

출처네이처(Nature) 학술지(https://www.nature.com/articles/s41592-026-03120-y) 및 관련 깃허브(GitHub) 저장소(https://github.com/microsoft/scFM-dataselection)를 교차 검증했습니다.