의료 AI의 영상 진단 성능, 텍스트 정보 의존성 심화

주장다중 모달 기반 의료 인공지능(AI) 모델은 의료 영상을 분석할 때 이미지 자체보다 함께 제공되는 텍스트 정보에 과도하게 의존합니다. 이러한 모델은 텍스트의 정보량이 많아질수록 정확도가 단조 증가하는 특성을 보입니다.

팩트연구진은 8개의 독점 및 오픈 소스 다중 모달 파운데이션 모델을 대상으로 1,090개의 의료 사례를 분석했습니다. 이 분석을 통해 모델이 이미지와 텍스트를 통합하는 방식과 우선순위를 평가했습니다.

교차검증텍스트 활용은 양날의 검과 같습니다. 텍스트에 잘못된 진단 정보가 포함될 경우, 모델은 이미지 분석만으로 충분히 맞출 수 있었던 문제조차 오답을 내놓는 성능 저하를 보입니다.

팩트오도하는 임상 정보가 입력되었을 때 특정 모델의 정확도는 84%에서 28%로 급락했습니다. 이는 모델이 이미지의 시각적 증거보다 텍스트의 문맥적 암시에 더 크게 휘둘린다는 사실을 입증합니다.

교차검증텍스트 정보가 이미 유익한 경우, 이미지를 추가하는 것이 성능 향상에 도움이 되지 않거나 오히려 저해하는 현상이 관찰됩니다. 지피티-포브이(GPT-4V) 모델은 69개의 임상 병리 회의 사례에서 이미지를 추가했을 때 정확도가 감소했습니다.

주장이번 연구 결과는 다중 모달 AI 모델이 의료 진단 추론에 유용할 수 있지만, 그 정확도가 텍스트에 의해 결정된다는 점을 시사합니다. 이는 의료 현장에서 AI를 활용할 때 텍스트 데이터의 신뢰성이 무엇보다 중요하다는 의미입니다.

팩트본 연구는 하버드 의과대학 생물의학정보학과 연구진이 수행했습니다. 연구진은 미국 국립보건원(NIH) 및 하버드 의대 산하 펀드의 지원을 받아 연구를 진행했습니다.

팩트연구에 사용된 데이터는 뉴잉글랜드 저널 오브 메디신(NEJM) 그룹의 허가를 받아 활용했습니다. 연구 결과는 네이처 커뮤니케이션즈를 통해 2026년 6월 12일에 공식 발표했습니다.

교차검증연구에 참여한 저자 중 아담 로드먼은 구글 딥마인드의 객원 연구원으로 활동하고 있습니다. 그 외 저자들은 본 연구와 관련하여 이해 상충이 없음을 명시했습니다.

주장의료 AI의 기술적 고도화와 더불어 입력 데이터의 품질 관리가 필수적입니다. 텍스트 정보에 대한 맹신이 진단 오류를 유발할 수 있다는 점을 경계해야 합니다.

주장향후 의료 AI 개발 과정에서는 영상 데이터와 텍스트 데이터 간의 가중치 균형을 맞추는 기술적 보완이 필요합니다. 모델의 판단 근거를 투명하게 확보하는 작업이 선행되어야 합니다.

출처네이처 커뮤니케이션즈에 게재된 버클리(Buckley) 등의 연구 논문을 교차 검증했습니다. (https://www.nature.com/articles/s41467-026-74207-5)