챗GPT 인용 출처와 API 결과값 불일치 연구

주장싱가포르 국립대와 시안 교통대 연구진은 인공지능 기반 대화형 서비스인 챗GPT의 웹 인용 방식이 외부 애플리케이션 프로그래밍 인터페이스(API, Application Programming Interface)나 구글 검색 결과와 일치하지 않는다는 점을 밝혔습니다.

팩트연구진은 대형 언어 모델 제품군인 지피티를 대상으로 80개의 질문을 각각 20회씩 반복 테스트했습니다. 데이터 수집 기간은 2026년 3월 29일부터 7월 29일까지이며, 질문은 영어와 중국어로 구성했습니다.

팩트테스트 결과, 구글 검색과 개발자용 인터페이스를 결합해도 챗GPT가 인용한 페이지의 26.2%만을 찾는 데 그쳤습니다. 웹사이트 단위로 분석 범위를 넓혔을 때는 48.7%의 일치율을 보였습니다.

교차검증챗GPT는 사용자의 질문을 그대로 검색에 활용하지 않고 내부적으로 검색어를 재구성합니다. 이 과정으로 인해 외부 인터페이스를 통한 단순 검색 결과와 실제 인용 출처 사이에 간극이 발생합니다.

팩트중국어 질문을 처리할 때도 상당 부분 영어로 검색을 수행합니다. 지피티 5.3 인스턴트 모델은 67.0%, 지피티 5.5 인스턴트 모델은 69.6%의 비율로 영어 검색어를 사용합니다.

교차검증동일한 질문을 반복해도 결과값의 변동성이 큽니다. 지피티 5.5 인스턴트 모델은 특정 질문에 대해 제시된 페이지의 44.5%가 20회의 실행 중 단 한 번만 나타났습니다.

주장연구진은 인용 출처를 확인할 때 개별 웹페이지 단위와 사이트 단위를 함께 분석할 것을 권장합니다. 모델 버전이 바뀔 때마다 인용 전략이 달라지므로 지속적인 평가가 필요합니다.

팩트이번 연구는 사전 공개 학술 플랫폼인 아르시브(arXiv)에 게시된 논문으로 동료 평가를 거치지 않았습니다. 연구진은 상용 추적 도구를 테스트하지 않고 챗GPT 웹 애플리케이션의 데이터 흐름을 직접 기록하여 분석했습니다.

주장모델의 버전 변화에 따라 인용 방식이 크게 달라집니다. 기업은 특정 모델 기반의 데이터가 최신 모델에서도 동일하게 적용된다고 가정해서는 안 됩니다.

출처Search Engine Journal(https://www.searchenginejournal.com/openais-api-only-partly-matched-chatgpts-citations-paper-finds/593304/)의 보도를 교차 검증했습니다.