클라우드플레어-오픈AI 웹 검색 효율성 개선 협력

주장클라우드플레어와 오픈AI는 네트워크 신호를 활용한 공동 연구를 진행합니다. 이번 협력은 기존 검색 엔진이 발견하기 어려웠던 가치 있는 웹 페이지를 효과적으로 찾아내는 목표를 세웠습니다.

팩트오픈AI와 클라우드플레어는 지난 7월 8일 파일럿 프로젝트를 발표했습니다. 양사는 10월 15일 공동 블로그를 통해 초기 성과를 공유했습니다.

팩트이번 파일럿은 클라우드플레어 전체 네트워크의 1퍼센트에 해당하는 참여 그룹을 대상으로 진행되었습니다.

팩트오픈AI는 해당 연구를 통해 수억 개의 새로운 웹 페이지를 발견하고 색인화하는 데 성공했습니다.

팩트새로운 색인 대상에는 세탁기 사용자 가이드, 여권 발급 정보, 식당 운영 시간 등 외부 링크가 적은 페이지가 포함됩니다.

팩트클라우드플레어의 네트워크 신호는 오픈AI 크롤러가 불필요한 요청을 방지하도록 돕습니다.

팩트크롤러는 페이지 업데이트 여부와 트래픽 품질, 실제 콘텐츠 변경 사항을 분석해 방문할 가치가 있는 페이지를 선별합니다.

주장이번 기술은 보안 강화 측면에서도 활용됩니다. 양사는 합법적인 웹사이트에 삽입된 가짜 로그인 폼과 같은 유해 페이지를 식별해 검색 인덱스에서 제외하는 기능을 테스트하고 있습니다.

팩트오픈AI의 크롤러는 검색용인 오에이아이 서치봇과 학습용인 gpt봇으로 구분되어 운영됩니다.

팩트웹사이트 관리자는 로봇 배제 표준을 통해 각 봇의 접근을 개별적으로 허용하거나 차단할 수 있습니다.

주장웹사이트 운영자는 클라우드플레어의 인공지능 크롤 제어 서비스를 통해 인공지능 서비스의 접근을 관리할 수 있습니다.

주장관리자는 검색용인 오에이아이 서치봇은 허용하되 학습용인 gpt봇은 차단하는 설정을 활용해 검색 결과 노출은 유지하면서 콘텐츠의 인공지능 학습 활용은 제한할 수 있습니다.

교차검증새로운 페이지를 발견하는 과정에서 초기 크롤링 빈도는 일시적으로 증가할 수 있습니다. 다만, 이번 발표에서는 새로운 페이지가 대화형 인공지능 검색 결과에 얼마나 자주 인용되는지, 혹은 실제 트래픽 유입에 얼마나 기여하는지에 대한 구체적인 수치는 공개되지 않았습니다.

교차검증클라우드플레어의 신호가 페이지에 대한 접근 권한을 부여하는 것은 아닙니다. 검색 엔진의 인덱스에 포함된다고 해서 반드시 대화형 인공지능 검색 결과에 인용되는 것은 아니며, 오픈AI의 독립적인 평가와 순위 산정 과정을 거쳐야 합니다.

팩트양사는 앞으로 인공지능의 웹 페이지 선택 알고리즘을 고도화하고 콘텐츠 변경 사항을 더 빠르게 감지하는 기술을 개발할 예정입니다. 클라우드플레어는 이러한 기술이 실제 사업 성과로 어떻게 연결될지 오픈AI와 함께 연구하고 있습니다.

출처서치 엔진 저널(https://www.searchenginejournal.com/chatgpt-search-can-draw-on-more-pages-after-a-cloudflare-pilot/593720/)의 보도를 교차 검증했습니다.