구글, 로봇 파일 미지원 규칙 목록 확대 및 공식화

주장구글은 로봇 파일 내에서 지원하지 않는 규칙을 공식 문서에 명시하여 웹 관리자에게 정확한 정보를 제공합니다. 이는 임의적인 판단을 배제하고 실제 웹 데이터를 기반으로 접근하는 체계적인 방식입니다.

팩트구글은 현재 로봇 파일에서 유저 에이전트(User-agent), 얼로우(Allow), 디스얼로우(Disallow), 사이트맵(Sitemap) 등 4가지 필드만을 공식 지원합니다. 이 외의 규칙은 검색 엔진이 무시하지만, 그동안 어떤 규칙이 가장 많이 사용되는지는 문서화되지 않았습니다.

팩트구글의 게리 일리스와 마틴 스플릿은 에이치티티피(HTTP) 아카이브 데이터를 활용해 웹사이트가 사용하는 로봇 파일 규칙을 분석했습니다. 연구팀은 상위 10개에서 15개 정도의 미지원 규칙을 식별하여 문서화할 계획입니다.

팩트연구팀은 웹페이지 테스트를 통해 수집한 에이치티티피 아카이브 데이터를 구글 빅쿼리(BigQuery)에 저장하여 분석했습니다. 초기에는 로봇 파일 데이터 수집에 문제가 있었으나, 맞춤형 자바스크립트 파서를 개발하여 이를 해결했습니다.

교차검증분석 과정에서 다수의 웹사이트가 로봇 파일 대신 에이치티엠엘(HTML) 파일을 반환하는 등 잘못된 데이터를 포함하고 있음이 확인되었습니다. 이러한 불필요한 데이터는 분석 결과의 정확도를 낮출 수 있는 요소입니다.

팩트분석 결과, 지원되는 주요 규칙을 제외하면 나머지 규칙의 사용 빈도는 급격히 낮아집니다. 구글은 이러한 데이터를 바탕으로 미지원 규칙 목록을 업데이트하여 개발자에게 가이드를 제공합니다.

주장구글은 로봇 파일 내 디스얼로우 규칙의 오타에 대한 허용 범위를 확대할 가능성을 시사했습니다. 이는 사용자가 실수로 입력한 오타를 검색 엔진이 유연하게 처리하여 검색 최적화 오류를 줄이려는 의도입니다.

교차검증오타 허용 범위를 넓히면 편리하지만, 웹 관리자가 로봇 파일 작성의 정확성을 확인하는 노력을 소홀히 할 위험이 있습니다. 구글은 여전히 표준화된 규칙 준수를 권장합니다.

팩트이번 연구 결과는 구글 검색 콘솔에서 이미 노출되는 인식되지 않는 태그들과 일치합니다. 구글은 앞으로 공식 문서를 업데이트하여 웹 관리자가 로봇 파일 처리 방식을 명확히 이해하도록 돕습니다.

출처서치 엔진 저널(Search Engine Journal) 보도와 구글 서치 오프 더 레코드 팟캐스트 내용을 교차 검증했습니다. 추가 데이터 분석이 필요한 사용자는 구글 빅쿼리의 공개 데이터셋을 직접 조회할 수 있습니다.