Search Console에 noindex가 표시될 때: 원인과 URL 확인 방법

Google 검색에 페이지를 표시하고 싶은데 Search Console에서 noindex 규칙으로 제외되었다고 보고할 수 있습니다. 사이트 전체 설정을 바꾸기 전에 정확한 URL과 지시문이 어디서 나오는지 확인하세요. 개별 템플릿, HTTP 응답 헤더 또는 한 페이지에 남은 스테이징 설정은 각각 다른 수정이 필요할 수 있습니다.

이 안내는 Google이 색인하기를 원하는 공개 페이지를 위한 것입니다. 로그인 페이지, 비공개 문서 또는 스테이징 환경은 검색 결과에서 제외해야 할 수 있습니다. noindex는 색인 지시문이며 접근 제어 수단이 아닙니다. 정보를 비공개로 유지해야 한다면 인증을 사용하세요.

Search Console에서 URL부터 확인하기

보고서의 주소를 프로토콜, 경로, 마지막 슬래시와 쿼리 문자열까지 정확하게 복사해 Search Console에서 검사하세요. 색인 보고서는 Google이 이전 크롤링에서 저장한 정보를 반영합니다. 실시간 테스트는 현재 페이지를 가져오므로 다른 결과를 보여줄 수 있습니다. 변경하기 전에 크롤링 날짜와 각 화면의 내용을 기록하세요.

실시간 테스트에도 noindex가 표시되면 지시문의 출처를 찾아야 합니다. 더 이상 표시되지 않더라도 기존 색인 보고서에는 이전 크롤링 결과가 남아 있을 수 있습니다. 이것만으로 페이지가 색인되었거나 Google이 변경 사항을 처리했다고 확인할 수는 없습니다.

Google의 URL 검사 문서는 각 테스트로 확인할 수 있는 것과 없는 것을 포함해 색인 결과와 실시간 결과의 차이를 설명합니다.

HTML과 응답 헤더 살펴보기

HTML 페이지라면 페이지 소스를 보고 noindex를 검색하세요. 가능한 지시문 중 하나는 다음과 같습니다.

<meta name="robots" content="noindex">

googlebot 메타 태그에도 지시문이 들어갈 수 있습니다. 사용되었다고 생각하는 템플릿만 보지 말고 실제 제공된 페이지를 확인하세요. CMS 설정, 플러그인 또는 배포 설정이 태그를 추가할 수 있습니다. JavaScript로 메타데이터를 변경하는 페이지라면 초기 응답뿐 아니라 렌더링된 결과도 확인하세요.

지시문은 HTTP X-Robots-Tag 헤더로 전달될 수도 있습니다. 브라우저 개발자 도구에서 Network를 열고 페이지를 새로고침한 뒤 문서 요청을 선택하세요. 응답 헤더에서 X-Robots-Tag를 찾습니다. 주소가 리디렉션된다면 각 응답을 따로 확인하세요. 리디렉션하는 URL과 최종 도착지는 서로 다른 URL입니다. 페이지 편집기가 아니라 호스팅 규칙이나 애플리케이션 응답을 수정해야 할 수도 있습니다.

Google의 robots 메타 태그 및 응답 헤더 문서에는 크롤러별 규칙과 noindex를 포함하는 none 값도 설명되어 있습니다. HTML 메타 태그에 문제가 없더라도 헤더에 지시문이 있을 수 있습니다.

크롤링은 별도로 확인하기

사이트의 robots.txt를 열고 해당 Google 크롤러가 페이지를 가져올 수 있는지 확인하세요. 크롤링 차단과 noindex는 역할이 다릅니다. Google이 noindex 지시문을 보려면 페이지나 리소스에 접근할 수 있어야 합니다. robots.txt에서 차단된 URL도 링크나 다른 정보를 바탕으로 검색 결과에 나타날 수 있습니다. Google은 robots.txt에 넣은 noindex를 색인 규칙으로 지원하지도 않습니다. Google의 noindex 안내를 참고하세요.

보고서 하나를 초록색으로 만들기 위해 사이트 전체의 크롤링 제한을 없애지 마세요. 먼저 제한이 있는 이유와 해당 URL을 공개할 의도가 있는지 확인합니다. Search Console 실시간 테스트에서 실제로 페이지를 가져오는 데 성공하는지도 살펴보세요. 로그인 요구, 서버 오류 또는 다른 접근 문제는 별도로 조사해야 합니다.

지시문의 출처를 수정한 뒤 다시 확인하기

색인하려는 페이지라면 의도하지 않은 noindex를 만들어 낸 계층에서 제거하세요. 예를 들어 게시 설정이 한 문서를 제어한다면 그 설정을 바꾸고, 공유 템플릿이 모든 공개 페이지에 태그나 헤더를 설정한다면 변경 전에 해당 템플릿의 의도된 적용 범위를 확인하세요. 비공개 및 스테이징 콘텐츠는 계속 보호해야 합니다.

같은 URL을 다시 가져와 HTML과 헤더를 모두 확인한 다음 Search Console 실시간 테스트를 실행하세요. 실시간 결과에 규칙이 더 이상 나타나지 않고 페이지가 검색에 공개될 준비가 되었다면 URL 검사에서 색인을 요청할 수 있습니다. 실시간 테스트 성공이나 색인 요청이 색인을 보장하지는 않습니다. Google의 색인 보고서는 자체 처리 후 업데이트되며, Google은 다른 이유로 페이지를 색인하지 않을 수도 있습니다.

영향받은 URL이 홈페이지라면 SEOHabit에서 가입 후 첫 홈페이지 검사를 이용할 수 있습니다. 응답을 살펴보고 Search Console 실시간 테스트로 해당 noindex 문제를 확인하세요. SEOHabit이 페이지를 대신 변경하지는 않습니다. 사이트 소유자나 개발자가 사이트를 관리하는 환경에서 수정하고 검증합니다.

URL, 발견한 태그나 헤더, 변경한 위치와 실시간 테스트 날짜를 기록하세요. 그러면 Search Console에 저장된 결과가 다음에 바뀔 때 구체적으로 비교할 수 있습니다.