Search Console의 “발견됨 - 현재 색인이 생성되지 않음”: 소규모 사이트에서 확인할 사항

유용한 페이지를 게시하고 사이트맵에 추가했는데, 나중에 Google Search Console에서 “발견됨 - 현재 색인이 생성되지 않음”이라는 상태가 표시됩니다. 직접 페이지를 열 수는 있습니다. 무언가 잘못된 걸까요?

반드시 그렇지는 않습니다. Google의 페이지 색인 생성 보고서에 따르면 이 상태는 Google이 URL을 발견했지만 보고서가 기록된 시점에는 아직 크롤링하지 않았다는 뜻입니다. Google은 예상되는 호스트 부하를 크롤링 일정이 변경될 수 있는 이유로 들지만, 특정 URL에 이 상태가 나타난 이유까지 알려주지는 않습니다. 이 표시만으로 서버가 과부하 상태이거나 페이지 품질에 문제가 있다고 단정할 수 없습니다.

이 가이드는 보고서에 중요한 페이지가 몇 개 표시된 소규모 사이트를 위한 것입니다. 보고서가 알려주는 내용과 지금 할 수 있는 확인을 구분해 수정할 것이 있는지 판단하도록 돕습니다. 예시는 설명을 위한 것이며 고객 사이트의 결과가 아닙니다.

실제로 색인 생성이 필요한 URL 하나부터 시작하기

Search Console에서 페이지를 열고 해당 상태를 선택한 다음 중요한 URL 하나를 고릅니다. 프로토콜, 호스트 이름, 경로, 끝 슬래시, 모든 쿼리 매개변수를 포함한 전체 주소를 복사하세요. ?가 있다면 그 뒤의 내용도 전부 포함합니다. 보고서에 표시된 상태와 날짜를 기록하세요.

그런 다음 같은 주소를 URL 검사 도구로 검사합니다. 페이지 보고서와 검사 결과는 서로 다른 시점의 관측을 반영할 수 있습니다. 검사에서 이제 URL이 색인 생성되었다고 표시된다면, 무언가를 변경하기 전에 프로토콜, 호스트 이름, 경로, 끝 슬래시, 쿼리 매개변수가 일치하는지 확인하고 날짜를 비교하세요. 여전히 제외되어 있다면 결과를 기준점으로 저장합니다.

마지막 크롤링 날짜가 비어 있는 것은 이 상태와 일치합니다. 그렇다고 언제 크롤링이 이루어질지 정확히 알려주는 것은 아닙니다. “발견됨”은 “크롤링됨 - 현재 색인이 생성되지 않음”과도 다릅니다. 후자는 Google이 페이지를 가져왔지만 색인에 등록하지 않았다는 뜻입니다. 후자의 상태가 표시된다면 크롤링된 페이지에 관한 별도 가이드를 참고하세요.

기억하는 주소가 아니라 제출한 주소를 확인하기

로그인하지 않은 상태에서 브라우저의 비공개 창으로 정확한 URL을 엽니다. 방문자가 봐야 할 페이지에 도달하나요, 아니면 다른 주소로 리디렉션되나요? 사이트를 관리한다면 평소 사용하는 도구로 응답과 리디렉션 경로도 확인하세요. 브라우저 방문은 유용하지만 Googlebot의 크롤링은 아닙니다.

사이트맵에는 https://example.com/service?ref=email가 있고 의도한 페이지는 https://example.com/service이라고 가정해 보겠습니다. 먼저 매개변수가 페이지 내용을 바꾸지 않는지 확인하세요. 캠페인 추적에만 쓰인다면 사이트맵과 관련 내부 링크에 선호하는 매개변수 없는 URL을 사용합니다. 두 주소의 목적이 다르다면 중복으로 취급하기 전에 그 차이를 조사하세요. 이는 예시일 뿐이며, 해당 상태가 페이지의 매개변수나 리디렉션 문제를 입증하지는 않습니다.

Google의 사이트맵 안내에 따르면 사이트맵은 검색엔진이 URL을 발견하도록 돕지만 크롤링이나 색인 생성을 보장하지 않습니다. 같은 사이트맵을 반복해서 제출하는 것만으로는 이 상태가 해결되지 않습니다.

현재 접근성과 이전 보고서를 따로 확인하기

현재 접근 상태를 확인해야 한다면 검사 도구의 실제 URL 테스트를 같은 URL에 사용하세요. 도구에 표시되는 크롤링 결과, HTTP 응답, robots 또는 noindex 관련 메시지를 확인합니다. 실제 URL 테스트에서 robots 제한, 로그인 요구 또는 오류가 보고되면 사이트 관리자와 그 구체적인 증거를 조사하세요. 테스트 성공은 URL의 현재 이용 가능성을 보여줄 뿐 Google이 색인을 생성했는지는 알려주지 않습니다. Google이 기록한 색인 상태는 색인 생성된 데이터 보기에서 확인합니다.

실제 URL 테스트는 가능한 모든 색인 문제를 검사하지 않으며 Google이 선택할 표준 URL도 예측하지 않습니다. 테스트 결과는 이전에 기록된 색인 생성 데이터와 구분하세요. 200 응답만으로는 Google이 해당 페이지의 색인을 생성했다고 볼 수 없습니다.

보고된 URL이 리디렉션되거나 의도적으로 비공개이거나 검색 사용자가 찾기를 바라는 페이지가 아니라면 색인을 생성할 필요가 없을 수 있습니다. 보고서의 모든 URL을 검색에 표시하려 하기보다 사이트맵과 링크를 의도한 공개 대상에 맞추세요.

크롤링 예산을 원인으로 지목하기 전에 사이트 전체의 접근 패턴 살펴보기

크롤링 예산은 Google이 사이트를 얼마나 크롤링할 수 있고 하려는지를 설명하는 개념이며, 켜는 설정이 아닙니다. 소규모 사이트에서 URL 하나가 발견된 상태라는 사실만으로 서버가 Googlebot을 감당하지 못한다고 결론 내릴 수 없습니다. 중요한 URL 다수가 같은 상태라면 동시에 출시되었는지, 경로가 비슷한지, 서버 변경 후 시작되었는지 같은 공통점을 살펴보세요. 제외된 URL마다 별도의 긴급 상황으로 취급하기보다 작은 표본을 비교합니다.

접근 권한이 있다면 Search Console의 크롤링 통계와 호스팅 제공업체가 제공하는 오류 또는 용량 정보를 확인하세요. Google의 크롤링 오류 해결 안내에서는 호스트 부하 경고와 크롤링 오류를 설명합니다. 경고나 반복되는 서버 오류는 호스팅 조사에 방향을 줄 수 있지만, 이 상태만으로 둘 중 어느 것도 확인되지는 않습니다. URL 하나가 목록에 있다는 이유만으로 서버 용량을 늘리거나 페이지를 삭제하거나 크롤링 설정을 변경하지 마세요.

관련된 위치에서 원하는 페이지로 이동할 수 있게 하기

링크가 독자에게 도움이 될 기존 페이지를 찾습니다. 예를 들어 서비스 소개 페이지에서 그 서비스의 과정을 실제로 설명하는 유용한 페이지로 연결할 수 있습니다. 내용을 설명하는 링크 텍스트와 의도한 대상 URL을 사용하세요. 링크를 추가하는 이유는 사람들이 이동하기 쉽게 하기 위해서이며 즉시 색인을 생성하는 스위치가 아닙니다.

링크가 이미 존재하고 올바른 URL이 사이트맵에도 있다면 그 사실을 기록하세요. 같은 링크를 모든 페이지에 추가하거나 크롤링을 유도하기 위해서만 새 글을 발행할 필요는 없습니다.

결과를 기록하고 Google이 다시 방문할 시간을 주기

URL, 보고서 날짜, 관찰한 상태, 실제 URL 테스트 결과, 직접 수행한 구체적인 변경 사항을 기록합니다. 실제 접근 문제를 수정했다면 실제 URL을 다시 확인하세요. 그런 다음 Search Console에서 해당 중요한 URL의 색인 생성을 요청할 수 있습니다. 같은 요청을 습관적으로 반복할 필요는 없습니다. Google의 재크롤링 안내는 요청이 즉각적인 크롤링이나 포함을 보장하지 않는다고 명시합니다.

다음 검토에서는 같은 URL과 날짜를 비교합니다. 보고서가 바뀌지 않았다면 아직 새로운 관측이 없을 수 있습니다. 상태가 “크롤링됨 - 현재 색인이 생성되지 않음”으로 바뀌었다면 Google이 다른 단계에 도달한 것이므로 발견 단계만 계속 진단하지 말고 새 상태의 증거를 활용하세요. 이 가이드는 페이지에 문제가 있다고 증명할 수 있는 보편적인 대기 기간을 제시하지 않습니다.

홈페이지를 별도로 확인하려면 SEOHabit의 웹사이트 SEO 검사 도구에서 가입 후 홈페이지 범위로 제한된 첫 검사를 이용할 수 있습니다. 지속적인 검사에는 사이트 소유권 확인이 필요하지만 이 첫 제한 검사에는 필요하지 않습니다. 이 도구는 Google이 내부 페이지를 아직 크롤링하지 않은 이유를 알려줄 수 없습니다. Google 보고서와 URL 검사 결과는 Search Console에서 확인하세요.

중요한 URL 하나로 시작해 알고 있는 사실을 기록하고 증거가 뒷받침하는 부분만 변경하세요. 현재 검사에서 아직 구체적인 수정 사항을 찾지 못했다는 사실을 아는 것도 유용한 결과일 수 있습니다.