Search Console показує noindex: як знайти джерело та перевірити URL

Ви хочете, щоб сторінка з’являлася в пошуку Google, але Search Console повідомляє, що її виключено через правило noindex. Перш ніж змінювати налаштування всього сайту, перевірте точну URL-адресу та джерело вказівки. Окремий шаблон, заголовок HTTP-відповіді або налаштування тестового середовища, що залишилося на одній сторінці, можуть потребувати різних виправлень.

Цей посібник стосується публічної сторінки, яку ви хочете індексувати в Google. Сторінку входу, приватний документ або тестове середовище, можливо, потрібно залишити поза пошуком. noindex — це вказівка щодо індексування, а не контроль доступу: якщо інформація має залишатися приватною, використовуйте автентифікацію.

Почніть із URL у Search Console

Скопіюйте точну адресу зі звіту разом із протоколом, шляхом, кінцевою похилою рискою та рядком запиту. Перевірте цю URL-адресу в Search Console. Звіт про індекс відображає інформацію, збережену Google під час попереднього сканування; перевірка в реальному часі отримує сторінку зараз і може показати інший результат. Перед змінами запишіть дату сканування та дані в обох представленнях.

Якщо перевірка в реальному часі досі показує noindex, знайдіть джерело вказівки. Якщо вона більше не з’являється, попередній звіт про індекс може й досі відображати старе сканування. Це не доводить, що сторінку проіндексовано або що Google обробив зміну.

Документація Google щодо перевірки URL пояснює різницю між результатами індексу та перевірки в реальному часі, зокрема можливості й обмеження кожної перевірки.

Перевірте HTML і заголовки відповіді

Для HTML-сторінки перегляньте її вихідний код і знайдіть noindex. Один із можливих варіантів вказівки:

<meta name="robots" content="noindex">

Вказівка також може міститися в метатезі googlebot. Перевірте фактично надану сторінку, а не лише шаблон, який, на вашу думку, використовується: тег можуть додати налаштування CMS, плагін або конфігурація розгортання. Якщо сторінка змінює метадані за допомогою JavaScript, перевірте і початкову відповідь, і результат рендерингу.

Вказівка може також надходити в HTTP-заголовку X-Robots-Tag. В інструментах розробника браузера відкрийте Network, перезавантажте сторінку та виберіть запит документа. Знайдіть X-Robots-Tag у заголовках відповіді. Якщо адреса перенаправляє, перевірте кожну відповідь окремо: URL перенаправлення та кінцева адреса — різні URL. Виправлення може знадобитися в правилі хостингу або відповіді застосунку, а не в редакторі сторінки.

Google описує метатеги robots і заголовки відповіді, зокрема правила для окремих роботів і значення none, яке включає noindex. Відсутність вказівки в метатезі HTML не виключає її наявності в заголовку.

Окремо перевірте сканування

Відкрийте robots.txt сайту та перевірте, чи може відповідний робот Google отримати сторінку. Блокування сканування і noindex виконують різні завдання. Google має отримати доступ до сторінки або ресурсу, щоб побачити вказівку noindex; URL, заблокована в robots.txt, усе одно може з’явитися в результатах пошуку на підставі посилань чи іншої інформації. Google також не підтримує noindex у robots.txt як правило індексування. Дивіться вказівки Google щодо noindex.

Не прибирайте обмеження сканування на всьому сайті лише для того, щоб один звіт став зеленим. Спочатку з’ясуйте, навіщо існує обмеження і чи має URL бути публічною. У перевірці Search Console в реальному часі переконайтеся, що отримання сторінки справді успішне; вимога входу, помилка сервера або інша проблема доступу потребують окремого дослідження.

Змініть джерело вказівки й перевірте ще раз

Для сторінки, яку потрібно індексувати, приберіть ненавмисний noindex на тому рівні, де його створено. Наприклад, якщо налаштування публікації керує однією статтею, змініть це налаштування; якщо спільний шаблон задає тег або заголовок для всіх публічних сторінок, перед зміною перевірте його призначену сферу дії. Захист приватного вмісту й тестового середовища зберігайте.

Знову отримайте ту саму URL-адресу та перевірте і HTML, і заголовки. Потім запустіть перевірку Search Console в реальному часі. Якщо результат більше не показує правило, а сторінка готова до пошуку, можна надіслати запит на індексування через перевірку URL. Успішна перевірка або запит не гарантують індексування: звіт індексу Google оновлюється після власної обробки, і Google може не індексувати сторінку з інших причин.

Якщо проблема стосується головної сторінки, SEOHabit пропонує першу перевірку головної сторінки після реєстрації. Перевірте відповідь і скористайтеся перевіркою Search Console в реальному часі, щоб підтвердити конкретну проблему noindex. SEOHabit не змінює сторінку за вас; власник сайту або розробник вносить і перевіряє виправлення в середовищі, де підтримується сайт.

Запишіть URL, виявлений тег або заголовок, місце зміни й дату перевірки в реальному часі. Так ви матимете конкретні дані для порівняння, коли збережений результат Search Console наступного разу зміниться.