Страница открывается в браузере, но не появляется в Google? Проверьте не только доступность адреса, но и директиву noindex в HTML и ответе сервера. Эта инструкция поможет владельцу сайта подготовить точную задачу разработчику и проверить результат без поспешного открытия закрытых страниц.
Сначала выберите страницу и решение
Начните с опубликованной страницы своего сайта, которая отвечает на важный вопрос покупателя и должна быть доступна в Google. Понадобятся полный URL, доступ к соответствующему ресурсу в Search Console и технический специалист, который может проверить шаблон или серверные заголовки. Не снимайте ограничения с личных кабинетов и других страниц, которые компания намеренно исключает из поиска.
Запишите URL, назначение страницы, желаемый статус в поиске, найденную директиву, дату проверки и решение. Эта запись станет основой задания на исправление.
Чем отличаются обход и запрет индексации
Google видит noindex в метатеге страницы или HTTP-заголовке X-Robots-Tag при обходе. Если robots.txt запрещает обход адреса, робот может не увидеть noindex, а сам URL всё ещё может появиться в поиске по внешним ссылкам. Google не поддерживает noindex как правило внутри robots.txt. Документация Google о noindex.
Проведите проверку
- Посмотрите данные Google об адресе
В выбранном ресурсе Search Console введите полный URL в верхнюю строку проверки. Откройте сведения об индексировании и запишите состояние, обнаруженные ограничения и дату последнего обхода. Это сохранённые данные Google, а не обязательно текущий ответ сайта.
- Проверьте текущую версию
В проверке URL запустите тест опубликованной страницы. Изучите результат и полученный HTML; найдите в нём meta robots или googlebot с noindex. Попросите разработчика также проверить X-Robots-Tag в HTTP-ответе: правило может находиться в заголовке, в том числе у файлов, отличных от HTML.
- Отдельно проверьте доступ робота
Если тест сообщает о блокировке обхода, выясните с технической командой, какое правило robots.txt действует для этого URL и Googlebot. Невозможность прочитать страницу не подтверждает отсутствие noindex. Сохраните наблюдение и действующее правило, прежде чем менять конфигурацию.
- Согласуйте исправление по цели страницы
Если страница должна присутствовать в поиске, передайте точный адрес, найденную директиву и место её появления владельцу CMS или разработчику. Попросите устранить непреднамеренный noindex и проверить шаблон и заголовки. Если страница намеренно исключена, сохраните ограничение и зафиксируйте причину.
- Проверьте выпуск и повторный обход
После изменения снова запустите тест опубликованного URL и убедитесь, что нежелательная директива исчезла и страница доступна для обхода. При необходимости запросите индексирование в том же инструменте. Позднее сравните сохранённые данные индекса после нового обхода с предыдущей записью.
Справка Search Console различает данные индекса и тест текущей страницы: успешный тест и запрос переобхода не гарантируют индексирование. Если noindex не найден, передайте специалисту результаты проверки доступности и другие сведения из отчёта, а не объявляйте директиву причиной отсутствия страницы.
Для страницы, которую требуется исключить, согласуйте обратное действие: доступный для обхода noindex и повторную проверку результата. Если убрать страницу из выдачи нужно быстро, используйте отдельный инструмент удаления Google по его правилам; обычный переобход может занять время.