Техническое SEO · индексация

Почему Googlebot сканирует сайт, но страницы не попадают в индекс

Разбираем статус Crawled - currently not indexed по шагам: что он на самом деле означает, где искать причину и что делать, если Google стабильно пропускает целые группы страниц.

Обновлено: ноябрь 2026 ≈ 15 минут чтения 8 шагов диагностики Чек-листы и шаблоны
Отчёты об индексации страниц и аналитика ключевых показателей на экране ноутбука

Диагностика начинается не с повторной отправки URL, а с отчёта Page Indexing и сравнения групп страниц.

Коротко о главном

  • 1Сканирование и индексирование — разные процессы. Если статус уже Crawled, искать причину нужно в содержимом, дублях, canonical и перелинковке, а не в robots.txt.
  • 2Кнопка «Запросить индексацию» не лечит статус: она лишь сообщает Google, что страницу стоит перепроверить.
  • 3Работать нужно с группами URL: у 210 «проблемных» карточек обычно одна общая причина, и лечить её по одной — самый долгий путь.

Ситуация, когда Googlebot посещает страницу сайта, но она так и не появляется в поисковой выдаче, знакома многим владельцам сайтов и SEO-специалистам. В Google Search Console URL получает статус Crawled - currently not indexed. При этом страница открывается, сервер возвращает HTTP 200, робот успешно её загружает, а явных технических ошибок не обнаруживается.

На первый взгляд кажется, что проблема должна решаться стандартными действиями: повторной отправкой URL на индексацию, добавлением ссылки в sitemap или увеличением количества внутренних ссылок. Но зачастую эти меры не дают результата.

Причина в том, что сканирование и индексирование — разные процессы. Googlebot может успешно загрузить страницу, но после анализа содержимого, структуры и других сигналов поисковая система принимает решение не включать её в индекс.

В этой статье разберём, почему возникает статус Crawled - currently not indexed, как определить настоящую причину проблемы, какие технические проверки провести и что делать, если Google систематически пропускает целые группы страниц.

Что означает Crawled - currently not indexed

Crawled - currently not indexed — статус в отчёте об индексировании страниц Google Search Console. Он означает, что Google просканировал URL, но пока не добавил его в поисковый индекс.

Здесь важно правильно интерпретировать происходящее. Googlebot уже получил доступ к странице и загрузил её содержимое. Следовательно, проблема не обязательно связана с обнаружением URL или физической возможностью его открыть.

После сканирования Google должен обработать содержимое страницы, определить её основную тематику, сопоставить с похожими документами и оценить, имеет ли смысл включать её в индекс.

Google прямо указывает в документации Search Console, что страницы со статусом Crawled - currently not indexed могут быть добавлены в индекс позднее. Повторно отправлять такие URL на сканирование без устранения причины обычно не требуется.

Главное различие

Статус «просканировано» снимает вопрос доступности страницы и переносит разговор в плоскость качества и сигналов: что Google увидел, чем это отличается от уже индексируемых документов и какие технические сигналы противоречат друг другу.

Чем Crawled - currently not indexed отличается от Discovered - currently not indexed

Эти два статуса часто путают, хотя они описывают разные этапы обработки URL.

Статус Что произошло Где искать проблему
Discovered - currently not indexed Google обнаружил URL, но ещё не просканировал страницу. Обнаружение URL, приоритет обхода, внутренняя структура, доступность сайта и особенности сканирования.
Crawled - currently not indexed Google просканировал страницу, но не добавил её в индекс. Содержимое страницы, дублирование, canonical, качество рендеринга и технические сигналы.
Duplicate, Google chose different canonical than user Google обнаружил похожие страницы и выбрал другую каноническую версию. Дубли, canonical, внутренняя перелинковка, структура URL.
Excluded by noindex На странице обнаружена директива, запрещающая индексирование. Meta robots, X-Robots-Tag и настройки CMS.
Soft 404 Страница выглядит для Google как несуществующая или практически пустая, хотя сервер может возвращать 200. Содержимое, шаблон, доступность данных и корректность HTTP-ответа.

Например, если Google обнаружил 300 URL интернет-магазина, но пока не посетил их, это одна ситуация. Если он загрузил все 300 страниц, обработал их и не добавил в индекс, диагностировать проблему нужно по-другому.

Во втором случае бессмысленно начинать с бесконечной отправки URL на повторное сканирование. Сначала необходимо выяснить, что именно Google получает после загрузки страницы и чем она отличается от уже индексируемых документов.

Визуализация данных об индексации страниц: схема распределения проиндексированных и непроиндексированных URL
Статусы индексации редко бывают разрозненными: если страницы одного типа систематически не попадают в индекс, причина почти всегда в общем шаблоне, данных или архитектуре раздела.

Почему Google сканирует страницы, но не индексирует их

У этого статуса нет одной универсальной причины. Google не предоставляет владельцу сайта подробное объяснение алгоритмического решения для каждого отдельного URL. Поэтому задача SEO-специалиста — сопоставить данные Search Console, технические характеристики страницы, содержимое и общие закономерности на сайте.

1. Страница не содержит достаточно самостоятельной информации

Одна из наиболее распространённых причин — недостаточная ценность страницы по сравнению с другими документами, которые уже доступны поисковой системе.

Это не обязательно означает, что текст короткий. Страница на 5000 символов может быть полезной, а материал на 20 000 символов — практически бесполезным, если он состоит из общих формулировок и не раскрывает конкретный вопрос.

Особенно часто такая проблема возникает на сайтах, где массово создаются:

  • SEO-статьи по очень близким поисковым запросам;
  • региональные страницы с одинаковым содержанием;
  • карточки товаров с минимальным описанием;
  • категории, отличающиеся только названием;
  • автоматически сгенерированные страницы фильтров;
  • справочные материалы, пересказывающие уже существующие источники.

Например, на сайте опубликованы три материала:

  • «Как выбрать пластиковые окна»;
  • «Как правильно выбрать пластиковое окно для квартиры»;
  • «На что обратить внимание при покупке пластиковых окон».

Если все три страницы отвечают на один и тот же вопрос, используют одинаковые аргументы и практически не отличаются по содержанию, Google может посчитать их недостаточно самостоятельными.

Что делать

Определить, какую отдельную задачу решает каждая страница. Если самостоятельного интента нет, лучше объединить материалы. Если страницы нужны, необходимо добавить действительно отличающиеся данные, примеры, условия выбора и практические рекомендации.

2. Дублирование и близкие по содержанию страницы

Не все дубли являются полностью идентичными копиями. Google может объединять в одну группу страницы, которые отличаются формулировками, заголовками или отдельными блоками, но фактически выполняют одну и ту же задачу.

Типичные источники подобных проблем:

  • страницы с параметрами сортировки и фильтрации;
  • дубли URL со слешем и без него;
  • HTTP- и HTTPS-версии;
  • страницы с www и без www;
  • разные URL с одинаковыми карточками товаров;
  • региональные посадочные с минимальными отличиями;
  • страницы пагинации, которые повторяют основные элементы категории.

Пример:

URL категории и её варианты
https://example.com/catalog/windows/
https://example.com/catalog/windows/?sort=price
https://example.com/catalog/windows/?sort=popular
https://example.com/catalog/windows/?color=white

Если все URL фактически представляют одну и ту же категорию, поисковая система может выбрать одну основную страницу, а остальные считать альтернативными версиями.

Что делать

Проверить канонические URL, редиректы, внутренние ссылки и sitemap. Для параметрических страниц необходимо определить, какие из них действительно должны индексироваться, а какие являются техническими вариантами основной страницы.

3. Google выбирает другую canonical-страницу

Наличие тега canonical не гарантирует, что Google обязательно выберет указанный владельцем сайта адрес.

Canonical — это сигнал, который помогает поисковой системе определить предпочтительную версию документа. При выборе канонической страницы Google также учитывает другие сигналы, включая редиректы, структуру внутренних ссылок, содержимое страниц и присутствие URL в sitemap.

Рассмотрим пример:

HTML · canonical
<link rel="canonical"
href="https://example.com/services/seo-audit/">

На странице указан правильный canonical, но Google выбирает другой URL:

Выбранный Google canonical
https://example.com/seo-audit/

Это может происходить, если альтернативная страница выглядит для поисковой системы более подходящей основной версией или технические сигналы сайта противоречат друг другу.

Например:

  • в sitemap указан один URL, а внутренние ссылки ведут на другой;
  • часть страниц ссылается на альтернативную версию;
  • редиректы настроены непоследовательно;
  • содержимое двух URL практически одинаковое;
  • canonical указывает на страницу с другим содержимым.

Что делать

Открыть URL Inspection и проверить поле Google-selected canonical. Затем сопоставить выбранный Google URL с пользовательским canonical и проверить остальные технические сигналы.

4. Основной контент не отображается при рендеринге

Отдельная проблема — сайты, которые загружают значительную часть информации через JavaScript.

В браузере пользователя всё может выглядеть нормально: текст, таблицы, карточки и описания отображаются после загрузки страницы. Однако Google должен получить и обработать необходимые ресурсы, выполнить JavaScript и сформировать отрисованную версию документа.

Если при этом возникают ошибки, поисковая система может получить неполное содержимое.

Например:

  • описание товара появляется только после выполнения скрипта;
  • основной текст загружается через API, который периодически возвращает ошибку;
  • контент зависит от пользовательского действия;
  • важные ресурсы заблокированы или недоступны;
  • JavaScript завершается ошибкой и не формирует основную часть страницы.

Что делать

Открыть URL Inspection, запустить проверку опубликованной версии и изучить отрисованный результат. Проверить скриншот, HTML и список загруженных ресурсов.

Важно: сам факт использования JavaScript не является проблемой. Google умеет обрабатывать JavaScript-страницы. Необходимо проверить, получает ли поисковик основной контент в результате рендеринга.

5. Страница недостаточно связана с остальной структурой сайта

URL может присутствовать в sitemap и успешно открываться, но при этом практически не иметь внутренних ссылок.

Такие страницы называют Orphan Pages — страницами-сиротами.

Например, SEO-специалист опубликовал 40 статей, добавил их в sitemap, но не включил в категории, тематические подборки и ссылки из других материалов.

В результате поисковый робот может обнаружить такие URL через карту сайта, однако их место в общей структуре ресурса остаётся неочевидным.

Внутренние ссылки помогают Google обнаруживать страницы, понимать связи между материалами и определять структуру сайта.

Что делать

  1. Просканировать сайт с помощью Screaming Frog SEO Spider или другого краулера.
  2. Получить список URL из sitemap.
  3. Сопоставить его со списком обнаруженных при сканировании страниц.
  4. Найти URL, которые отсутствуют во внутренней ссылочной структуре.
  5. Добавить ссылки из тематически подходящих страниц.

6. Страница возвращает HTTP 200, но фактически содержит ошибку

Код ответа 200 означает, что сервер успешно обработал запрос. Но это не гарантирует, что пользователь или поисковый робот получил полноценный документ.

Например, сервер возвращает:

HTTP-ответ
HTTP/1.1 200 OK

А в теле страницы находится:

Тело ответа
Товар временно недоступен.
Информация не найдена.

Если подобных URL много, поисковая система может интерпретировать их как страницы, не представляющие самостоятельной ценности, или как soft 404.

Такие ситуации встречаются в интернет-магазинах, каталогах, сервисах объявлений и на сайтах с автоматической генерацией страниц.

Что делать

Проверить не только HTTP-статус, но и фактическое содержимое документа. Если страница действительно не существует, необходимо использовать корректный код 404 или 410. Если документ существует, нужно восстановить его содержимое и устранить причины неполной загрузки.

7. На сайте слишком много слабых и однотипных страниц

Иногда проблема не ограничивается одним URL. Google может регулярно сканировать страницы определённого раздела, но значительная часть документов так и не попадает в индекс.

Это особенно характерно для сайтов, которые масштабируют контент без достаточного контроля качества.

Например, на сайте услуг создаются посадочные страницы под десятки городов:

Шаблон региональных URL
/services/seo-moscow/
/services/seo-kazan/
/services/seo-samara/
/services/seo-ufa/

На каждой странице меняется только название города, а описание услуг, преимущества, заголовки и структура остаются одинаковыми.

Вместо полноценной региональной структуры получается набор очень похожих документов.

Что делать

Провести аудит всей группы страниц. Определить, какие URL имеют самостоятельную ценность, какие можно объединить, а какие следует удалить или перенаправить.

Экран разработчика с кодом страницы: проверка canonical, robots-директив и разметки
Половина технических причин неиндексации видна прямо в исходном HTML: canonical, meta robots, ссылки в подвале и следы шаблонной генерации.

Пошаговая диагностика Crawled - currently not indexed

Самая частая ошибка при работе с таким статусом — пытаться исправить отдельную страницу, не анализируя общую картину. Гораздо эффективнее сначала определить масштаб проблемы, а затем проверять конкретные URL.

Шаг 1. Изучить отчёт об индексировании страниц в Google Search Console

Откройте Google Search Console и перейдите в раздел:

Путь в интерфейсе
Индексирование → Страницы

Найдите причину:

Статус в отчёте
Просканировано — пока не проиндексировано
(Crawled - currently not indexed)

На этом этапе необходимо определить:

  • сколько URL имеют такой статус;
  • когда начали появляться проблемы;
  • увеличивается или уменьшается количество таких страниц;
  • к каким разделам сайта относятся проблемные URL;
  • есть ли среди них важные коммерческие или информационные страницы.

Необходимо также проверить, не затрагивает ли проблема только один тип страниц. Например, если все проблемные URL относятся к карточкам товаров, это уже полезная диагностическая информация.

Условный пример:

Тип страниц Всего URL Не в индексе Доля
Главная и служебные1218,3%
Категории851214,1%
Карточки товаров64021032,8%
Статьи74810,8%
Фильтры и параметры1 8001 42078,9%

Все значения в таблице условные и используются только для демонстрации метода анализа.

В таком примере основное внимание нужно уделить карточкам товаров и страницам фильтров. При этом большое количество неиндексируемых фильтров само по себе не означает проблему: если эти URL не должны присутствовать в поиске, исключение может быть нормальным.

Шаг 2. Проверить конкретный URL через URL Inspection

Возьмите несколько URL из проблемной группы и проверьте каждый через инструмент проверки URL.

Открыть Google Search Console

В первую очередь смотрите на следующие параметры:

  • Статус индексирования.
  • Последнее сканирование.
  • Какой Googlebot использовался.
  • Разрешено ли сканирование.
  • Разрешено ли индексирование.
  • Пользовательский canonical.
  • Выбранный Google canonical.

Особенно важно различать данные об уже проиндексированной версии и результат проверки опубликованной страницы.

Live Test показывает, доступна ли текущая версия URL для Google и какие проблемы обнаруживаются при проверке. Но он не может предсказать все решения индексирования. В частности, он не определяет заранее, будет ли URL признан каноническим, и не проверяет сам статус Crawled - currently not indexed.

Поэтому необходимо изучать обе части отчёта, а не делать вывод только по сообщению «URL доступен для Google».

Шаг 3. Проверить HTTP-ответ и техническую доступность

Даже если в Search Console отображается факт успешного сканирования, стоит проверить текущий ответ сервера.

Для первичной проверки можно использовать команду:

Терминал
curl -I https://example.com/page/

Ожидаемый результат для обычной индексируемой страницы:

Терминал · ответ
HTTP/2 200
content-type: text/html; charset=UTF-8

Дополнительно необходимо проверить:

  • отсутствие неожиданных редиректов;
  • отсутствие цепочек перенаправлений;
  • отсутствие нестабильных ответов 5xx;
  • корректность заголовка Content-Type;
  • отсутствие блокировок на уровне CDN, WAF и сервера.

Важно

Команда curl выше проверяет ответ сервера для обычного HTTP-запроса. Она сама по себе не подтверждает, что запрос выполнен настоящим Googlebot. Для проверки подлинности Googlebot необходимо использовать официальную процедуру проверки IP-адреса или обратного DNS.

Документация: Verifying Googlebot and other Google crawlers.

Шаг 4. Проверить robots.txt, noindex и HTTP-заголовки

Проверьте исходный HTML документа на наличие директив:

HTML · meta robots
<meta name="robots" content="noindex">

Также проверьте заголовки HTTP на наличие:

HTTP-заголовок
X-Robots-Tag: noindex

И отдельно проверьте файл robots.txt:

robots.txt
https://example.com/robots.txt

Здесь есть важный нюанс: robots.txt управляет сканированием, а не является надёжным способом удаления URL из индекса. Если страница закрыта для Googlebot в robots.txt, робот может не увидеть установленный на ней noindex.

Поэтому нельзя просто закрыть все проблемные URL в robots.txt в надежде, что они автоматически исчезнут из индекса или что Google начнёт чаще сканировать остальные страницы.

Шаг 5. Проверить canonical и альтернативные URL

Найдите в исходном HTML страницы тег canonical:

HTML · canonical
<link rel="canonical"
href="https://example.com/page/">

После этого сопоставьте его со следующими данными:

  • URL, который указан в sitemap;
  • адресами внутренних ссылок;
  • результатами редиректов;
  • Google-selected canonical в URL Inspection.

Для страницы, которая должна индексироваться самостоятельно, обычно используется self-referencing canonical — ссылка на собственный канонический URL.

Если Google выбирает другой адрес, не стоит сразу менять тег наугад. Сначала выясните, почему поисковая система объединяет документы в одну группу.

Шаг 6. Проверить отрисованное содержимое страницы

Откройте URL Inspection и запустите проверку опубликованной версии.

Затем перейдите к просмотру проверенной страницы и изучите:

  • скриншот страницы;
  • HTML после рендеринга;
  • список загруженных ресурсов;
  • ошибки загрузки JavaScript;
  • наличие основного текста;
  • доступность изображений и других важных элементов.

Представим, что пользователь видит полноценную страницу с описанием услуги, таблицей и ценами, а в отрисованном результате Google основная часть текста отсутствует.

Это уже конкретная техническая гипотеза: проблема может находиться в механизме формирования контента, а не в его тематической ценности.

В такой ситуации необходимо проверить загрузку данных, ошибки скриптов, доступность API и возможность получения основного содержимого без пользовательских действий.

Шаг 7. Проанализировать внутреннюю перелинковку

Следующий этап — выяснить, насколько важной выглядит проблемная страница в структуре сайта.

Для этого можно использовать Screaming Frog SEO Spider.

Рекомендую собрать следующие данные:

  • все внутренние URL;
  • количество входящих внутренних ссылок;
  • глубину страницы от главной;
  • наличие URL в sitemap;
  • статус ответа сервера;
  • canonical;
  • метатег robots.

Пример условного результата:

URL Входящие ссылки Глубина В sitemap
/services/seo-audit/182Да
/blog/google-indexing/73Да
/services/technical-audit/15Да
/blog/old-guide/0НетДа

Демонстрационные значения.

Здесь особенно интересны две последние страницы. Одна практически не связана с остальной структурой, а другая вообще не имеет обнаруженных внутренних ссылок.

Если такие URL должны индексироваться, необходимо добавить логичные ссылки из релевантных разделов, категорий и тематических материалов.

Шаг 8. Проверить серверные логи Googlebot

Если проблема затрагивает большое количество страниц, полезно изучить серверные логи.

В логах можно проверить:

  • когда Googlebot посещал URL;
  • какие HTTP-коды возвращались;
  • сколько раз робот запрашивал страницу;
  • какие разделы обходятся чаще остальных;
  • есть ли повторяющиеся ошибки;
  • как меняется частота сканирования после технических изменений.

Пример строки серверного лога:

access.log
66.249.66.1 - - [16/Nov/2026:10:15:23 +0300]
"GET /services/seo-audit/ HTTP/2.0"
200 18452 "-" "Googlebot"

Это условный пример формата записи, а не реальный IP или результат аудита.

Важно

Необходимо помнить, что User-Agent сам по себе не подтверждает подлинность Googlebot. Для достоверного анализа нужно проверять IP-адреса запросов.

Если Googlebot успешно получает HTML, но страницы не индексируются, логи помогут исключить проблемы доступности и перейти к анализу содержимого и структуры.

Терминал с серверными логами: анализ частоты запросов Googlebot к страницам сайта
Логи — единственный источник, который показывает реальную частоту обхода: в Search Console видны лишь агрегированные данные.

Практический пример: как найти системную причину неиндексации

Рассмотрим условный пример интернет-магазина, в котором после расширения каталога увеличилось количество страниц со статусом Crawled - currently not indexed.

Владелец сайта заметил, что новые карточки товаров регулярно посещаются Googlebot, но большая часть из них не появляется в поиске.

Исходные данные

ПоказательЗначение
Количество URL в sitemap2 450
Количество URL в индексе1 180
Не проиндексировано1 270
Страницы товаров1 400
Категории и подкатегории180
Информационные страницы70
URL с параметрами и фильтрами800

Все числа вымышлены для демонстрации диагностического подхода.

Первичная проверка показала, что проблема неоднородная. Часть URL относится к фильтрам и не должна индексироваться. Другая часть — полноценные карточки товаров, которые важны для органического трафика.

Что обнаружили при проверке

1. Дублирование карточек товаров.

У 165 товаров обнаружились очень похожие описания. В большинстве карточек отличались только название модели, артикул и несколько технических параметров.

2. Слабая внутренняя перелинковка.

У 74 карточек товаров было менее двух входящих внутренних ссылок. Часть товаров находилась глубоко в каталоге и не попадала в тематические подборки.

3. Проблемы с параметрическими URL.

При использовании фильтров создавались многочисленные комбинации адресов. Часть из них попадала в sitemap, хотя не представляла самостоятельной ценности для поиска.

4. Ошибки в описании товаров.

У 42 карточек отсутствовали важные характеристики, а в некоторых случаях основной текст заменялся коротким сообщением о временном отсутствии товара.

Какие работы были выполнены

  1. Провели сегментацию всех URL по типам страниц.
  2. Определили список товаров, которые действительно должны присутствовать в поиске.
  3. Устранили дублирование контента в приоритетных карточках.
  4. Добавили недостающие характеристики и полезную информацию о товарах.
  5. Переработали внутренние ссылки из категорий и тематических блоков.
  6. Привели canonical к единой логике.
  7. Исключили ненужные параметрические URL из sitemap.
  8. Проверили корректность ответов сервера и доступность основного содержимого.

Результат повторной проверки

После внесения изменений сайт повторно проверяли в течение нескольких недель.

ПоказательДо работПосле работ
Важные карточки со статусом Crawled - currently not indexed21068
Карточки с полноценным описанием1 0151 362
Карточки с входящими ссылками1 1801 395

Все значения условные. Это пример того, как можно оформлять результаты реального аудита, а не подтверждённый клиентский кейс.

Главный вывод из такого сценария: проблема заключалась не в том, что Googlebot не мог посещать сайт. Робот успешно сканировал страницы, но значительная часть URL имела слабую самостоятельную ценность, дублировалась или была плохо встроена в архитектуру каталога.

Именно поэтому исправление одной только технической настройки не могло решить проблему целиком.

Как исправить Crawled - currently not indexed: план действий

После диагностики необходимо выбрать способ решения в зависимости от обнаруженной причины. Не стоит применять одинаковые действия ко всем URL.

Если проблема в качестве содержимого

  • Дополнить страницу полезной и проверяемой информацией.
  • Добавить характеристики, которых нет в других материалах.
  • Раскрыть конкретный пользовательский вопрос.
  • Удалить повторяющиеся и бессодержательные блоки.
  • Добавить собственные фотографии, таблицы, результаты проверок или практические примеры, если они действительно есть.
  • Сопоставить страницу с поисковым интентом.

Не стоит просто увеличивать объём текста. Дополнительные абзацы без новой информации не решают проблему самостоятельной ценности документа.

Если обнаружены дубли

  • Определить основную страницу для каждой группы похожих URL.
  • Настроить корректные canonical.
  • Настроить 301-редиректы, если альтернативные URL больше не нужны.
  • Убрать неканонические адреса из sitemap.
  • Исправить внутренние ссылки, ведущие на дубли.
  • Объединить страницы, которые отвечают на один и тот же вопрос.

Если две страницы действительно решают разные задачи, не нужно объединять их только из-за похожих заголовков. Важна самостоятельность основного содержимого.

Если проблема связана с рендерингом JavaScript

  • Проверить ошибки выполнения скриптов.
  • Убедиться, что API возвращает необходимые данные.
  • Проверить загрузку основных ресурсов.
  • Сделать ключевой контент доступным при рендеринге Googlebot.
  • Проверить внутренние ссылки и навигацию после выполнения JavaScript.
  • При необходимости рассмотреть серверный рендеринг или предварительную генерацию HTML.

Важно не переходить на другую архитектуру сайта только из-за одного статуса в Search Console. Сначала нужно подтвердить, что именно рендеринг мешает корректной обработке страницы.

Если проблема в архитектуре сайта

  • Добавить важные URL в тематические категории.
  • Создать ссылки из релевантных статей и разделов.
  • Уменьшить глубину важных страниц.
  • Устранить Orphan Pages.
  • Проверить навигацию и хлебные крошки.
  • Убедиться, что приоритетные URL доступны через обычные HTML-ссылки.

Если обнаружено много ненужных URL

Необходимо провести инвентаризацию страниц и определить, какие из них вообще должны присутствовать в поиске.

Тип URLРекомендуемое действие
Полезная самостоятельная страницаУлучшить содержимое и сохранить индексируемость.
Полный дубль другой страницыCanonical или 301 в зависимости от ситуации.
Бесполезная страница фильтраОпределить необходимость индексирования, настроить обработку URL.
Удалённая страница без замены404 или 410.
Страница с актуальной заменой301 на действительно соответствующий URL.
Служебная страница, которую не нужно индексироватьКорректная директива noindex, если страница должна оставаться доступной роботу.

Не следует удалять все неиндексируемые страницы автоматически. Сначала нужно понять, имеют ли они ценность для пользователей и поискового продвижения.

Нужно ли повторно отправлять URL на индексацию

После устранения подтверждённых проблем можно использовать функцию Request Indexing в Google Search Console для важных страниц.

Однако это не инструмент принудительного включения URL в индекс. Запрос лишь сообщает Google о необходимости повторно проверить страницу.

Google не гарантирует, что URL будет проиндексирован после такой отправки. Если содержимое осталось слабым, страницы продолжают дублироваться или технические сигналы противоречат друг другу, повторный запрос может не изменить ситуацию.

Рекомендую действовать следующим образом:

  1. Выбрать важные страницы, которые действительно должны индексироваться.
  2. Устранить обнаруженные проблемы.
  3. Проверить опубликованную версию через URL Inspection.
  4. Убедиться, что страница доступна и не закрыта от индексирования.
  5. Отправить запрос на повторную индексацию при необходимости.
  6. Отслеживать статус URL в отчёте об индексировании.

Не нужно отправлять сотни неизменённых URL каждый день. Это не заменяет исправление причины неиндексации.

Влияет ли Crawl Budget на Crawled - currently not indexed

В SEO часто объясняют проблемы индексирования нехваткой краулингового бюджета. Но здесь важно не смешивать два разных этапа.

Если URL уже получил статус Crawled - currently not indexed, это означает, что Google его просканировал. Поэтому автоматически списывать проблему на недостаток crawl budget неправильно.

Crawl Budget — это совокупность ограничений на сканирование и спроса Google на обход конкретного сайта. Он зависит от технической способности сервера обслуживать запросы и от того, насколько поисковая система заинтересована в повторном сканировании URL.

Google отдельно отмечает, что углублённая оптимизация crawl budget в первую очередь актуальна для крупных и часто обновляемых сайтов. В документации приводятся ориентиры:

  • крупные сайты с более чем 1 млн уникальных страниц и умеренной частотой обновлений;
  • средние и крупные сайты с более чем 10 000 уникальных страниц, которые обновляются ежедневно;
  • сайты с большой долей URL в статусе Discovered - currently not indexed.

Для обычного небольшого сайта с несколькими сотнями страниц начинать диагностику с оптимизации crawl budget чаще всего нецелесообразно.

В такой ситуации сначала нужно проверить содержимое, дублирование, каноникализацию и структуру внутренних ссылок.

Как контролировать индексацию после исправлений

После внедрения изменений важно не ограничиваться единичной проверкой URL. Необходимо оценить динамику по всему проблемному разделу.

Для этого рекомендую использовать несколько инструментов.

Google Search Console

Основной инструмент для контроля статусов индексирования и проверки конкретных URL.

Google Search Console

URL Inspection

Позволяет изучить проиндексированную версию документа, проверить опубликованную страницу, увидеть выбранный canonical и посмотреть, как Google обрабатывает её содержимое.

Документация URL Inspection

Google Crawl Stats

Отчёт помогает анализировать активность Googlebot, доступность хоста, распределение запросов и технические проблемы при сканировании.

Crawl Stats Report

Screaming Frog SEO Spider

Подходит для технического сканирования сайта, поиска дублей, анализа canonical, внутренних ссылок, кодов ответа и глубины страниц.

Screaming Frog SEO Spider

Серверные логи

Помогают увидеть фактические запросы поисковых роботов, частоту обхода URL и повторяющиеся технические ошибки. Особенно полезны при работе с большими сайтами и интернет-магазинами.

Чек-лист: что проверить, если Google сканирует страницу, но не индексирует её

Перед завершением диагностики пройдите по следующему списку:

  • Проверен отчёт Page Indexing в Google Search Console.
  • Определены все проблемные группы URL.
  • Проверена история сканирования важных страниц.
  • Проверен HTTP-ответ сервера.
  • Исключены случайные директивы noindex.
  • Проверены правила robots.txt.
  • Проверены canonical и Google-selected canonical.
  • Сопоставлены URL из sitemap и внутренние ссылки.
  • Проверено содержимое после рендеринга.
  • Исключены ошибки загрузки JavaScript и API.
  • Найдены и устранены ненужные дубли.
  • Проверены Orphan Pages и глубина важных URL.
  • Оценена самостоятельная ценность контента.
  • Для удалённых страниц настроены корректные ответы сервера.
  • После исправлений проведена повторная проверка.

Часто задаваемые вопросы

Что означает Crawled - currently not indexed в Google Search Console?

Это означает, что Googlebot просканировал страницу, но Google пока не включил её в индекс. Статус не обязательно свидетельствует о технической ошибке: причина может быть связана с содержимым, дублированием, canonical или другими факторами обработки документа.

Почему Google сканирует страницу, но не индексирует её?

Возможные причины — недостаточная самостоятельная ценность контента, сходство с другими страницами, проблемы с canonical, неполный рендеринг или слабая внутренняя перелинковка. Для определения причины необходимо изучить конкретный URL и группу похожих страниц.

Как исправить Crawled - currently not indexed?

Сначала проверьте URL Inspection, HTTP-ответ, canonical, robots directives и отрисованный HTML. Затем оцените содержание страницы и её связи с остальными разделами сайта. После устранения найденных проблем можно запросить повторную индексацию важных URL.

Нужно ли повторно отправлять страницу на индексацию?

Не обязательно. Google указывает, что для статуса Crawled - currently not indexed повторная отправка URL не требуется. Сначала необходимо устранить причину, если она действительно есть.

Может ли Google не индексировать качественную страницу?

Да. Соответствие техническим требованиям не гарантирует включение документа в индекс. Google самостоятельно оценивает страницы и может не индексировать даже доступный и корректно работающий URL.

Поможет ли увеличение количества внутренних ссылок?

Внутренние ссылки помогают поисковому роботу обнаруживать страницы и понимать структуру сайта. Но если основная проблема связана с дублями или недостаточной ценностью содержимого, одна только перелинковка не гарантирует индексирование.

Влияет ли скорость загрузки на индексацию?

Проблемы производительности могут затруднять сканирование и рендеринг. Однако медленная загрузка сама по себе не является универсальным объяснением статуса Crawled - currently not indexed. Необходимо проверять фактические ошибки и доступность содержимого для Googlebot.

Нормально ли, если часть страниц сайта не индексируется?

Да. Не все URL должны попадать в поисковый индекс. Например, дубли, технические страницы, параметры фильтров и альтернативные версии документов могут быть обоснованно исключены. Важно, чтобы в индексе находились основные страницы, которые действительно нужны пользователям.

Заключение

Статус Crawled - currently not indexed не стоит воспринимать как обычную техническую ошибку, которую можно исправить одной настройкой или повторной отправкой URL в Google Search Console.

Если Googlebot уже посетил страницу, необходимо понять, что происходит после загрузки документа: какой контент получает поисковая система, насколько он отличается от других страниц, какой canonical выбран, правильно ли работает рендеринг и насколько URL встроен в структуру сайта.

Особенно важно анализировать не только отдельные адреса, но и группы страниц. Если проблема затрагивает целый раздел, вероятнее всего, необходимо искать общую причину в шаблоне, архитектуре, контентной модели или технической реализации.

Главная задача SEO-специалиста — не заставить Google повторно просканировать URL, а определить, почему поисковая система не считает необходимым включать его в индекс.

Именно системная диагностика позволяет отделить реальные технические ошибки от проблем качества и избежать бессмысленных действий, которые не меняют результат.

Экспресс-диагностика: 10 минут, чтобы снять неопределённость

Полный аудит можно отложить на потом. Но есть короткий маршрут из четырёх вопросов, который за 10 минут сужает область поиска до одной-двух причин. Двигайтесь сверху вниз и останавливайтесь на первом «нет» — дальше идти бессмысленно, пока не устранена найденная причина.

  1. 01

    Googlebot реально получает страницу?

    Проверьте ответ сервера и записи в логах, а не только User-Agent.

    →Да: идём к шагу 2

    →Нет: это проблема доступности, а не индексации

  2. 02

    Страница отдаёт полное содержимое?

    Сравните HTML из curl с отрисованной версией в URL Inspection.

    →Да: идём к шагу 3

    →Нет: чините рендеринг, API и заблокированные ресурсы

  3. 03

    У страницы есть свой интент и свои данные?

    Сравните её с 3–5 соседними URL раздела: что есть здесь и нет там?

    →Да: идём к шагу 4

    →Нет: это дубли или тонкий контент — переписать, объединить, закрыть

  4. 04

    Сигналы каноникализации совпадают?

    canonical, sitemap, внутренние ссылки и Google-selected canonical — одна версия?

    →Да: решение алгоритмическое — работайте с группой URL и ждите переобхода

    →Нет: приведите сигналы к единой версии

Матрица «симптом → причина → где подтвердить»

Симптом Вероятная причина Где подтвердить
Googlebot приходит, но страница «пустая» Рендеринг: JS-ошибка, недоступный API, заблокированные ресурсы URL Inspection → вкладка «HTML» и список ресурсов
В индексе 1 страница из 10 похожих Дубли и совпадающий интент Сравнение текстов, canonical, Google-selected canonical
Google выбрал другой адрес страницы Противоречивые сигналы каноникализации URL Inspection → Google-selected canonical + sitemap + ссылки
URL есть в sitemap, но ссылок на него нет Orphan page, глубина в структуре Кравлер (Screaming Frog) → входящие ссылки и глубина
Ответ 200, а в тексте «товар недоступен» Soft 404 или пустой шаблон Выборка HTML из curl и сравнение с живым DOM
В логах нет Googlebot, а статус «Crawled» есть Фильтрация по User-Agent вместо проверки IP Логи + обратный DNS для адресов Google
Проблема ровно у части карточек раздела Шаблон и данные: незаполненные поля, обрезка описаний Выгрузка URL + разрез по полям каталога
Проблема только у новых URL, старые в индексе Релиз-регресс: изменился шаблон или данные Сравнение даты последнего обхода и даты релиза

Матрица — рабочая заготовка: подставьте свои наблюдения и отметьте, какие строки подтвердились на вашем проекте.

Шпаргалка: что смотреть в серверных логах

  • Кто заходил. Сверяйте IP с официальным списком Google, а не только строку User-Agent: Googlebot в UA пишут и сторонние краулеры.
  • Сколько раз и с каким кодом. Нулевая частота по важным URL — сигнал, что робот считает их неприоритетными; частые 200 без индексации — сигнал о качестве.
  • Что он скачивает. Сравните список URL из лога со списком из sitemap: файлы robots.txt и sitemap.xml, которые не читают, — отдельная находка.
  • Как меняется картина. После правок смотрите не «стало ли лучше сразу», а сдвинулась ли частота обхода и снизилась ли доля ответов 5xx и 429.

Кого чинить первым: приоритизация по весам

Когда неиндексируемых URL сотни, главный риск — потратить месяц на правки, которые не влияют на трафик. Простой способ избежать этого: оценить каждую группу URL по четырём критериям и работать сверху вниз.

Критерий Вес Как оценить по шкале 0–5
Потенциал трафика и коммерческая ценность 40% Есть ли реальный спрос на эти URL в логах, отчётах и данных аналитики; какую долю выручки они приносят
Самостоятельность интента 30% Отвечает ли страница на отдельный запрос и содержит ли данные, которых нет на соседних страницах
Техническая исправность 20% Сколько правок нужно до готовности: один canonical, перелинковка или переписывание карточки
Связность в структуре сайта 10% Сколько входящих внутренних ссылок, на какой глубине находится URL, попадает ли он в подборки

A

Чинить первыми

Итоговый балл от 3,5. Страницы с трафиком и понятной причиной. Правки дают эффект в первую очередь — здесь возвращается аудитория, а не только строчки в отчёте.

B

Чинить вторым эшелоном

От 2,5 до 3,49. Ценность есть, но объём правок или слабая отстройка от конкурентов делают сроки длиннее. Обычно это доработка контента и перелинковки.

C

Объединить или закрыть

Ниже 2,5. Нет самостоятельной ценности: страницы дублируют друг друга, не нужны пользователям или создаются фильтрами. По умолчанию их объединяют, закрывают или уводят в 301.

План на неделю: от отчёта до первых правок

  1. День 1

    Снять отчёт и сегментировать URL

    Выгрузите Page Indexing, разложите все URL по типам страниц и посчитайте долю неиндексируемых в каждой группе.

  2. День 2

    Проверить репрезентативные выборки

    По 5–7 URL из каждой группы прогнать через URL Inspection: canonical, robots, отрисованный HTML, дата обхода.

  3. День 3

    Поднять логи и проверить доступность

    Сверить реальные запросы Googlebot с IP, кодами ответа и частотой обхода важных разделов за 30 дней.

  4. День 4

    Сопоставить sitemap, кравлер и индекс

    Найти orphan-страницы, лишние параметрические URL и расхождения между картой сайта и фактической структурой.

  5. День 5

    Принять решения по группам

    Расставить оценки A/B/C и утвердить список: править, объединять, закрывать или оставлять без изменений.

  6. День 6

    Внести правки пачкой

    Canonical, 301, noindex, доработка текстов, внутренние ссылки, чистка sitemap — изменениями одного типа, а не по одной странице.

  7. День 7

    Зафиксировать метрики

    Сохранить стартовые значения и задать дату контрольной проверки: переобход занимает дни и недели, а не часы.

Что измерять до и после

  • Доля индексируемых URL в приоритетных группах, а не общий процент по сайту.
  • Число запросов Googlebot к важным URL в отчёте Crawl Stats.
  • Средняя глубина важных страниц и количество входящих ссылок.
  • Количество дублей и неконсистентных canonical по выгрузке кравлера.
  • Доля ответов 5xx и 429 в логах до и после технических работ.
  • Дата последнего обхода каждого изменённого URL — фактический признак пересмотра.

Нужен технический SEO-аудит сайта?

Если Google регулярно сканирует страницы вашего сайта, но не добавляет их в индекс, стоит проверить не только отдельные URL, но и общую архитектуру ресурса, качество контента, внутреннюю перелинковку, canonical и серверные логи.

Я занимаюсь технической SEO-оптимизацией, анализом индексации, аудитами сайтов и продвижением в Google и Яндексе.

Обсудить технический SEO-аудит

Что прислать в сообщении, чтобы разобраться быстрее

  • Выгрузку отчёта Page Indexing по статусам индексации.
  • 5–10 URL со статусом Crawled - currently not indexed.
  • Доступ к серверным логам за последние 30 дней.
  • Структуру URL раздела, где больше всего проблем.

Дополнительные материалы и официальная документация

Ссылки, на которые стоит опираться при работе со статусом Crawled - currently not indexed: официальные справки Google и инструменты, которые дают фактические данные, а не мнения.

Все числовые значения, IP-адреса и результаты аудита в статье — условные примеры, приведённые для демонстрации метода диагностики. Материал подготовлен как практикум по техническому SEO и не является подтверждённым клиентским кейсом.

Made on
Tilda