Техническое SEO · индексация
Разбираем статус Crawled - currently not indexed по шагам: что он на самом деле означает, где искать причину и что делать, если Google стабильно пропускает целые группы страниц.
Диагностика начинается не с повторной отправки URL, а с отчёта Page Indexing и сравнения групп страниц.
Коротко о главном
Ситуация, когда Googlebot посещает страницу сайта, но она так и не появляется в поисковой выдаче, знакома многим владельцам сайтов и SEO-специалистам. В Google Search Console URL получает статус Crawled - currently not indexed. При этом страница открывается, сервер возвращает HTTP 200, робот успешно её загружает, а явных технических ошибок не обнаруживается.
На первый взгляд кажется, что проблема должна решаться стандартными действиями: повторной отправкой URL на индексацию, добавлением ссылки в sitemap или увеличением количества внутренних ссылок. Но зачастую эти меры не дают результата.
Причина в том, что сканирование и индексирование — разные процессы. Googlebot может успешно загрузить страницу, но после анализа содержимого, структуры и других сигналов поисковая система принимает решение не включать её в индекс.
В этой статье разберём, почему возникает статус Crawled - currently not indexed, как определить настоящую причину проблемы, какие технические проверки провести и что делать, если Google систематически пропускает целые группы страниц.
Crawled - currently not indexed — статус в отчёте об индексировании страниц Google Search Console. Он означает, что Google просканировал URL, но пока не добавил его в поисковый индекс.
Здесь важно правильно интерпретировать происходящее. Googlebot уже получил доступ к странице и загрузил её содержимое. Следовательно, проблема не обязательно связана с обнаружением URL или физической возможностью его открыть.
После сканирования Google должен обработать содержимое страницы, определить её основную тематику, сопоставить с похожими документами и оценить, имеет ли смысл включать её в индекс.
Google прямо указывает в документации Search Console, что страницы со статусом Crawled - currently not indexed могут быть добавлены в индекс позднее. Повторно отправлять такие URL на сканирование без устранения причины обычно не требуется.
Главное различие
Статус «просканировано» снимает вопрос доступности страницы и переносит разговор в плоскость качества и сигналов: что Google увидел, чем это отличается от уже индексируемых документов и какие технические сигналы противоречат друг другу.
Эти два статуса часто путают, хотя они описывают разные этапы обработки URL.
| Статус | Что произошло | Где искать проблему |
|---|---|---|
| Discovered - currently not indexed | Google обнаружил URL, но ещё не просканировал страницу. | Обнаружение URL, приоритет обхода, внутренняя структура, доступность сайта и особенности сканирования. |
| Crawled - currently not indexed | Google просканировал страницу, но не добавил её в индекс. | Содержимое страницы, дублирование, canonical, качество рендеринга и технические сигналы. |
| Duplicate, Google chose different canonical than user | Google обнаружил похожие страницы и выбрал другую каноническую версию. | Дубли, canonical, внутренняя перелинковка, структура URL. |
| Excluded by noindex | На странице обнаружена директива, запрещающая индексирование. | Meta robots, X-Robots-Tag и настройки CMS. |
| Soft 404 | Страница выглядит для Google как несуществующая или практически пустая, хотя сервер может возвращать 200. | Содержимое, шаблон, доступность данных и корректность HTTP-ответа. |
Например, если Google обнаружил 300 URL интернет-магазина, но пока не посетил их, это одна ситуация. Если он загрузил все 300 страниц, обработал их и не добавил в индекс, диагностировать проблему нужно по-другому.
Во втором случае бессмысленно начинать с бесконечной отправки URL на повторное сканирование. Сначала необходимо выяснить, что именно Google получает после загрузки страницы и чем она отличается от уже индексируемых документов.
У этого статуса нет одной универсальной причины. Google не предоставляет владельцу сайта подробное объяснение алгоритмического решения для каждого отдельного URL. Поэтому задача SEO-специалиста — сопоставить данные Search Console, технические характеристики страницы, содержимое и общие закономерности на сайте.
Одна из наиболее распространённых причин — недостаточная ценность страницы по сравнению с другими документами, которые уже доступны поисковой системе.
Это не обязательно означает, что текст короткий. Страница на 5000 символов может быть полезной, а материал на 20 000 символов — практически бесполезным, если он состоит из общих формулировок и не раскрывает конкретный вопрос.
Особенно часто такая проблема возникает на сайтах, где массово создаются:
Например, на сайте опубликованы три материала:
Если все три страницы отвечают на один и тот же вопрос, используют одинаковые аргументы и практически не отличаются по содержанию, Google может посчитать их недостаточно самостоятельными.
Что делать
Определить, какую отдельную задачу решает каждая страница. Если самостоятельного интента нет, лучше объединить материалы. Если страницы нужны, необходимо добавить действительно отличающиеся данные, примеры, условия выбора и практические рекомендации.
Не все дубли являются полностью идентичными копиями. Google может объединять в одну группу страницы, которые отличаются формулировками, заголовками или отдельными блоками, но фактически выполняют одну и ту же задачу.
Типичные источники подобных проблем:
Пример:
https://example.com/catalog/windows/
https://example.com/catalog/windows/?sort=price
https://example.com/catalog/windows/?sort=popular
https://example.com/catalog/windows/?color=white Если все URL фактически представляют одну и ту же категорию, поисковая система может выбрать одну основную страницу, а остальные считать альтернативными версиями.
Что делать
Проверить канонические URL, редиректы, внутренние ссылки и sitemap. Для параметрических страниц необходимо определить, какие из них действительно должны индексироваться, а какие являются техническими вариантами основной страницы.
Наличие тега canonical не гарантирует, что Google обязательно выберет указанный владельцем сайта адрес.
Canonical — это сигнал, который помогает поисковой системе определить предпочтительную версию документа. При выборе канонической страницы Google также учитывает другие сигналы, включая редиректы, структуру внутренних ссылок, содержимое страниц и присутствие URL в sitemap.
Рассмотрим пример:
<link rel="canonical"
href="https://example.com/services/seo-audit/"> На странице указан правильный canonical, но Google выбирает другой URL:
https://example.com/seo-audit/ Это может происходить, если альтернативная страница выглядит для поисковой системы более подходящей основной версией или технические сигналы сайта противоречат друг другу.
Например:
Что делать
Открыть URL Inspection и проверить поле Google-selected canonical. Затем сопоставить выбранный Google URL с пользовательским canonical и проверить остальные технические сигналы.
Отдельная проблема — сайты, которые загружают значительную часть информации через JavaScript.
В браузере пользователя всё может выглядеть нормально: текст, таблицы, карточки и описания отображаются после загрузки страницы. Однако Google должен получить и обработать необходимые ресурсы, выполнить JavaScript и сформировать отрисованную версию документа.
Если при этом возникают ошибки, поисковая система может получить неполное содержимое.
Например:
Что делать
Открыть URL Inspection, запустить проверку опубликованной версии и изучить отрисованный результат. Проверить скриншот, HTML и список загруженных ресурсов.
Важно: сам факт использования JavaScript не является проблемой. Google умеет обрабатывать JavaScript-страницы. Необходимо проверить, получает ли поисковик основной контент в результате рендеринга.
URL может присутствовать в sitemap и успешно открываться, но при этом практически не иметь внутренних ссылок.
Такие страницы называют Orphan Pages — страницами-сиротами.
Например, SEO-специалист опубликовал 40 статей, добавил их в sitemap, но не включил в категории, тематические подборки и ссылки из других материалов.
В результате поисковый робот может обнаружить такие URL через карту сайта, однако их место в общей структуре ресурса остаётся неочевидным.
Внутренние ссылки помогают Google обнаруживать страницы, понимать связи между материалами и определять структуру сайта.
Что делать
Код ответа 200 означает, что сервер успешно обработал запрос. Но это не гарантирует, что пользователь или поисковый робот получил полноценный документ.
Например, сервер возвращает:
HTTP/1.1 200 OK А в теле страницы находится:
Товар временно недоступен.
Информация не найдена. Если подобных URL много, поисковая система может интерпретировать их как страницы, не представляющие самостоятельной ценности, или как soft 404.
Такие ситуации встречаются в интернет-магазинах, каталогах, сервисах объявлений и на сайтах с автоматической генерацией страниц.
Что делать
Проверить не только HTTP-статус, но и фактическое содержимое документа. Если страница действительно не существует, необходимо использовать корректный код 404 или 410. Если документ существует, нужно восстановить его содержимое и устранить причины неполной загрузки.
Иногда проблема не ограничивается одним URL. Google может регулярно сканировать страницы определённого раздела, но значительная часть документов так и не попадает в индекс.
Это особенно характерно для сайтов, которые масштабируют контент без достаточного контроля качества.
Например, на сайте услуг создаются посадочные страницы под десятки городов:
/services/seo-moscow/
/services/seo-kazan/
/services/seo-samara/
/services/seo-ufa/ На каждой странице меняется только название города, а описание услуг, преимущества, заголовки и структура остаются одинаковыми.
Вместо полноценной региональной структуры получается набор очень похожих документов.
Что делать
Провести аудит всей группы страниц. Определить, какие URL имеют самостоятельную ценность, какие можно объединить, а какие следует удалить или перенаправить.
Самая частая ошибка при работе с таким статусом — пытаться исправить отдельную страницу, не анализируя общую картину. Гораздо эффективнее сначала определить масштаб проблемы, а затем проверять конкретные URL.
Откройте Google Search Console и перейдите в раздел:
Индексирование → Страницы Найдите причину:
Просканировано — пока не проиндексировано
(Crawled - currently not indexed) На этом этапе необходимо определить:
Необходимо также проверить, не затрагивает ли проблема только один тип страниц. Например, если все проблемные URL относятся к карточкам товаров, это уже полезная диагностическая информация.
Условный пример:
| Тип страниц | Всего URL | Не в индексе | Доля |
|---|---|---|---|
| Главная и служебные | 12 | 1 | 8,3% |
| Категории | 85 | 12 | 14,1% |
| Карточки товаров | 640 | 210 | 32,8% |
| Статьи | 74 | 8 | 10,8% |
| Фильтры и параметры | 1 800 | 1 420 | 78,9% |
Все значения в таблице условные и используются только для демонстрации метода анализа.
В таком примере основное внимание нужно уделить карточкам товаров и страницам фильтров. При этом большое количество неиндексируемых фильтров само по себе не означает проблему: если эти URL не должны присутствовать в поиске, исключение может быть нормальным.
Возьмите несколько URL из проблемной группы и проверьте каждый через инструмент проверки URL.
В первую очередь смотрите на следующие параметры:
Особенно важно различать данные об уже проиндексированной версии и результат проверки опубликованной страницы.
Live Test показывает, доступна ли текущая версия URL для Google и какие проблемы обнаруживаются при проверке. Но он не может предсказать все решения индексирования. В частности, он не определяет заранее, будет ли URL признан каноническим, и не проверяет сам статус Crawled - currently not indexed.
Поэтому необходимо изучать обе части отчёта, а не делать вывод только по сообщению «URL доступен для Google».
Даже если в Search Console отображается факт успешного сканирования, стоит проверить текущий ответ сервера.
Для первичной проверки можно использовать команду:
curl -I https://example.com/page/ Ожидаемый результат для обычной индексируемой страницы:
HTTP/2 200
content-type: text/html; charset=UTF-8 Дополнительно необходимо проверить:
Важно
Команда curl выше проверяет ответ сервера для обычного HTTP-запроса. Она сама по себе не подтверждает, что запрос выполнен настоящим Googlebot. Для проверки подлинности Googlebot необходимо использовать официальную процедуру проверки IP-адреса или обратного DNS.
Документация: Verifying Googlebot and other Google crawlers.
Проверьте исходный HTML документа на наличие директив:
<meta name="robots" content="noindex"> Также проверьте заголовки HTTP на наличие:
X-Robots-Tag: noindex И отдельно проверьте файл robots.txt:
https://example.com/robots.txt Здесь есть важный нюанс: robots.txt управляет сканированием, а не является надёжным способом удаления URL из индекса. Если страница закрыта для Googlebot в robots.txt, робот может не увидеть установленный на ней noindex.
Поэтому нельзя просто закрыть все проблемные URL в robots.txt в надежде, что они автоматически исчезнут из индекса или что Google начнёт чаще сканировать остальные страницы.
Найдите в исходном HTML страницы тег canonical:
<link rel="canonical"
href="https://example.com/page/"> После этого сопоставьте его со следующими данными:
Для страницы, которая должна индексироваться самостоятельно, обычно используется self-referencing canonical — ссылка на собственный канонический URL.
Если Google выбирает другой адрес, не стоит сразу менять тег наугад. Сначала выясните, почему поисковая система объединяет документы в одну группу.
Откройте URL Inspection и запустите проверку опубликованной версии.
Затем перейдите к просмотру проверенной страницы и изучите:
Представим, что пользователь видит полноценную страницу с описанием услуги, таблицей и ценами, а в отрисованном результате Google основная часть текста отсутствует.
Это уже конкретная техническая гипотеза: проблема может находиться в механизме формирования контента, а не в его тематической ценности.
В такой ситуации необходимо проверить загрузку данных, ошибки скриптов, доступность API и возможность получения основного содержимого без пользовательских действий.
Следующий этап — выяснить, насколько важной выглядит проблемная страница в структуре сайта.
Для этого можно использовать Screaming Frog SEO Spider.
Рекомендую собрать следующие данные:
Пример условного результата:
| URL | Входящие ссылки | Глубина | В sitemap |
|---|---|---|---|
| /services/seo-audit/ | 18 | 2 | Да |
| /blog/google-indexing/ | 7 | 3 | Да |
| /services/technical-audit/ | 1 | 5 | Да |
| /blog/old-guide/ | 0 | Нет | Да |
Демонстрационные значения.
Здесь особенно интересны две последние страницы. Одна практически не связана с остальной структурой, а другая вообще не имеет обнаруженных внутренних ссылок.
Если такие URL должны индексироваться, необходимо добавить логичные ссылки из релевантных разделов, категорий и тематических материалов.
Если проблема затрагивает большое количество страниц, полезно изучить серверные логи.
В логах можно проверить:
Пример строки серверного лога:
66.249.66.1 - - [16/Nov/2026:10:15:23 +0300]
"GET /services/seo-audit/ HTTP/2.0"
200 18452 "-" "Googlebot" Это условный пример формата записи, а не реальный IP или результат аудита.
Важно
Необходимо помнить, что User-Agent сам по себе не подтверждает подлинность Googlebot. Для достоверного анализа нужно проверять IP-адреса запросов.
Если Googlebot успешно получает HTML, но страницы не индексируются, логи помогут исключить проблемы доступности и перейти к анализу содержимого и структуры.
Рассмотрим условный пример интернет-магазина, в котором после расширения каталога увеличилось количество страниц со статусом Crawled - currently not indexed.
Владелец сайта заметил, что новые карточки товаров регулярно посещаются Googlebot, но большая часть из них не появляется в поиске.
| Показатель | Значение |
|---|---|
| Количество URL в sitemap | 2 450 |
| Количество URL в индексе | 1 180 |
| Не проиндексировано | 1 270 |
| Страницы товаров | 1 400 |
| Категории и подкатегории | 180 |
| Информационные страницы | 70 |
| URL с параметрами и фильтрами | 800 |
Все числа вымышлены для демонстрации диагностического подхода.
Первичная проверка показала, что проблема неоднородная. Часть URL относится к фильтрам и не должна индексироваться. Другая часть — полноценные карточки товаров, которые важны для органического трафика.
1. Дублирование карточек товаров.
У 165 товаров обнаружились очень похожие описания. В большинстве карточек отличались только название модели, артикул и несколько технических параметров.
2. Слабая внутренняя перелинковка.
У 74 карточек товаров было менее двух входящих внутренних ссылок. Часть товаров находилась глубоко в каталоге и не попадала в тематические подборки.
3. Проблемы с параметрическими URL.
При использовании фильтров создавались многочисленные комбинации адресов. Часть из них попадала в sitemap, хотя не представляла самостоятельной ценности для поиска.
4. Ошибки в описании товаров.
У 42 карточек отсутствовали важные характеристики, а в некоторых случаях основной текст заменялся коротким сообщением о временном отсутствии товара.
После внесения изменений сайт повторно проверяли в течение нескольких недель.
| Показатель | До работ | После работ |
|---|---|---|
| Важные карточки со статусом Crawled - currently not indexed | 210 | 68 |
| Карточки с полноценным описанием | 1 015 | 1 362 |
| Карточки с входящими ссылками | 1 180 | 1 395 |
Все значения условные. Это пример того, как можно оформлять результаты реального аудита, а не подтверждённый клиентский кейс.
Главный вывод из такого сценария: проблема заключалась не в том, что Googlebot не мог посещать сайт. Робот успешно сканировал страницы, но значительная часть URL имела слабую самостоятельную ценность, дублировалась или была плохо встроена в архитектуру каталога.
Именно поэтому исправление одной только технической настройки не могло решить проблему целиком.
После диагностики необходимо выбрать способ решения в зависимости от обнаруженной причины. Не стоит применять одинаковые действия ко всем URL.
Не стоит просто увеличивать объём текста. Дополнительные абзацы без новой информации не решают проблему самостоятельной ценности документа.
Если две страницы действительно решают разные задачи, не нужно объединять их только из-за похожих заголовков. Важна самостоятельность основного содержимого.
Важно не переходить на другую архитектуру сайта только из-за одного статуса в Search Console. Сначала нужно подтвердить, что именно рендеринг мешает корректной обработке страницы.
Необходимо провести инвентаризацию страниц и определить, какие из них вообще должны присутствовать в поиске.
| Тип URL | Рекомендуемое действие |
|---|---|
| Полезная самостоятельная страница | Улучшить содержимое и сохранить индексируемость. |
| Полный дубль другой страницы | Canonical или 301 в зависимости от ситуации. |
| Бесполезная страница фильтра | Определить необходимость индексирования, настроить обработку URL. |
| Удалённая страница без замены | 404 или 410. |
| Страница с актуальной заменой | 301 на действительно соответствующий URL. |
| Служебная страница, которую не нужно индексировать | Корректная директива noindex, если страница должна оставаться доступной роботу. |
Не следует удалять все неиндексируемые страницы автоматически. Сначала нужно понять, имеют ли они ценность для пользователей и поискового продвижения.
После устранения подтверждённых проблем можно использовать функцию Request Indexing в Google Search Console для важных страниц.
Однако это не инструмент принудительного включения URL в индекс. Запрос лишь сообщает Google о необходимости повторно проверить страницу.
Google не гарантирует, что URL будет проиндексирован после такой отправки. Если содержимое осталось слабым, страницы продолжают дублироваться или технические сигналы противоречат друг другу, повторный запрос может не изменить ситуацию.
Рекомендую действовать следующим образом:
Не нужно отправлять сотни неизменённых URL каждый день. Это не заменяет исправление причины неиндексации.
В SEO часто объясняют проблемы индексирования нехваткой краулингового бюджета. Но здесь важно не смешивать два разных этапа.
Если URL уже получил статус Crawled - currently not indexed, это означает, что Google его просканировал. Поэтому автоматически списывать проблему на недостаток crawl budget неправильно.
Crawl Budget — это совокупность ограничений на сканирование и спроса Google на обход конкретного сайта. Он зависит от технической способности сервера обслуживать запросы и от того, насколько поисковая система заинтересована в повторном сканировании URL.
Google отдельно отмечает, что углублённая оптимизация crawl budget в первую очередь актуальна для крупных и часто обновляемых сайтов. В документации приводятся ориентиры:
Для обычного небольшого сайта с несколькими сотнями страниц начинать диагностику с оптимизации crawl budget чаще всего нецелесообразно.
В такой ситуации сначала нужно проверить содержимое, дублирование, каноникализацию и структуру внутренних ссылок.
После внедрения изменений важно не ограничиваться единичной проверкой URL. Необходимо оценить динамику по всему проблемному разделу.
Для этого рекомендую использовать несколько инструментов.
Основной инструмент для контроля статусов индексирования и проверки конкретных URL.
Позволяет изучить проиндексированную версию документа, проверить опубликованную страницу, увидеть выбранный canonical и посмотреть, как Google обрабатывает её содержимое.
Отчёт помогает анализировать активность Googlebot, доступность хоста, распределение запросов и технические проблемы при сканировании.
Подходит для технического сканирования сайта, поиска дублей, анализа canonical, внутренних ссылок, кодов ответа и глубины страниц.
Помогают увидеть фактические запросы поисковых роботов, частоту обхода URL и повторяющиеся технические ошибки. Особенно полезны при работе с большими сайтами и интернет-магазинами.
Перед завершением диагностики пройдите по следующему списку:
Это означает, что Googlebot просканировал страницу, но Google пока не включил её в индекс. Статус не обязательно свидетельствует о технической ошибке: причина может быть связана с содержимым, дублированием, canonical или другими факторами обработки документа.
Возможные причины — недостаточная самостоятельная ценность контента, сходство с другими страницами, проблемы с canonical, неполный рендеринг или слабая внутренняя перелинковка. Для определения причины необходимо изучить конкретный URL и группу похожих страниц.
Сначала проверьте URL Inspection, HTTP-ответ, canonical, robots directives и отрисованный HTML. Затем оцените содержание страницы и её связи с остальными разделами сайта. После устранения найденных проблем можно запросить повторную индексацию важных URL.
Не обязательно. Google указывает, что для статуса Crawled - currently not indexed повторная отправка URL не требуется. Сначала необходимо устранить причину, если она действительно есть.
Да. Соответствие техническим требованиям не гарантирует включение документа в индекс. Google самостоятельно оценивает страницы и может не индексировать даже доступный и корректно работающий URL.
Внутренние ссылки помогают поисковому роботу обнаруживать страницы и понимать структуру сайта. Но если основная проблема связана с дублями или недостаточной ценностью содержимого, одна только перелинковка не гарантирует индексирование.
Проблемы производительности могут затруднять сканирование и рендеринг. Однако медленная загрузка сама по себе не является универсальным объяснением статуса Crawled - currently not indexed. Необходимо проверять фактические ошибки и доступность содержимого для Googlebot.
Да. Не все URL должны попадать в поисковый индекс. Например, дубли, технические страницы, параметры фильтров и альтернативные версии документов могут быть обоснованно исключены. Важно, чтобы в индексе находились основные страницы, которые действительно нужны пользователям.
Статус Crawled - currently not indexed не стоит воспринимать как обычную техническую ошибку, которую можно исправить одной настройкой или повторной отправкой URL в Google Search Console.
Если Googlebot уже посетил страницу, необходимо понять, что происходит после загрузки документа: какой контент получает поисковая система, насколько он отличается от других страниц, какой canonical выбран, правильно ли работает рендеринг и насколько URL встроен в структуру сайта.
Особенно важно анализировать не только отдельные адреса, но и группы страниц. Если проблема затрагивает целый раздел, вероятнее всего, необходимо искать общую причину в шаблоне, архитектуре, контентной модели или технической реализации.
Главная задача SEO-специалиста — не заставить Google повторно просканировать URL, а определить, почему поисковая система не считает необходимым включать его в индекс.
Именно системная диагностика позволяет отделить реальные технические ошибки от проблем качества и избежать бессмысленных действий, которые не меняют результат.
Полный аудит можно отложить на потом. Но есть короткий маршрут из четырёх вопросов, который за 10 минут сужает область поиска до одной-двух причин. Двигайтесь сверху вниз и останавливайтесь на первом «нет» — дальше идти бессмысленно, пока не устранена найденная причина.
Проверьте ответ сервера и записи в логах, а не только User-Agent.
→Да: идём к шагу 2
→Нет: это проблема доступности, а не индексации
Сравните HTML из curl с отрисованной версией в URL Inspection.
→Да: идём к шагу 3
→Нет: чините рендеринг, API и заблокированные ресурсы
Сравните её с 3–5 соседними URL раздела: что есть здесь и нет там?
→Да: идём к шагу 4
→Нет: это дубли или тонкий контент — переписать, объединить, закрыть
canonical, sitemap, внутренние ссылки и Google-selected canonical — одна версия?
→Да: решение алгоритмическое — работайте с группой URL и ждите переобхода
→Нет: приведите сигналы к единой версии
| Симптом | Вероятная причина | Где подтвердить |
|---|---|---|
| Googlebot приходит, но страница «пустая» | Рендеринг: JS-ошибка, недоступный API, заблокированные ресурсы | URL Inspection → вкладка «HTML» и список ресурсов |
| В индексе 1 страница из 10 похожих | Дубли и совпадающий интент | Сравнение текстов, canonical, Google-selected canonical |
| Google выбрал другой адрес страницы | Противоречивые сигналы каноникализации | URL Inspection → Google-selected canonical + sitemap + ссылки |
| URL есть в sitemap, но ссылок на него нет | Orphan page, глубина в структуре | Кравлер (Screaming Frog) → входящие ссылки и глубина |
| Ответ 200, а в тексте «товар недоступен» | Soft 404 или пустой шаблон | Выборка HTML из curl и сравнение с живым DOM |
| В логах нет Googlebot, а статус «Crawled» есть | Фильтрация по User-Agent вместо проверки IP | Логи + обратный DNS для адресов Google |
| Проблема ровно у части карточек раздела | Шаблон и данные: незаполненные поля, обрезка описаний | Выгрузка URL + разрез по полям каталога |
| Проблема только у новых URL, старые в индексе | Релиз-регресс: изменился шаблон или данные | Сравнение даты последнего обхода и даты релиза |
Матрица — рабочая заготовка: подставьте свои наблюдения и отметьте, какие строки подтвердились на вашем проекте.
Googlebot в UA пишут и сторонние краулеры.Когда неиндексируемых URL сотни, главный риск — потратить месяц на правки, которые не влияют на трафик. Простой способ избежать этого: оценить каждую группу URL по четырём критериям и работать сверху вниз.
| Критерий | Вес | Как оценить по шкале 0–5 |
|---|---|---|
| Потенциал трафика и коммерческая ценность | 40% | Есть ли реальный спрос на эти URL в логах, отчётах и данных аналитики; какую долю выручки они приносят |
| Самостоятельность интента | 30% | Отвечает ли страница на отдельный запрос и содержит ли данные, которых нет на соседних страницах |
| Техническая исправность | 20% | Сколько правок нужно до готовности: один canonical, перелинковка или переписывание карточки |
| Связность в структуре сайта | 10% | Сколько входящих внутренних ссылок, на какой глубине находится URL, попадает ли он в подборки |
A
Итоговый балл от 3,5. Страницы с трафиком и понятной причиной. Правки дают эффект в первую очередь — здесь возвращается аудитория, а не только строчки в отчёте.
B
От 2,5 до 3,49. Ценность есть, но объём правок или слабая отстройка от конкурентов делают сроки длиннее. Обычно это доработка контента и перелинковки.
C
Ниже 2,5. Нет самостоятельной ценности: страницы дублируют друг друга, не нужны пользователям или создаются фильтрами. По умолчанию их объединяют, закрывают или уводят в 301.
Выгрузите Page Indexing, разложите все URL по типам страниц и посчитайте долю неиндексируемых в каждой группе.
По 5–7 URL из каждой группы прогнать через URL Inspection: canonical, robots, отрисованный HTML, дата обхода.
Сверить реальные запросы Googlebot с IP, кодами ответа и частотой обхода важных разделов за 30 дней.
Найти orphan-страницы, лишние параметрические URL и расхождения между картой сайта и фактической структурой.
Расставить оценки A/B/C и утвердить список: править, объединять, закрывать или оставлять без изменений.
Canonical, 301, noindex, доработка текстов, внутренние ссылки, чистка sitemap — изменениями одного типа, а не по одной странице.
Сохранить стартовые значения и задать дату контрольной проверки: переобход занимает дни и недели, а не часы.
Если Google регулярно сканирует страницы вашего сайта, но не добавляет их в индекс, стоит проверить не только отдельные URL, но и общую архитектуру ресурса, качество контента, внутреннюю перелинковку, canonical и серверные логи.
Я занимаюсь технической SEO-оптимизацией, анализом индексации, аудитами сайтов и продвижением в Google и Яндексе.
Что прислать в сообщении, чтобы разобраться быстрее
Ссылки, на которые стоит опираться при работе со статусом Crawled - currently not indexed: официальные справки Google и инструменты, которые дают фактические данные, а не мнения.
Все числовые значения, IP-адреса и результаты аудита в статье — условные примеры, приведённые для демонстрации метода диагностики. Материал подготовлен как практикум по техническому SEO и не является подтверждённым клиентским кейсом.