SEO · Технический аудит

Sitemap vs Google Index

Почему страницы есть в карте сайта, но не попадают в индекс Google. Разбираем ошибки canonical, noindex, HTTP-коды, качество контента и диагностику через Search Console и Screaming Frog.

Александр Синов ~18 мин чтения 24 000 URL в примере
Абстрактная визуализация цифровой сети и связей между страницами сайта
Sitemap — это карта, а не гарантия индексации. Попасть в неё недостаточно, нужно ещё пройти отбор.

Sitemap vs Google Index: почему страницы есть в карте сайта, но не попадают в индекс

XML Sitemap — один из основных инструментов технического SEO. Он помогает поисковым системам обнаруживать важные страницы сайта, понимать его структуру и получать информацию об изменениях контента. Однако наличие URL в карте сайта ещё не означает, что страница будет просканирована или появится в поисковой выдаче.

В Google Search Console можно увидеть ситуацию, когда Sitemap успешно обработан, тысячи адресов обнаружены, но значительная часть страниц остаётся в разделе «Не проиндексировано».

Для владельца сайта это выглядит странно: страницы опубликованы, доступны пользователям, присутствуют в XML-файле, но Google не включает их в индекс.

Причина может скрываться не в самом Sitemap, а в технической архитектуре ресурса, качестве страниц, внутренних ссылках, настройках canonical или особенностях обработки контента поисковым роботом.

В этом материале разберём, почему страницы из Sitemap не попадают в индекс Google, как найти реальные причины проблемы и какие действия помогут исправить ситуацию.

Важно Все названия компаний, показатели, URL и результаты практического примера ниже вымышлены. Это демонстрационная модель технического аудита, а не реальный клиентский кейс.

Путь страницы: от Sitemap до индекса

01
Sitemap
URL добавлен в файл и отправлен
02
Обнаружение
Google узнаёт о странице
03
Сканирование
Googlebot запрашивает содержимое
04
Обработка
Анализ контента и сигналов
05
Индекс
Решение о включении

1. Что на самом деле означает наличие страницы в Sitemap #

XML Sitemap — это файл, содержащий список URL, которые сайт предлагает поисковым системам для обнаружения и обработки.

Важный момент: Sitemap не является списком страниц, которые поисковик обязан проиндексировать.

Google рассматривает отправку Sitemap как подсказку. Файл помогает обнаруживать URL, но не гарантирует их сканирование, индексирование или получение позиций в поиске.

Здесь необходимо разделять несколько процессов:

  1. Обнаружение URL. Google узнаёт о существовании страницы.
  2. Сканирование. Googlebot запрашивает URL и получает содержимое.
  3. Обработка страницы. Поисковая система анализирует контент, ссылки, canonical и другие сигналы.
  4. Индексирование. Google принимает решение о включении страницы в индекс.
  5. Поисковая видимость. Проиндексированная страница может участвовать в результатах поиска по подходящим запросам.

Эти процессы не происходят одновременно.

Поэтому статус успешной обработки Sitemap в Search Console нельзя интерпретировать как подтверждение индексации всех перечисленных URL.

Пример: интернет-магазин с 8 000 товаров

Все адреса автоматически добавляются в XML Sitemap. Google успешно получает файл и обнаруживает URL. Но часть карточек содержит минимальное количество информации, дублирует другие товары, имеет некорректный canonical, возвращает HTTP 200 при фактически удалённом товаре, не связана с категориями внутренними ссылками или содержит контент, который не отображается при рендеринге.

В результате Sitemap может быть обработан без ошибок, но значительная часть URL не попадёт в индекс. Проверять нужно не только сам XML-файл, но и соответствие перечисленных в нём URL реальному состоянию сайта.

2. Какие статусы Google Search Console нужно анализировать #

Первый этап диагностики — отчёт «Индексирование страниц» в Google Search Console. Особое внимание стоит уделить причинам, по которым URL не включены в индекс.

Аналитический дашборд с графиками и показателями индексирования
Отчёт Page Indexing в Search Console — основной источник правды о реальном состоянии индекса.
Статус Что означает Что проверять
Discovered - currently not indexedURL обнаружен, но пока не просканированВнутренние ссылки, логи, доступность, приоритет обхода
Crawled - currently not indexedСтраница просканирована, но не включена в индексКонтент, дубли, canonical, качество
Duplicate without user-selected canonicalОбнаружен дубль без явного предпочтительного URLДубли, canonical, внутренние ссылки
Duplicate, Google chose different canonicalGoogle выбрал другой canonicalСогласованность сигналов canonical
Excluded by noindexСтраница запрещена к индексированию директивой noindexMeta robots, X-Robots-Tag
Blocked by robots.txtСканирование URL ограниченоПравила robots.txt
Not found (404)Сервер сообщает, что страница не существуетАктуальность URL в Sitemap
Page with redirectURL перенаправляет на другой адресРедиректы и актуальность карты сайта
Soft 404Страница выглядит как несуществующая, но возвращает HTTP 200Шаблон, контент, обработка отсутствующих товаров
Server error (5xx)Сервер не смог обработать запросЛоги, нагрузка, доступность

Google позволяет фильтровать отчёт индексирования по отправленным через Sitemap URL и анализировать конкретные группы исключённых страниц.

Полезно знать Не все URL из раздела «Не проиндексировано» являются ошибками. Если сайт намеренно исключает страницу через noindex или удалил товар с корректным 404, её отсутствие в индексе — правильный результат. Задача SEO-аудита — не добиться 100% индексации всего Sitemap, а обеспечить попадание в индекс действительно важных страниц.

3. Основные причины, почему страницы из Sitemap не индексируются #

3.1. В Sitemap попадают неканонические URL

Одна из распространённых ошибок — автоматическое формирование XML Sitemap без проверки canonical.

https://shop.example.ru/catalog/shoes/
https://shop.example.ru/catalog/shoes/?sort=price
https://shop.example.ru/catalog/shoes/?color=black

Но все три страницы указывают canonical на основной URL категории. Сайт одновременно сообщает поисковой системе, что все три адреса важны, и указывает, что предпочтительной является только одна версия. Это создаёт противоречивые сигналы.

Что делать:

  • включать в Sitemap предпочтительные канонические URL;
  • исключать дублирующие параметрические адреса;
  • проверять self-referencing canonical на самостоятельных страницах;
  • синхронизировать Sitemap и внутреннюю перелинковку.

3.2. Страницы закрыты от индексации

Иногда URL автоматически попадает в XML Sitemap, хотя на самой странице установлена директива noindex.

Или сервер отправляет HTTP-заголовок:

X-Robots-Tag: noindex

Возникает противоречие: Sitemap предлагает страницу для поиска, а директивы сайта запрещают её индексирование.

Диагностика:

  1. Выгрузить URL из Sitemap.
  2. Проверить HTML-код страницы.
  3. Проверить meta robots.
  4. Проверить HTTP-заголовки.
  5. Сопоставить результаты с Google Search Console.

Решение: если страница должна индексироваться — убрать директиву. Если индексирование не требуется — удалить URL из Sitemap.

3.3. Страницы возвращают неправильные HTTP-коды

Особенно часто проблема встречается в интернет-магазинах.

Представим, что товар снят с продажи, но его карточка продолжает открываться и возвращает HTTP 200. При этом внутри страницы написано: «Товар отсутствует». Если карточка не содержит самостоятельной полезной информации, поисковая система может воспринимать её как Soft 404.

Другой сценарий — в Sitemap продолжают находиться URL, которые уже перенаправляют на другие страницы:

/product/old-model/
301 → /product/new-model/

Решение:

  • URL с постоянным перенаправлением заменить конечным адресом;
  • удалённые страницы без замены отдавать с корректным 404 или 410;
  • страницы с временно отсутствующим товаром обрабатывать в соответствии с реальной бизнес-логикой;
  • исключить неактуальные URL из Sitemap.

Не нужно удалять все карточки товаров только из-за временного отсутствия на складе. Если страница полезна, имеет спрос, характеристики, альтернативы и историю товара, она может сохранять ценность.

3.4. Недостаточная самостоятельная ценность контента

Страница может технически соответствовать всем требованиям — HTTP 200, нет noindex, корректный canonical, доступна Googlebot, находится в Sitemap. Но Google всё равно может не включить её в индекс из-за недостаточной самостоятельной ценности.

Типичный пример: интернет-магазин создал 150 посадочных страниц под разные комбинации характеристик, но на всех страницах одинаковый текст, одинаковая структура и практически одинаковый ассортимент. Разница заключается только в одном значении в заголовке.

Решение:

  • проверить, существует ли отдельный пользовательский интент;
  • оценить ассортимент и уникальность предложения;
  • добавить действительно полезные характеристики;
  • объединить страницы с одинаковым содержанием;
  • отказаться от генерации слабых посадочных.

3.5. Страницы не связаны внутренними ссылками

URL может присутствовать в Sitemap, но отсутствовать в нормальной архитектуре сайта. Это означает, что страница обнаруживается через XML-файл, однако пользователь и поисковый робот не могут естественным образом перейти к ней из категорий и других разделов. Так возникают страницы-сироты.

Screaming Frog позволяет сопоставить содержимое Sitemap с результатами обычного краулинга и найти URL, которые присутствуют только в карте сайта, но не обнаруживаются через внутренние ссылки.

Решение:

  • добавить ссылки из тематических категорий;
  • восстановить хлебные крошки;
  • связать статьи с товарами и категориями;
  • устранить страницы-сироты;
  • проверить глубину вложенности важных URL.

3.6. Проблемы JavaScript-рендеринга

Некоторые интернет-магазины загружают основную часть контента через JavaScript. В результате первоначальный HTML может содержать только оболочку страницы, а карточки товаров, характеристики и текст появляются после выполнения скриптов. Если рендеринг работает некорректно, поисковый робот может получить неполное содержимое.

Тёмное рабочее пространство разработчика с кодом на мониторе
JS-рендеринг — частая причина, по которой Google видит не то, что видит пользователь.

Что проверить:

  • исходный HTML;
  • отрендеренный HTML;
  • наличие основного контента;
  • доступность JS и CSS;
  • работу внутренних ссылок;
  • lazy loading;
  • ошибки JavaScript в браузере.

Для проверки конкретного URL используйте URL Inspection и тестирование опубликованной страницы.

3.7. Ошибки формирования Sitemap

Иногда проблема действительно находится в самом XML-файле. Типичные ошибки:

  • URL возвращает 404;
  • в карте находятся редиректы;
  • присутствуют URL с noindex;
  • используются неправильные версии домена;
  • в Sitemap попадают параметрические дубли;
  • файл содержит неактуальные адреса после миграции;
  • нарушена структура XML;
  • сервер возвращает ошибку при обращении поискового робота.

Google рекомендует использовать абсолютные URL и разделять Sitemap, если размер файла превышает 50 МБ без сжатия или 50 000 адресов.

4. Как провести полноценный аудит Sitemap: пошаговая методика #

Самая полезная часть работы — сопоставить данные из нескольких источников. Не стоит ограничиваться проверкой одного файла или ручным открытием отдельных страниц.

Шаг 1. Проверить доступность Sitemap

Открываем XML-файл в браузере:

https://shop.example.ru/sitemap.xml

Проверяем: доступен ли файл без авторизации, возвращает ли сервер HTTP 200, корректно ли отображается XML, нет ли ошибок структуры, присутствуют ли дочерние Sitemap, не заблокирован ли файл в robots.txt.

Затем открываем Google Search Console → Индексирование → Файлы Sitemap. Смотрим дату последнего чтения, статус обработки, количество обнаруженных URL, ошибки обработки, предупреждения.

Нюанс Успешная обработка файла подтверждает, что Google смог его прочитать, но не означает, что все страницы включены в индекс.

Шаг 2. Проверить все URL из Sitemap через Screaming Frog

Загружаем Sitemap в Screaming Frog SEO Spider. Можно использовать режим List и загрузку XML Sitemap либо включить обработку Sitemap во время обычного краулинга.

Проверяем каждый URL на: HTTP-ответ, indexability, canonical, meta robots, глубину обхода, Title, H1, наличие внутренних ссылок, редиректы.

Особое внимание уделяем фильтру Non-Indexable URLs in Sitemap — он позволяет выявить адреса, которые включены в XML-файл, но фактически не являются индексируемыми. Также полезен фильтр Orphan URLs — страницы из Sitemap, которые не обнаруживаются через обычные внутренние ссылки.

Шаг 3. Сопоставить Sitemap с внутренним краулингом

Создаём две выгрузки: URL из XML Sitemap и URL, обнаруженные через внутренние ссылки. Затем сравниваем массивы.

ГруппаЧто означает
Есть в Sitemap и в краулингеURL присутствует в карте и доступен через структуру сайта
Есть в Sitemap, но нет в краулингеКандидаты на страницы-сироты
Есть в краулинге, но нет в SitemapНужно проверить, должны ли эти URL индексироваться

Отсутствие страницы в Sitemap не всегда является ошибкой. Туда не обязательно добавлять технические, дублирующие и не предназначенные для индексации адреса.

Шаг 4. Проверить причины исключения через Google Search Console

Переходим в отчёт «Индексирование страниц». Используем фильтр отправленных URL и анализируем причины исключения. Например: Crawled - currently not indexed, Discovered - currently not indexed, Duplicate, Excluded by noindex, Page with redirect, Not found.

Формируем отдельные группы URL по каждой причине — это гораздо эффективнее, чем проверять страницы случайным образом.

Шаг 5. Использовать URL Inspection для выборочной проверки

Для каждого проблемного кластера выбираем несколько характерных URL и проверяем: известен ли URL Google, когда робот последний раз посещал страницу, разрешено ли индексирование, какой canonical указан владельцем, какой canonical выбрал Google, какой HTTP-ответ получает робот, как выглядит отрендеренная страница.

Осторожно Не отправляйте на повторную индексацию сотни одинаковых URL без исправления причины. Это создаёт иллюзию работы, но не решает проблему.

Шаг 6. Проанализировать серверные логи

Логи позволяют увидеть, что происходит после обнаружения URL. Для Googlebot анализируем: количество запросов, частоту посещений, HTTP-коды, время ответа, группы параметрических URL, обращения к товарам и категориям, повторные запросы к одним и тем же страницам.

Рабочее место SEO-специалиста с инструментами анализа
Анализ серверных логов дополняет данные Search Console и показывает реальную активность робота.
Группа URLЗапросы Googlebot
Категории18 500
Карточки товаров34 200
Страницы фильтров27 800
URL с редиректами8 400
Страницы с 4044 600
Технические адреса6 500

В этой модели 19 500 запросов пришлись на редиректы, 404 и технические адреса. Это не означает, что все эти запросы можно полностью устранить, но показывает, какие группы URL стоит исследовать в первую очередь.

Безопасность User-Agent сам по себе не доказывает, что запрос действительно выполнил Googlebot. Для подтверждения подлинности поискового робота необходимо проверять IP по официальным рекомендациям Google.

5. Практический пример: в Sitemap 24 000 URL, а Google индексирует только 13 600 #

Рассмотрим условный интернет-магазин строительных материалов. Сайт содержит около 18 000 товарных карточек, 600 категорий и несколько сотен информационных страниц. XML Sitemap формируется автоматически на стороне CMS.

После проверки Google Search Console обнаружили, что значительная часть отправленных URL не включена в индекс.

URL в Sitemap24 000
Проиндексировано13 600
Не проиндексировано10 400
Доля проиндексированных URL56,7%

После разделения URL по статусам выяснилось следующее:

Crawled - currently not indexed3 400
Discovered - currently not indexed2 100
Duplicate / Google chose different canonical1 800
Excluded by noindex1 100
Page with redirect900
Not found / Soft 404700
Server errors и прочие причины400
Всего10 400

Первая группа — 1 100 URL с noindex

CMS автоматически добавляла в Sitemap страницы фильтров, которые были закрыты от индексирования. Решение: исключить эти адреса из XML-файла.

Вторая группа — 900 URL с редиректами

После обновления каталога старые адреса продолжали присутствовать в карте сайта. Решение: заменить старые URL конечными адресами и проверить цепочки перенаправлений.

Третья группа — 1 800 дублей

Часть карточек была доступна по нескольким URL, а canonical указывал на основную версию. Решение: оставить в Sitemap только предпочтительные канонические адреса и исправить внутренние ссылки.

Четвёртая группа — 3 400 просканированных, но не проиндексированных страниц

В основном это оказались товары с минимальным количеством информации и шаблонные категории с похожим содержимым. Решение: разделить страницы на группы, оценить их поисковую ценность, доработать полезные карточки и объединить действительно дублирующие материалы.

Пятая группа — 2 100 обнаруженных, но не просканированных URL

Обнаружили недостаточную внутреннюю перелинковку, большую глубину вложенности и большое количество малоприоритетных страниц. Решение: восстановить ссылки из категорий, пересмотреть структуру каталога и проверить серверные логи.

Что изменилось после внедрения

В рамках условной модели через десять недель провели повторный аудит.

ПоказательДо работПосле работ
URL в Sitemap24 00019 200
Проиндексировано13 60015 100
URL с редиректами в Sitemap90012
URL с noindex в Sitemap1 1000
Подтверждённые проблемные дубли1 800260

Доля проиндексированных URL в этой модели увеличилась с 56,7% до 78,6%.

Примечание Это вымышленные демонстрационные показатели. В реальном проекте динамика зависит от качества страниц, количества дублей, частоты обхода и решений поисковой системы.

Снижение количества URL в Sitemap само по себе не является результатом SEO-продвижения. Цель — оставить в карте действительно нужные страницы и обеспечить их корректную обработку.

6. Как исправить Sitemap для Google и Яндекса #

6.1. Какие URL должны находиться в XML Sitemap

Рекомендуется включать: канонические страницы категорий, полезные карточки товаров, качественные информационные материалы, самостоятельные посадочные страницы, другие страницы, которые действительно должны участвовать в поиске.

Не следует автоматически включать: URL с noindex, редиректы, страницы с ответом 404, дублирующие параметрические адреса, технические страницы, URL, которые не должны индексироваться.

6.2. Как организовать Sitemap крупного интернет-магазина

Для большого каталога удобнее разделять карту сайта по типам страниц:

/sitemap_index.xml
/sitemap_categories.xml
/sitemap_products_1.xml
/sitemap_products_2.xml
/sitemap_products_3.xml
/sitemap_articles.xml
/sitemap_brands.xml

Такой подход помогает быстрее находить проблемы в конкретных группах URL. Например, если после обновления каталога резко увеличилось количество исключённых карточек товаров, можно отдельно проверить sitemap_products.

6.3. Что делать с lastmod

В XML Sitemap можно указывать дату последнего существенного изменения страницы:

 https://shop.example.ru/product/example/ 2026-11-10 

Не стоит автоматически менять lastmod каждый день, если содержимое страницы фактически не изменялось. Используйте реальную дату значимого обновления: изменились характеристики товара, обновилась информация о наличии, изменилось основное содержимое статьи, была переработана категория.

7. Особенности диагностики в Яндекс Вебмастере #

Для российского сегмента поиска важно проводить отдельную проверку Яндекса. Наличие корректного XML-файла не гарантирует, что все страницы будут включены в поисковую базу.

В Яндекс Вебмастере проверяем:

  1. Раздел индексирования и статистику обхода.
  2. Состояние Sitemap.
  3. Ошибки обработки XML.
  4. Ответы сервера.
  5. Дубли страниц с GET-параметрами.
  6. Страницы, исключённые из поиска.
  7. Настройки robots.txt.

Яндекс отдельно документирует ситуации, когда Sitemap не обработан, недоступен роботу, содержит ошибки или ещё ожидает обработки.

Ловушка Если Sitemap имеет статус «Не индексируется», не следует сразу считать, что все страницы внутри файла исключены из поиска. Нужно отдельно проверить состояние самого файла и состояние перечисленных в нём URL.

8. Почему не нужно добиваться 100% индексации #

Одна из распространённых ошибок — считать успешность SEO-аудита по проценту проиндексированных URL.

Представим сайт с 20 000 адресов. В индексе находятся 12 000 страниц. Оставшиеся 8 000 включают технические дубли, сортировочные URL, страницы с noindex, устаревшие товары, пустые фильтры и несуществующие адреса.

В такой ситуации стремление довести индексирование до 100% может привести к появлению в поиске большого количества страниц без самостоятельной ценности.

Правильная задача: определить, какие URL должны индексироваться, и обеспечить корректную обработку именно этой группы. Для коммерческого сайта особенно важно отдельно контролировать основные категории, приоритетные товарные карточки, брендовые страницы, полезные SEO-посадочные и информационные статьи. Именно по этим группам нужно оценивать качество индексирования.

9. Чек-лист технического аудита Sitemap #

Перед завершением работ рекомендую проверить следующие пункты:

  • Sitemap открывается и возвращает HTTP 200.
  • XML-файл корректно обрабатывается поисковыми системами.
  • Все URL указаны в абсолютном формате.
  • В Sitemap находятся предпочтительные канонические адреса.
  • Нет страниц с noindex.
  • Нет URL с ответами 404 и 5xx.
  • Нет редиректов.
  • Нет массовых параметрических дублей.
  • Проверены HTTP-заголовки X-Robots-Tag.
  • Проверена доступность важных страниц для Googlebot.
  • Сопоставлены Sitemap и внутренний краулинг.
  • Найдены страницы-сироты.
  • Проверены canonical, выбранные Google.
  • Проанализированы статусы Page Indexing.
  • Проверены серверные логи.
  • Проверена корректность lastmod.
  • Sitemap разделён по типам страниц, если это необходимо.
  • После исправлений выполнен повторный аудит.

10. FAQ: частые вопросы о Sitemap и индексации #

Почему Google не индексирует страницы, которые находятся в Sitemap?

Sitemap помогает обнаружить URL, но не гарантирует их включение в индекс. Причиной могут быть дубли, недостаточная ценность контента, неправильный canonical, noindex, ошибки HTTP или проблемы рендеринга.

Сколько времени Google индексирует страницы после отправки Sitemap?

Универсального срока нет. Обнаружение, сканирование и индексирование зависят от множества факторов. Google не гарантирует конкретные сроки даже после отправки файла или запроса на индексирование.

Нужно ли добавлять в Sitemap все страницы сайта?

Нет. В Sitemap рекомендуется размещать канонические URL, которые действительно должны участвовать в поиске. Технические страницы, дубли, редиректы и адреса с noindex не должны автоматически попадать в карту.

Что означает статус Crawled - currently not indexed?

Googlebot просканировал страницу, но пока не включил её в индекс. Нужно проверить содержимое, дублирование, canonical и другие сигналы. Сам статус не доказывает наличие технической ошибки.

Что означает Discovered - currently not indexed?

Google знает о URL, но пока не просканировал его. Стоит проверить внутреннюю перелинковку, глубину вложенности, доступность сайта и характер обхода поисковым роботом.

Можно ли отправить Sitemap повторно, чтобы ускорить индексацию?

Повторная отправка не гарантирует ускорения. Если проблема в качестве страниц, дублях или технических ошибках, сначала нужно устранить причину.

Нужно ли удалять из Sitemap страницы, которые Google не индексирует?

Если URL не должен индексироваться — да. Если страница важная и имеет самостоятельную ценность, сначала необходимо разобраться с причиной исключения и исправить её.

Как проверить, какие URL из Sitemap проиндексированы?

В Google Search Console можно открыть отчёт индексирования страниц и выбрать фильтр отправленных URL или конкретный Sitemap. Для отдельных адресов используется URL Inspection.

Заключение ↑

XML Sitemap — это не гарантия индексации, а инструмент управления обнаружением важных страниц.

Если поисковая система получает тысячи URL, но значительная часть остаётся вне индекса, необходимо искать причину глубже, чем просто в настройках XML-файла.

В одних случаях проблема находится в технической генерации Sitemap. В других — в canonical, HTTP-ответах, качестве контента, внутренней перелинковке или рендеринге страниц.

Наиболее эффективный подход — сопоставить данные Sitemap, краулинга, серверных логов и поисковых панелей. Только так можно понять, какие страницы действительно нуждаются в исправлении, какие должны быть исключены из карты сайта, а какие уже не имеют самостоятельной поисковой ценности.

Главный принцип Главная задача технического SEO — не добиться индексации каждого URL, а обеспечить присутствие в поиске действительно полезных страниц.

Читайте также

от 15 000 ₽ / месяц

Нужен технический SEO-аудит сайта?

Проверю XML Sitemap, индексацию в Google и Яндексе, дубли, canonical, внутреннюю перелинковку и работу поисковых роботов.

SEO-продвижение, техническая оптимизация и GEO.

Написать в Telegram SEOProf74 — подробнее
Made on
Tilda