Sitemap vs Google Index: почему страницы есть в карте сайта, но не попадают в индекс
XML Sitemap — один из основных инструментов технического SEO. Он помогает поисковым системам обнаруживать важные страницы сайта, понимать его структуру и получать информацию об изменениях контента. Однако наличие URL в карте сайта ещё не означает, что страница будет просканирована или появится в поисковой выдаче.
В Google Search Console можно увидеть ситуацию, когда Sitemap успешно обработан, тысячи адресов обнаружены, но значительная часть страниц остаётся в разделе «Не проиндексировано».
Для владельца сайта это выглядит странно: страницы опубликованы, доступны пользователям, присутствуют в XML-файле, но Google не включает их в индекс.
Причина может скрываться не в самом Sitemap, а в технической архитектуре ресурса, качестве страниц, внутренних ссылках, настройках canonical или особенностях обработки контента поисковым роботом.
В этом материале разберём, почему страницы из Sitemap не попадают в индекс Google, как найти реальные причины проблемы и какие действия помогут исправить ситуацию.
Путь страницы: от Sitemap до индекса
1. Что на самом деле означает наличие страницы в Sitemap #
XML Sitemap — это файл, содержащий список URL, которые сайт предлагает поисковым системам для обнаружения и обработки.
Важный момент: Sitemap не является списком страниц, которые поисковик обязан проиндексировать.
Google рассматривает отправку Sitemap как подсказку. Файл помогает обнаруживать URL, но не гарантирует их сканирование, индексирование или получение позиций в поиске.
Здесь необходимо разделять несколько процессов:
- Обнаружение URL. Google узнаёт о существовании страницы.
- Сканирование. Googlebot запрашивает URL и получает содержимое.
- Обработка страницы. Поисковая система анализирует контент, ссылки, canonical и другие сигналы.
- Индексирование. Google принимает решение о включении страницы в индекс.
- Поисковая видимость. Проиндексированная страница может участвовать в результатах поиска по подходящим запросам.
Эти процессы не происходят одновременно.
Поэтому статус успешной обработки Sitemap в Search Console нельзя интерпретировать как подтверждение индексации всех перечисленных URL.
Пример: интернет-магазин с 8 000 товаров
Все адреса автоматически добавляются в XML Sitemap. Google успешно получает файл и обнаруживает URL. Но часть карточек содержит минимальное количество информации, дублирует другие товары, имеет некорректный canonical, возвращает HTTP 200 при фактически удалённом товаре, не связана с категориями внутренними ссылками или содержит контент, который не отображается при рендеринге.
В результате Sitemap может быть обработан без ошибок, но значительная часть URL не попадёт в индекс. Проверять нужно не только сам XML-файл, но и соответствие перечисленных в нём URL реальному состоянию сайта.
2. Какие статусы Google Search Console нужно анализировать #
Первый этап диагностики — отчёт «Индексирование страниц» в Google Search Console. Особое внимание стоит уделить причинам, по которым URL не включены в индекс.
| Статус | Что означает | Что проверять |
|---|---|---|
Discovered - currently not indexed | URL обнаружен, но пока не просканирован | Внутренние ссылки, логи, доступность, приоритет обхода |
Crawled - currently not indexed | Страница просканирована, но не включена в индекс | Контент, дубли, canonical, качество |
Duplicate without user-selected canonical | Обнаружен дубль без явного предпочтительного URL | Дубли, canonical, внутренние ссылки |
Duplicate, Google chose different canonical | Google выбрал другой canonical | Согласованность сигналов canonical |
Excluded by noindex | Страница запрещена к индексированию директивой noindex | Meta robots, X-Robots-Tag |
Blocked by robots.txt | Сканирование URL ограничено | Правила robots.txt |
Not found (404) | Сервер сообщает, что страница не существует | Актуальность URL в Sitemap |
Page with redirect | URL перенаправляет на другой адрес | Редиректы и актуальность карты сайта |
Soft 404 | Страница выглядит как несуществующая, но возвращает HTTP 200 | Шаблон, контент, обработка отсутствующих товаров |
Server error (5xx) | Сервер не смог обработать запрос | Логи, нагрузка, доступность |
Google позволяет фильтровать отчёт индексирования по отправленным через Sitemap URL и анализировать конкретные группы исключённых страниц.
3. Основные причины, почему страницы из Sitemap не индексируются #
3.1. В Sitemap попадают неканонические URL
Одна из распространённых ошибок — автоматическое формирование XML Sitemap без проверки canonical.
https://shop.example.ru/catalog/shoes/
https://shop.example.ru/catalog/shoes/?sort=price
https://shop.example.ru/catalog/shoes/?color=black Но все три страницы указывают canonical на основной URL категории. Сайт одновременно сообщает поисковой системе, что все три адреса важны, и указывает, что предпочтительной является только одна версия. Это создаёт противоречивые сигналы.
Что делать:
- включать в Sitemap предпочтительные канонические URL;
- исключать дублирующие параметрические адреса;
- проверять self-referencing canonical на самостоятельных страницах;
- синхронизировать Sitemap и внутреннюю перелинковку.
3.2. Страницы закрыты от индексации
Иногда URL автоматически попадает в XML Sitemap, хотя на самой странице установлена директива noindex.
Или сервер отправляет HTTP-заголовок:
X-Robots-Tag: noindex Возникает противоречие: Sitemap предлагает страницу для поиска, а директивы сайта запрещают её индексирование.
Диагностика:
- Выгрузить URL из Sitemap.
- Проверить HTML-код страницы.
- Проверить meta robots.
- Проверить HTTP-заголовки.
- Сопоставить результаты с Google Search Console.
Решение: если страница должна индексироваться — убрать директиву. Если индексирование не требуется — удалить URL из Sitemap.
3.3. Страницы возвращают неправильные HTTP-коды
Особенно часто проблема встречается в интернет-магазинах.
Представим, что товар снят с продажи, но его карточка продолжает открываться и возвращает HTTP 200. При этом внутри страницы написано: «Товар отсутствует». Если карточка не содержит самостоятельной полезной информации, поисковая система может воспринимать её как Soft 404.
Другой сценарий — в Sitemap продолжают находиться URL, которые уже перенаправляют на другие страницы:
/product/old-model/
301 → /product/new-model/ Решение:
- URL с постоянным перенаправлением заменить конечным адресом;
- удалённые страницы без замены отдавать с корректным 404 или 410;
- страницы с временно отсутствующим товаром обрабатывать в соответствии с реальной бизнес-логикой;
- исключить неактуальные URL из Sitemap.
Не нужно удалять все карточки товаров только из-за временного отсутствия на складе. Если страница полезна, имеет спрос, характеристики, альтернативы и историю товара, она может сохранять ценность.
3.4. Недостаточная самостоятельная ценность контента
Страница может технически соответствовать всем требованиям — HTTP 200, нет noindex, корректный canonical, доступна Googlebot, находится в Sitemap. Но Google всё равно может не включить её в индекс из-за недостаточной самостоятельной ценности.
Типичный пример: интернет-магазин создал 150 посадочных страниц под разные комбинации характеристик, но на всех страницах одинаковый текст, одинаковая структура и практически одинаковый ассортимент. Разница заключается только в одном значении в заголовке.
Решение:
- проверить, существует ли отдельный пользовательский интент;
- оценить ассортимент и уникальность предложения;
- добавить действительно полезные характеристики;
- объединить страницы с одинаковым содержанием;
- отказаться от генерации слабых посадочных.
3.5. Страницы не связаны внутренними ссылками
URL может присутствовать в Sitemap, но отсутствовать в нормальной архитектуре сайта. Это означает, что страница обнаруживается через XML-файл, однако пользователь и поисковый робот не могут естественным образом перейти к ней из категорий и других разделов. Так возникают страницы-сироты.
Screaming Frog позволяет сопоставить содержимое Sitemap с результатами обычного краулинга и найти URL, которые присутствуют только в карте сайта, но не обнаруживаются через внутренние ссылки.
Решение:
- добавить ссылки из тематических категорий;
- восстановить хлебные крошки;
- связать статьи с товарами и категориями;
- устранить страницы-сироты;
- проверить глубину вложенности важных URL.
3.6. Проблемы JavaScript-рендеринга
Некоторые интернет-магазины загружают основную часть контента через JavaScript. В результате первоначальный HTML может содержать только оболочку страницы, а карточки товаров, характеристики и текст появляются после выполнения скриптов. Если рендеринг работает некорректно, поисковый робот может получить неполное содержимое.
Что проверить:
- исходный HTML;
- отрендеренный HTML;
- наличие основного контента;
- доступность JS и CSS;
- работу внутренних ссылок;
- lazy loading;
- ошибки JavaScript в браузере.
Для проверки конкретного URL используйте URL Inspection и тестирование опубликованной страницы.
3.7. Ошибки формирования Sitemap
Иногда проблема действительно находится в самом XML-файле. Типичные ошибки:
- URL возвращает 404;
- в карте находятся редиректы;
- присутствуют URL с noindex;
- используются неправильные версии домена;
- в Sitemap попадают параметрические дубли;
- файл содержит неактуальные адреса после миграции;
- нарушена структура XML;
- сервер возвращает ошибку при обращении поискового робота.
Google рекомендует использовать абсолютные URL и разделять Sitemap, если размер файла превышает 50 МБ без сжатия или 50 000 адресов.
4. Как провести полноценный аудит Sitemap: пошаговая методика #
Самая полезная часть работы — сопоставить данные из нескольких источников. Не стоит ограничиваться проверкой одного файла или ручным открытием отдельных страниц.
Шаг 1. Проверить доступность Sitemap
Открываем XML-файл в браузере:
https://shop.example.ru/sitemap.xml Проверяем: доступен ли файл без авторизации, возвращает ли сервер HTTP 200, корректно ли отображается XML, нет ли ошибок структуры, присутствуют ли дочерние Sitemap, не заблокирован ли файл в robots.txt.
Затем открываем Google Search Console → Индексирование → Файлы Sitemap. Смотрим дату последнего чтения, статус обработки, количество обнаруженных URL, ошибки обработки, предупреждения.
Шаг 2. Проверить все URL из Sitemap через Screaming Frog
Загружаем Sitemap в Screaming Frog SEO Spider. Можно использовать режим List и загрузку XML Sitemap либо включить обработку Sitemap во время обычного краулинга.
Проверяем каждый URL на: HTTP-ответ, indexability, canonical, meta robots, глубину обхода, Title, H1, наличие внутренних ссылок, редиректы.
Особое внимание уделяем фильтру Non-Indexable URLs in Sitemap — он позволяет выявить адреса, которые включены в XML-файл, но фактически не являются индексируемыми. Также полезен фильтр Orphan URLs — страницы из Sitemap, которые не обнаруживаются через обычные внутренние ссылки.
Шаг 3. Сопоставить Sitemap с внутренним краулингом
Создаём две выгрузки: URL из XML Sitemap и URL, обнаруженные через внутренние ссылки. Затем сравниваем массивы.
| Группа | Что означает |
|---|---|
| Есть в Sitemap и в краулинге | URL присутствует в карте и доступен через структуру сайта |
| Есть в Sitemap, но нет в краулинге | Кандидаты на страницы-сироты |
| Есть в краулинге, но нет в Sitemap | Нужно проверить, должны ли эти URL индексироваться |
Отсутствие страницы в Sitemap не всегда является ошибкой. Туда не обязательно добавлять технические, дублирующие и не предназначенные для индексации адреса.
Шаг 4. Проверить причины исключения через Google Search Console
Переходим в отчёт «Индексирование страниц». Используем фильтр отправленных URL и анализируем причины исключения. Например: Crawled - currently not indexed, Discovered - currently not indexed, Duplicate, Excluded by noindex, Page with redirect, Not found.
Формируем отдельные группы URL по каждой причине — это гораздо эффективнее, чем проверять страницы случайным образом.
Шаг 5. Использовать URL Inspection для выборочной проверки
Для каждого проблемного кластера выбираем несколько характерных URL и проверяем: известен ли URL Google, когда робот последний раз посещал страницу, разрешено ли индексирование, какой canonical указан владельцем, какой canonical выбрал Google, какой HTTP-ответ получает робот, как выглядит отрендеренная страница.
Шаг 6. Проанализировать серверные логи
Логи позволяют увидеть, что происходит после обнаружения URL. Для Googlebot анализируем: количество запросов, частоту посещений, HTTP-коды, время ответа, группы параметрических URL, обращения к товарам и категориям, повторные запросы к одним и тем же страницам.
| Группа URL | Запросы Googlebot |
|---|---|
| Категории | 18 500 |
| Карточки товаров | 34 200 |
| Страницы фильтров | 27 800 |
| URL с редиректами | 8 400 |
| Страницы с 404 | 4 600 |
| Технические адреса | 6 500 |
В этой модели 19 500 запросов пришлись на редиректы, 404 и технические адреса. Это не означает, что все эти запросы можно полностью устранить, но показывает, какие группы URL стоит исследовать в первую очередь.
5. Практический пример: в Sitemap 24 000 URL, а Google индексирует только 13 600 #
Рассмотрим условный интернет-магазин строительных материалов. Сайт содержит около 18 000 товарных карточек, 600 категорий и несколько сотен информационных страниц. XML Sitemap формируется автоматически на стороне CMS.
После проверки Google Search Console обнаружили, что значительная часть отправленных URL не включена в индекс.
| URL в Sitemap | 24 000 |
| Проиндексировано | 13 600 |
| Не проиндексировано | 10 400 |
| Доля проиндексированных URL | 56,7% |
После разделения URL по статусам выяснилось следующее:
Crawled - currently not indexed | 3 400 |
Discovered - currently not indexed | 2 100 |
Duplicate / Google chose different canonical | 1 800 |
Excluded by noindex | 1 100 |
Page with redirect | 900 |
Not found / Soft 404 | 700 |
| Server errors и прочие причины | 400 |
| Всего | 10 400 |
|---|
Первая группа — 1 100 URL с noindex
CMS автоматически добавляла в Sitemap страницы фильтров, которые были закрыты от индексирования. Решение: исключить эти адреса из XML-файла.
Вторая группа — 900 URL с редиректами
После обновления каталога старые адреса продолжали присутствовать в карте сайта. Решение: заменить старые URL конечными адресами и проверить цепочки перенаправлений.
Третья группа — 1 800 дублей
Часть карточек была доступна по нескольким URL, а canonical указывал на основную версию. Решение: оставить в Sitemap только предпочтительные канонические адреса и исправить внутренние ссылки.
Четвёртая группа — 3 400 просканированных, но не проиндексированных страниц
В основном это оказались товары с минимальным количеством информации и шаблонные категории с похожим содержимым. Решение: разделить страницы на группы, оценить их поисковую ценность, доработать полезные карточки и объединить действительно дублирующие материалы.
Пятая группа — 2 100 обнаруженных, но не просканированных URL
Обнаружили недостаточную внутреннюю перелинковку, большую глубину вложенности и большое количество малоприоритетных страниц. Решение: восстановить ссылки из категорий, пересмотреть структуру каталога и проверить серверные логи.
Что изменилось после внедрения
В рамках условной модели через десять недель провели повторный аудит.
| Показатель | До работ | После работ |
|---|---|---|
| URL в Sitemap | 24 000 | 19 200 |
| Проиндексировано | 13 600 | 15 100 |
| URL с редиректами в Sitemap | 900 | 12 |
| URL с noindex в Sitemap | 1 100 | 0 |
| Подтверждённые проблемные дубли | 1 800 | 260 |
Доля проиндексированных URL в этой модели увеличилась с 56,7% до 78,6%.
Снижение количества URL в Sitemap само по себе не является результатом SEO-продвижения. Цель — оставить в карте действительно нужные страницы и обеспечить их корректную обработку.
6. Как исправить Sitemap для Google и Яндекса #
6.1. Какие URL должны находиться в XML Sitemap
Рекомендуется включать: канонические страницы категорий, полезные карточки товаров, качественные информационные материалы, самостоятельные посадочные страницы, другие страницы, которые действительно должны участвовать в поиске.
Не следует автоматически включать: URL с noindex, редиректы, страницы с ответом 404, дублирующие параметрические адреса, технические страницы, URL, которые не должны индексироваться.
6.2. Как организовать Sitemap крупного интернет-магазина
Для большого каталога удобнее разделять карту сайта по типам страниц:
/sitemap_index.xml
/sitemap_categories.xml
/sitemap_products_1.xml
/sitemap_products_2.xml
/sitemap_products_3.xml
/sitemap_articles.xml
/sitemap_brands.xml Такой подход помогает быстрее находить проблемы в конкретных группах URL. Например, если после обновления каталога резко увеличилось количество исключённых карточек товаров, можно отдельно проверить sitemap_products.
6.3. Что делать с lastmod
В XML Sitemap можно указывать дату последнего существенного изменения страницы:
https://shop.example.ru/product/example/ 2026-11-10 Не стоит автоматически менять lastmod каждый день, если содержимое страницы фактически не изменялось. Используйте реальную дату значимого обновления: изменились характеристики товара, обновилась информация о наличии, изменилось основное содержимое статьи, была переработана категория.
7. Особенности диагностики в Яндекс Вебмастере #
Для российского сегмента поиска важно проводить отдельную проверку Яндекса. Наличие корректного XML-файла не гарантирует, что все страницы будут включены в поисковую базу.
В Яндекс Вебмастере проверяем:
- Раздел индексирования и статистику обхода.
- Состояние Sitemap.
- Ошибки обработки XML.
- Ответы сервера.
- Дубли страниц с GET-параметрами.
- Страницы, исключённые из поиска.
- Настройки robots.txt.
Яндекс отдельно документирует ситуации, когда Sitemap не обработан, недоступен роботу, содержит ошибки или ещё ожидает обработки.
8. Почему не нужно добиваться 100% индексации #
Одна из распространённых ошибок — считать успешность SEO-аудита по проценту проиндексированных URL.
Представим сайт с 20 000 адресов. В индексе находятся 12 000 страниц. Оставшиеся 8 000 включают технические дубли, сортировочные URL, страницы с noindex, устаревшие товары, пустые фильтры и несуществующие адреса.
В такой ситуации стремление довести индексирование до 100% может привести к появлению в поиске большого количества страниц без самостоятельной ценности.
Правильная задача: определить, какие URL должны индексироваться, и обеспечить корректную обработку именно этой группы. Для коммерческого сайта особенно важно отдельно контролировать основные категории, приоритетные товарные карточки, брендовые страницы, полезные SEO-посадочные и информационные статьи. Именно по этим группам нужно оценивать качество индексирования.
9. Чек-лист технического аудита Sitemap #
Перед завершением работ рекомендую проверить следующие пункты:
- Sitemap открывается и возвращает HTTP 200.
- XML-файл корректно обрабатывается поисковыми системами.
- Все URL указаны в абсолютном формате.
- В Sitemap находятся предпочтительные канонические адреса.
- Нет страниц с noindex.
- Нет URL с ответами 404 и 5xx.
- Нет редиректов.
- Нет массовых параметрических дублей.
- Проверены HTTP-заголовки X-Robots-Tag.
- Проверена доступность важных страниц для Googlebot.
- Сопоставлены Sitemap и внутренний краулинг.
- Найдены страницы-сироты.
- Проверены canonical, выбранные Google.
- Проанализированы статусы Page Indexing.
- Проверены серверные логи.
- Проверена корректность lastmod.
- Sitemap разделён по типам страниц, если это необходимо.
- После исправлений выполнен повторный аудит.
10. FAQ: частые вопросы о Sitemap и индексации #
Почему Google не индексирует страницы, которые находятся в Sitemap?
Sitemap помогает обнаружить URL, но не гарантирует их включение в индекс. Причиной могут быть дубли, недостаточная ценность контента, неправильный canonical, noindex, ошибки HTTP или проблемы рендеринга.
Сколько времени Google индексирует страницы после отправки Sitemap?
Универсального срока нет. Обнаружение, сканирование и индексирование зависят от множества факторов. Google не гарантирует конкретные сроки даже после отправки файла или запроса на индексирование.
Нужно ли добавлять в Sitemap все страницы сайта?
Нет. В Sitemap рекомендуется размещать канонические URL, которые действительно должны участвовать в поиске. Технические страницы, дубли, редиректы и адреса с noindex не должны автоматически попадать в карту.
Что означает статус Crawled - currently not indexed?
Googlebot просканировал страницу, но пока не включил её в индекс. Нужно проверить содержимое, дублирование, canonical и другие сигналы. Сам статус не доказывает наличие технической ошибки.
Что означает Discovered - currently not indexed?
Google знает о URL, но пока не просканировал его. Стоит проверить внутреннюю перелинковку, глубину вложенности, доступность сайта и характер обхода поисковым роботом.
Можно ли отправить Sitemap повторно, чтобы ускорить индексацию?
Повторная отправка не гарантирует ускорения. Если проблема в качестве страниц, дублях или технических ошибках, сначала нужно устранить причину.
Нужно ли удалять из Sitemap страницы, которые Google не индексирует?
Если URL не должен индексироваться — да. Если страница важная и имеет самостоятельную ценность, сначала необходимо разобраться с причиной исключения и исправить её.
Как проверить, какие URL из Sitemap проиндексированы?
В Google Search Console можно открыть отчёт индексирования страниц и выбрать фильтр отправленных URL или конкретный Sitemap. Для отдельных адресов используется URL Inspection.
Заключение ↑
XML Sitemap — это не гарантия индексации, а инструмент управления обнаружением важных страниц.
Если поисковая система получает тысячи URL, но значительная часть остаётся вне индекса, необходимо искать причину глубже, чем просто в настройках XML-файла.
В одних случаях проблема находится в технической генерации Sitemap. В других — в canonical, HTTP-ответах, качестве контента, внутренней перелинковке или рендеринге страниц.
Наиболее эффективный подход — сопоставить данные Sitemap, краулинга, серверных логов и поисковых панелей. Только так можно понять, какие страницы действительно нуждаются в исправлении, какие должны быть исключены из карты сайта, а какие уже не имеют самостоятельной поисковой ценности.
Нужен технический SEO-аудит сайта?
Проверю XML Sitemap, индексацию в Google и Яндексе, дубли, canonical, внутреннюю перелинковку и работу поисковых роботов.
SEO-продвижение, техническая оптимизация и GEO.
