Разбор полного цикла работ: от сбора выборки из пяти источников и массовой проверки HTTP-ответов до устранения пяти системных проблем, карты задач для разработчиков и контрольных точек после внедрения.
Модельный технический кейс SEO PROF 74. Демонстрационный проект, подготовленный на основе типовых ситуаций при аудите крупных интернет-магазинов. Название компании, URL, показатели и результаты условные. Материал показывает методику диагностики, структуру отчёта и варианты технических решений.
У интернет-магазина может быть хороший ассортимент, удобный каталог и тысячи товарных страниц. Но за внешне работающим сайтом иногда скрывается целый комплекс технических проблем: старые URL продолжают участвовать в навигации, сервер возвращает неправильные статусы, фильтры создают дубли, а поисковые роботы регулярно обращаются к страницам, которые не должны существовать.
В этом разборе покажем, как можно провести комплексную техническую проверку интернет-магазина с каталогом из 32 000 URL: от первичного сбора данных до исправления ошибок на уровне CMS, сервера и структуры сайта.
Не просто собрать список страниц с ошибками, а определить причины их появления и найти системные решения, которые устраняют целые группы проблем, а не отдельные URL.
Ниже — рабочая выборка, пять системных проблем, карта задач для разработчиков и контрольные точки после внедрения.
На начальном этапе мы рассматриваем типичную ситуацию: сайт доступен, основные разделы открываются, товары отображаются, оформление заказа работает.
Однако при проверке поисковой видимости и технических отчётов обнаруживаются признаки нестабильной работы отдельных разделов:
Первоначальная гипотеза: проблемы не ограничиваются отдельными страницами. Вероятнее всего, несколько технических механизмов сайта работают несогласованно — генерация URL, маршрутизация CMS, редиректы и обработка удалённых товаров.
Для сбора первичных данных использовали краулинг сайта и отдельную проверку заранее подготовленного списка адресов. Это позволило проверить не только страницы, которые можно обнаружить через текущую навигацию, но и старые URL.
Первое важное решение — не ограничиваться адресами, которые обнаруживает обычный обход сайта.
Краулер хорошо показывает текущую структуру внутренних ссылок, но не обязательно обнаружит старые URL, которые больше нигде не упоминаются, но продолжают запрашиваться поисковыми роботами или пользователями.
Поэтому для формирования рабочей выборки объединили несколько источников данных.
| Источник | Количество URL | Назначение |
|---|---|---|
| XML Sitemap | 18 400 | Адреса, заявленные сайтом для поисковых систем |
| Внутренний краулинг | 21 600 | URL, обнаруженные через внутренние ссылки |
| Серверные логи | 14 800 | Уникальные адреса из фактических запросов за 30 дней |
| Историческая база URL | 6 300 | Старые адреса и URL после изменения структуры |
| Панели вебмастеров | 4 900 | Адреса из отчётов об индексации и сканировании |
Эти источники пересекаются. Например, один и тот же URL может одновременно присутствовать в Sitemap, краулинге и серверных логах. Поэтому их нельзя складывать напрямую.
После нормализации и удаления дублей получена единая выборка из 32 000 уникальных URL.
Последний пункт особенно важен. URL из Sitemap и URL из исторических логов требуют разной интерпретации. Первый сайт продолжает заявлять как актуальный, второй может быть устаревшим, но всё ещё получать обращения.
Для более глубокого понимания этого этапа см. материал Log File Analysis: анализ серверных логов для SEO.
После формирования выборки провели массовую проверку HTTP-ответов. Для каждого URL фиксировались:
Первичное распределение выглядело следующим образом.
| HTTP-статус | Количество URL | Доля выборки | Первичная оценка |
|---|---|---|---|
| 200 | 26 240 | 82% | Требуется дополнительная проверка содержимого |
| 301 | 2 240 | 7% | Проверить конечные адреса и внутренние ссылки |
| 302 | 480 | 1,5% | Проверить обоснованность временных редиректов |
| 404 | 1 760 | 5,5% | Определить, какие URL должны существовать |
| 403 | 320 | 1% | Проверить доступность публичных страниц |
| 5xx | 640 | 2% | Проверить сервер и приложение |
| Прочие ответы и ошибки соединения | 320 | 1% | Дополнительная диагностика |
| Всего | 32 000 | 100% |
Наличие статуса, отличного от 200, само по себе не означает ошибку. Например, корректный 301 после переноса страницы или 404 для окончательно удалённого товара могут быть ожидаемым поведением.
Поэтому следующим этапом стало сопоставление фактических ответов с ожидаемыми статусами.
При анализе 404 обнаружилась группа URL, которые продолжали использоваться в навигации сайта.
Причина — удаление или замена товаров без обновления всех связанных элементов каталога. В результате адреса отсутствующих карточек оставались:
| URL | HTTP-статус | Источник ссылки | Проблема |
|---|---|---|---|
| /catalog/tools/old-model-1/ | 404 | Категория инструментов | Старая ссылка в карточке категории |
| /catalog/materials/item-245/ | 404 | Блок рекомендаций | Товар удалён, ссылка осталась |
| /catalog/paint/old-color/ | 404 | Статья блога | Ссылка ведёт на старую карточку |
В демонстрационной выборке обнаружено 218 URL товаров с ошибкой 404, на которые продолжали вести внутренние ссылки.
Мы не перенаправляли все удалённые товары на главную или общий каталог. Редирект применялся только там, где существовала действительно релевантная замена.
Внутренние ссылки на несуществующие товарные страницы были устранены или направлены на соответствующие актуальные ресурсы. Оставшиеся 404 были проверены отдельно и классифицированы как ожидаемые либо требующие дальнейшего решения.
Следующая группа проблем была связана с перенаправлениями. После изменения структуры каталога часть старых URL перенаправлялась не напрямую на новые страницы, а проходила через несколько промежуточных адресов.
Старый URL
/catalog/materials/item-1/
|
| 301
v
Промежуточный URL
/catalog/item-1/
|
| 302
v
Новый URL
/products/item-1/
|
| 200
v
Финальная страница Такая цепочка не обязательно означает, что страница недоступна. Но она показывает, что правила перенаправления и внутренние ссылки требуют оптимизации.
| Тип проблемы | Количество |
|---|---|
| Старые URL без корректного перенаправления | 390 |
| 302 вместо ожидаемого постоянного редиректа | 176 |
| Цепочки из двух и более переходов | 284 |
Группы могут пересекаться: один старый URL мог одновременно участвовать в цепочке и иметь неправильный промежуточный статус.
Пример целевого поведения:
Старый URL
/catalog/materials/item-1/
|
| 301
v
Новый URL
/products/item-1/
|
| 200
v
Финальная страница Для проектов после смены CMS, домена или структуры каталога эта работа особенно важна. Подробнее процесс описан в статье «Переезд сайта без потери SEO-трафика: полный план миграции».
При проверке группы URL со статусом 200 обнаружилась отдельная проблема: часть страниц фактически не содержала товарного предложения. Сервер возвращал успешный ответ, но в HTML отображалось сообщение:
Товар не найден.
Возможно, он был удалён или больше не доступен. Для обычного HTTP-краулинга такие адреса выглядели успешными. Однако с точки зрения содержимого это были страницы отсутствующих товаров.
В условной выборке выявлено 510 адресов, которые требовали проверки как потенциальные soft 404.
Для каждого сценария определили правильную серверную логику:
| Ситуация | Решение |
|---|---|
| Товар временно отсутствует, но продолжает продаваться | Оставить страницу доступной и корректно показать наличие или сроки поставки. |
| Товар заменён новой моделью | Настроить релевантный постоянный редирект, если замена действительно соответствует старой странице. |
| Товар окончательно удалён без замены | Возвращать корректный 404 или 410. |
| Категория временно пуста | Проверить её назначение и перспективу восстановления ассортимента, не подменять автоматически ошибкой. |
Здесь важно не применять один универсальный статус ко всем страницам. Решение зависит от реального состояния ресурса и бизнес-логики магазина.
Отдельно исследовали ответы сервера, которые могут указывать на проблемы доступности. В выборке обнаружились URL с 403 и периодическими серверными ошибками.
Часть публичных страниц возвращала 403. Это требовало проверки правил защиты, WAF и ограничений запросов. Проверяли:
Нельзя считать проверку через curl с подставленным User-Agent доказательством того, что настоящий Googlebot получает такой же ответ. Для этого необходимо изучать фактические запросы и проверять IP поисковых роботов.
В серверных логах обнаружились повторяющиеся 500, 502 и 503. Ошибки возникали не постоянно, а в отдельные интервалы времени. Для расследования сопоставили:
В демонстрационном сценарии часть ошибок оказалась связана с перегрузкой приложения при одновременном выполнении тяжёлых запросов к каталогу.
Решение включало оптимизацию отдельных запросов, проверку кэширования и устранение ошибок обработки запросов. Конкретные изменения конфигурации должны определяться разработчиками после проверки логов и окружения.
После проверки HTTP-ответов мы перешли к анализу структуры каталога. Выяснилось, что часть URL создавалась комбинациями фильтров, сортировки и параметров отображения. Например:
/catalog/tools/
/catalog/tools/?brand=bosch
/catalog/tools/?brand=bosch&color=black
/catalog/tools/?brand=bosch&color=black&sort=price
/catalog/tools/?brand=bosch&color=black&sort=price&page=2 Не каждая такая комбинация представляла самостоятельную посадочную страницу. Некоторые адреса были полезны посетителям для фильтрации каталога, но не имели самостоятельной SEO-ценности.
По результатам анализа разделили адреса на три группы:
Фильтры с самостоятельным спросом: отдельные контролируемые посадочные страницы с уникальными Title, H1 и содержанием.
Полезны посетителю, но не имеют самостоятельной SEO-ценности: ограничение индексации и нормализация URL по выбранной стратегии.
Бесполезные сочетания параметров: устранение бесконтрольной генерации и корректная обработка ответов сервера.
Решения по фильтрам не сводятся к массовому закрытию всех параметров в robots.txt. Сначала нужно определить, какие комбинации действительно полезны, и только затем выбирать способ обработки.
Подробная методика описана в статье «Faceted Navigation SEO: как фильтры создают миллионы URL и что с этим делать».
Следующий этап — сопоставление технического состояния URL с данными поисковых систем. Проверяли, какие страницы присутствуют в XML Sitemap, какие URL фактически доступны, какие адреса обнаруживаются поисковыми системами и какие из них исключаются из индекса.
Отдельно анализировали:
В рамках проверки выявляли не только неправильные HTTP-ответы, но и расхождения между тем, что сайт заявляет в карте, и тем, что фактически доступно.
Связанные материалы:
Для демонстрационного проекта использовался комбинированный подход. Каждый инструмент решал свою задачу.
| Инструмент | Задача | Результат |
|---|---|---|
| Screaming Frog SEO Spider | Краулинг, статусы, редиректы, внутренние ссылки | Первичная карта проблем |
| List Mode | Проверка подготовленной выборки URL | Массовое сопоставление адресов |
| Python | Обработка CSV и автоматизация проверки | Единая таблица результатов |
| curl | Проверка отдельных HTTP-ответов | Диагностика серверного поведения |
| Access Logs | Фактические запросы и ответы сервера | История обращений роботов и пользователей |
| Google Search Console | Отчёты индексирования и проверка URL | Данные о состоянии страниц в Google |
| Яндекс Вебмастер | Статусы обхода и диагностика страниц | Данные о состоянии URL в Яндексе |
curl -sS -L -D headers.txt \
-o page.html \
-w "HTTP: %{http_code}\nFinal URL: %{url_effective}\nTime: %{time_total}\n" \
https://example.ru/catalog/item-1/ Команда позволяет получить конечный статус, конечный URL после перенаправлений и время выполнения запроса. Заголовки сохраняются в отдельный файл, а тело ответа — в HTML-файл для последующей проверки.
if actual_status == expected_status:
result = "MATCH"
elif actual_status in [500, 502, 503, 504]:
result = "SERVER_ERROR"
elif actual_status == 404:
result = "NOT_FOUND_REVIEW"
elif actual_status in [301, 302, 307, 308]:
result = "REDIRECT_REVIEW"
else:
result = "STATUS_MISMATCH" Это упрощённый фрагмент логики. В реальной системе классификация должна учитывать тип URL, конечный адрес, наличие внутренних ссылок и ожидаемое состояние ресурса.
После первичного анализа и дополнительной проверки сформировали отдельный список проблемных URL и сгруппировали их по типу ошибки. Отфильтруйте таблицу по группе, чтобы увидеть только релевантные задачи.
Показано 8 из 8 проблемных групп
| Проблема | Количество URL | Причина | Решение | Критичность |
|---|---|---|---|---|
| 404 на действующих категориях | 46 | Ошибка маршрутизации | Исправление маршрутов CMS | Высокая |
| 404 на товарах с внутренними ссылками | 218 | Удаление без обновления ссылок | Замена ссылок или восстановление релевантных страниц | Высокая |
| Старые URL после миграции | 390 | Неполная карта редиректов | Redirect Mapping | Средняя |
| 302 вместо ожидаемого 301 | 176 | Неправильное правило перенаправления | Корректировка правил | Средняя |
| Цепочки редиректов | 284 | Последовательные правила перенаправления | Прямые переходы на конечный URL | Средняя |
| 403 на публичных страницах | 92 | Ограничения WAF | Проверка правил доступа | Высокая |
| Повторяющиеся 5xx | 148 | Проблемы приложения и нагрузки | Диагностика серверной части | Высокая |
| Потенциальные Soft 404 | 510 | 200 OK на страницах без содержимого | Корректная обработка отсутствующих ресурсов | Низкая |
Категории проблем могут пересекаться. Например, старый URL может одновременно участвовать в цепочке редиректов, а страница с soft 404 входит в группу ответов 200. Поэтому строки нельзя складывать для получения общего количества уникальных ошибочных URL.
После завершения диагностики сформировали не просто список замечаний, а последовательность технических задач.
После внедрения исправлений повторно проверили исходную выборку и проблемные группы URL. Ниже приведены демонстрационные значения, показывающие, как может выглядеть итоговый отчёт технического аудита.
| Показатель | До внедрения | После внедрения | Динамика |
|---|---|---|---|
| 404 на действующих категориях | 46 | 0 | −46 |
| 404 на товарах с внутренними ссылками | 218 | 12 | −206 |
| Старые URL с неправильным редиректом | 390 | 24 | −366 |
| 302 вместо ожидаемого 301 | 176 | 8 | −168 |
| Цепочки редиректов | 284 | 31 | −253 |
| 403 на публичных страницах | 92 | 0 | −92 |
| Повторяющиеся 5xx | 148 | 9 | −139 |
| Подтверждённые Soft 404 | 510 | 0 | −510 |
Оставшиеся URL не следует автоматически считать ошибками. Например, часть товаров могла быть окончательно удалена, часть старых адресов могла не иметь релевантной замены, а отдельные серверные сбои могли быть единичными и требовать наблюдения.
Мы не приписываем этим изменениям автоматический рост органического трафика. Исправление технических ошибок улучшает корректность обработки сайта поисковыми системами, но фактическая динамика индексации, видимости и посещаемости должна оцениваться отдельно по данным аналитики и панелей вебмастеров.
Техническая работа не заканчивается после исправления списка URL. Необходимо убедиться, что проблема не возникает повторно. Для этого формируется контрольная выборка из важных категорий, товаров, старых адресов и URL с параметрами.
HTTP-статусы, редиректы, конечные URL, доступность важных страниц.
Повторные обращения к проблемным URL, новые ошибки в логах.
Динамика HTTP-ответов, доступность страниц, состояние Sitemap.
Изменения в отчётах индексирования и повторные обращения поисковых роботов.
Сроки зависят от частоты обхода сайта и характера изменений. Не следует ожидать, что поисковые системы обновят все сведения об URL сразу после внедрения.
Массовый HTTP Status Code Mapping часто позволяет обнаружить проблемы, которые изначально не входили в техническое задание.
Страницы существуют и доступны, но не имеют нормальных внутренних ссылок и медленно попадают в индекс.
В индексе накапливаются дубли, технические и мусорные страницы, которые забирают ресурсы обхода.
Роботы тратят запросы на URL, которые не представляют ценности, вместо страниц с реальным спросом.
Фильтры создают слишком большое пространство адресов, часть из которых не должна существовать вовсе.
Старые адреса после переезда не сопоставлены с новыми, часть трафика и ссылок теряется.
Поисковые роботы регулярно обращаются к страницам с нестабильными ответами — сигнал о скрытых сбоях.
Именно поэтому массовая проверка HTTP-статусов полезна не только как отдельная процедура, но и как часть комплексного технического SEO-аудита.
Ниже — рабочие артефакты, которые мы готовим по итогам таких проектов: чек-лист проверки, матрица приоритетов задач, структура отчёта, регламент повторной проверки и команды, которые экономят часы ручной работы.
Отметьте выполненные пункты — прогресс фиксируется на странице и помогает не потерять ни один этап.
Помогает распределить задачи между блоками A–D и не смешивать блокеры с косметикой.
| Приоритет | Критерий | Срок |
|---|---|---|
| P0 — блокеры | Публичные страницы недоступны, повторяющиеся 5xx, ошибки в корзине и шапке | 1–3 дня |
| P1 — критично | Массовые группы URL: 404, цепочки редиректов, подтверждённые soft 404 | 1–2 недели |
| P2 — важно | Дубли, параметрические URL, canonical, технические страницы в индексе | 2–4 недели |
| P3 — гигиена | Единичные 404 из внешних ссылок, редкие коды, мелкие несоответствия | Бэклог |
Отчёт = факт + причина + действие + проверка. Всё остальное — приложения.
Технический результат живёт недолго, если нет регулярного контроля. Рабочий ритм, который мы рекомендуем после внедрения.
| Период | Объём проверки | Инструмент | Критерий приёмки |
|---|---|---|---|
| Через 24 часа | Выборочная: все P0-адреса и изменённые категории | curl, логи | Нет ответов 4xx/5xx на публичных URL |
| Через 72 часа | Полный перебор проблемных групп | List Mode | Статусы соответствуют ожидаемым |
| Через 14 дней | Полный обход + сверка с отчётами вебмастеров | Screaming Frog, GSC, ЯВМ | Нет новых 404 в индексе |
| Через 30 дней | Аудит параметрических URL и индексации | Краулинг + Index Bloat | Доля служебных URL снижается |
| Раз в квартал | Полный аудит выборки и контроль логов | Полный набор инструментов | Нет критичных отклонений от базовой линии |
Массовая проверка статусов, разбор цепочек редиректов, поиск 5xx в логах и проверка canonical — в одном месте.
Массовая проверка списка URL с параллельными запросами
cat urls.txt | xargs -P 12 -I {} \
curl -sS -o /dev/null \
-w "{}\t%{http_code}\t%{url_effective}\t%{time_total}\n" {} \
>> status_$(date +%F).tsv Разбор цепочки редиректов и поиск циклов
curl -sSI -L --max-redirs 10 -o /dev/null \
-w "redirects: %{num_redirects}\nfinal: %{url_effective}\ncode: %{http_code}\n" \
https://example.ru/catalog/materials/item-1/ Топ URL с 5xx за сутки по серверному логу
awk '$9 ~ /^5/ {print $7}' access.log \
| sort | uniq -c | sort -rn | head -20 Проверка canonical и валидности Sitemap
curl -sS https://example.ru/catalog/item-1/ \
| grep -i -o '<link[^>]*rel="canonical"[^>]*>'
curl -sS https://example.ru/sitemap.xml | xmllint --noout - В этом модельном примере ключевая проблема заключалась не в одном неправильном HTTP-коде, а в несогласованной работе нескольких технических механизмов.
Удаление товаров не сопровождалось обновлением ссылок. Изменение структуры каталога оставило цепочки перенаправлений. CMS возвращала 200 для части отсутствующих страниц. Параметры фильтров создавали дополнительные URL, а отдельные правила защиты ограничивали доступ к публичным страницам.
По отдельности каждая проблема могла выглядеть незначительной. Но при объединении данных стало видно, что ошибки затрагивают разные уровни сайта и требуют системного подхода.
Статус 200 сам по себе ничего не гарантирует: страница может отдавать пустой или ошибочный контент и при этом считаться успешной.
Обновление блока рекомендаций в CMS убирает сразу десятки 404, а правило редиректов на уровне сервера — сотни цепочек.
Регламент повторной проверки и контрольные точки — часть работы, а не её завершение. Без них каталог возвращается к исходному состоянию.
Главный вывод: на крупных интернет-магазинах нельзя ограничиваться проверкой отдельных URL. Необходимо сопоставлять фактические HTTP-ответы с ожидаемым поведением страниц, источниками ссылок, Sitemap, логами и архитектурой каталога. Только так можно определить, где находится первопричина проблемы и какое изменение устранит её сразу для целой группы адресов.
Если хотите глубже разобраться в отдельных этапах диагностики, рекомендуем следующие материалы SEO PROF 74:
Если интернет-магазин содержит тысячи URL, регулярно генерирует новые страницы или испытывает проблемы с индексацией, имеет смысл начать с технической диагностики.
Результат — структурированный список обнаруженных проблем, их приоритетов и рекомендаций по исправлению.
Обсудить технический аудит в Telegram