SEO PROF 74 · техническое SEO, аудит и диагностика сайтов
Модельный кейс · интернет-магазин · 32 000 URL

Технический аудит интернет-магазина: как мы нашли и устранили системные ошибки на 32 000 URL

Разбор полного цикла работ: от сбора выборки из пяти источников и массовой проверки HTTP-ответов до устранения пяти системных проблем, карты задач для разработчиков и контрольных точек после внедрения.

Панель мониторинга HTTP-кодов: суточная динамика ответов 2xx, 3xx, 4xx и 5xx и таблица URL с частотой запросов
Рабочая панель аудита: распределение HTTP-статусов по дням и реестр URL с накопительными счётчиками Hits, Bots и Humans.

Кратко о проекте

Модельный технический кейс SEO PROF 74. Демонстрационный проект, подготовленный на основе типовых ситуаций при аудите крупных интернет-магазинов. Название компании, URL, показатели и результаты условные. Материал показывает методику диагностики, структуру отчёта и варианты технических решений.

У интернет-магазина может быть хороший ассортимент, удобный каталог и тысячи товарных страниц. Но за внешне работающим сайтом иногда скрывается целый комплекс технических проблем: старые URL продолжают участвовать в навигации, сервер возвращает неправильные статусы, фильтры создают дубли, а поисковые роботы регулярно обращаются к страницам, которые не должны существовать.

В этом разборе покажем, как можно провести комплексную техническую проверку интернет-магазина с каталогом из 32 000 URL: от первичного сбора данных до исправления ошибок на уровне CMS, сервера и структуры сайта.

Тип проекта
Интернет-магазин строительных и отделочных материалов
Регион продвижения
Россия
Тип сайта
E-commerce, многоуровневый каталог
CMS
Условная конфигурация на 1С-Битрикс
Объём рабочей выборки
32 000 уникальных URL
Инструменты
Screaming Frog, Python, curl, серверные логи, Google Search Console, Яндекс Вебмастер
Формат работ
Технический аудит, карта проблем, рекомендации, повторная проверка
Главная задача

Не просто собрать список страниц с ошибками, а определить причины их появления и найти системные решения, которые устраняют целые группы проблем, а не отдельные URL.

Ниже — рабочая выборка, пять системных проблем, карта задач для разработчиков и контрольные точки после внедрения.

  • Диагностика: статус, редиректы, ссылки, содержимое, логи
  • Пять групп системных проблем с приоритетами
  • План внедрения в четырёх блоках задач
  • Повторная проверка и регламент контроля
  • Практикум: чек-лист, шаблон отчёта, команды проверки

Методика диагностики

01С чего начался аудит: внешне сайт работал нормально

На начальном этапе мы рассматриваем типичную ситуацию: сайт доступен, основные разделы открываются, товары отображаются, оформление заказа работает.

Однако при проверке поисковой видимости и технических отчётов обнаруживаются признаки нестабильной работы отдельных разделов:

  • часть товарных страниц периодически становится недоступной;
  • в отчётах появляются URL с ошибками 404;
  • старые адреса после изменения структуры продолжают встречаться во внутренних ссылках;
  • некоторые страницы фильтров индексируются как самостоятельные документы;
  • поисковые роботы обращаются к большому количеству параметрических URL;
  • в логах встречаются повторяющиеся ответы 500 и 503.

Первоначальная гипотеза: проблемы не ограничиваются отдельными страницами. Вероятнее всего, несколько технических механизмов сайта работают несогласованно — генерация URL, маршрутизация CMS, редиректы и обработка удалённых товаров.

Что проверили на первом этапе

  1. Доступность главной страницы, категорий и карточек товаров.
  2. HTTP-статусы URL из XML Sitemap.
  3. Внутренние ссылки на несуществующие страницы.
  4. Цепочки и циклы перенаправлений.
  5. Поведение страниц с параметрами и фильтрами.
  6. Ответы сервера на запросы поисковых роботов.
  7. Содержимое страниц, которые возвращают 200 OK.

Для сбора первичных данных использовали краулинг сайта и отдельную проверку заранее подготовленного списка адресов. Это позволило проверить не только страницы, которые можно обнаружить через текущую навигацию, но и старые URL.

Сводный дашборд технического аудита: критические ошибки, статус обхода, индексация и разбивка находок по критичности
Рабочая среда аудита: критические ошибки, частота обхода, состояние индексации и разбивка находок по критичности.

02Формирование выборки: почему одного краулинга недостаточно

Первое важное решение — не ограничиваться адресами, которые обнаруживает обычный обход сайта.

Краулер хорошо показывает текущую структуру внутренних ссылок, но не обязательно обнаружит старые URL, которые больше нигде не упоминаются, но продолжают запрашиваться поисковыми роботами или пользователями.

Поэтому для формирования рабочей выборки объединили несколько источников данных.

Внутренний краулинг21 600 URL
XML Sitemap18 400 URL
Серверные логи за 30 дней14 800 URL
Историческая база URL6 300 URL
Панели вебмастеров4 900 URL
Уникальных URL после дедупликации32 000
ИсточникКоличество URLНазначение
XML Sitemap18 400Адреса, заявленные сайтом для поисковых систем
Внутренний краулинг21 600URL, обнаруженные через внутренние ссылки
Серверные логи14 800Уникальные адреса из фактических запросов за 30 дней
Историческая база URL6 300Старые адреса и URL после изменения структуры
Панели вебмастеров4 900Адреса из отчётов об индексации и сканировании

Эти источники пересекаются. Например, один и тот же URL может одновременно присутствовать в Sitemap, краулинге и серверных логах. Поэтому их нельзя складывать напрямую.

После нормализации и удаления дублей получена единая выборка из 32 000 уникальных URL.

Что делали при нормализации

  • Привели адреса к единому формату.
  • Проверили протокол и доменное имя.
  • Убрали дубли URL.
  • Сохранили параметры запроса для отдельного анализа.
  • Разделили URL по типам страниц.
  • Сохранили информацию об источнике обнаружения каждого адреса.

Последний пункт особенно важен. URL из Sitemap и URL из исторических логов требуют разной интерпретации. Первый сайт продолжает заявлять как актуальный, второй может быть устаревшим, но всё ещё получать обращения.

Для более глубокого понимания этого этапа см. материал Log File Analysis: анализ серверных логов для SEO.

03Первичная диагностика: распределение HTTP-статусов

После формирования выборки провели массовую проверку HTTP-ответов. Для каждого URL фиксировались:

  • исходный адрес;
  • фактический HTTP-статус;
  • конечный URL после редиректов;
  • цепочка перенаправлений;
  • Content-Type;
  • время ответа;
  • тип страницы;
  • источник обнаружения.

Первичное распределение выглядело следующим образом.

2xx · 26 240 3xx · 2 720 4xx · 2 080 5xx · 640 Прочие · 320
HTTP-статусКоличество URLДоля выборкиПервичная оценка
20026 24082%Требуется дополнительная проверка содержимого
3012 2407%Проверить конечные адреса и внутренние ссылки
3024801,5%Проверить обоснованность временных редиректов
4041 7605,5%Определить, какие URL должны существовать
4033201%Проверить доступность публичных страниц
5xx6402%Проверить сервер и приложение
Прочие ответы и ошибки соединения3201%Дополнительная диагностика
Всего32 000100%
Важно

Наличие статуса, отличного от 200, само по себе не означает ошибку. Например, корректный 301 после переноса страницы или 404 для окончательно удалённого товара могут быть ожидаемым поведением.

Поэтому следующим этапом стало сопоставление фактических ответов с ожидаемыми статусами.

Панель мониторинга с графиками показателей сервера и таблицами отчётов по посещаемости
Массовая проверка HTTP-ответов: сводный отчёт по статусам, времени ответа и типам страниц выгружается в единую таблицу.

04Проблема № 1. Внутренние ссылки вели на несуществующие товары

При анализе 404 обнаружилась группа URL, которые продолжали использоваться в навигации сайта.

Причина — удаление или замена товаров без обновления всех связанных элементов каталога. В результате адреса отсутствующих карточек оставались:

  • в блоках похожих товаров;
  • в рекомендациях на страницах категорий;
  • в старых подборках;
  • в отдельных элементах меню;
  • в ссылках из статей и информационных разделов.

Пример обнаруженной проблемы

URLHTTP-статусИсточник ссылкиПроблема
/catalog/tools/old-model-1/404Категория инструментовСтарая ссылка в карточке категории
/catalog/materials/item-245/404Блок рекомендацийТовар удалён, ссылка осталась
/catalog/paint/old-color/404Статья блогаСсылка ведёт на старую карточку

В демонстрационной выборке обнаружено 218 URL товаров с ошибкой 404, на которые продолжали вести внутренние ссылки.

Что сделали

  1. Собрали все внутренние ссылки на проблемные адреса.
  2. Проверили, существует ли актуальная замена товара.
  3. Для товаров с прямым аналогом определили соответствующий новый URL.
  4. Для окончательно удалённых товаров без релевантной замены оставили корректную обработку 404 или 410.
  5. Обновили ссылки в категориях, рекомендациях и информационных материалах.
Принцип

Мы не перенаправляли все удалённые товары на главную или общий каталог. Редирект применялся только там, где существовала действительно релевантная замена.

Технический результат

Внутренние ссылки на несуществующие товарные страницы были устранены или направлены на соответствующие актуальные ресурсы. Оставшиеся 404 были проверены отдельно и классифицированы как ожидаемые либо требующие дальнейшего решения.

05Проблема № 2. Неправильные редиректы после изменения структуры каталога

Следующая группа проблем была связана с перенаправлениями. После изменения структуры каталога часть старых URL перенаправлялась не напрямую на новые страницы, а проходила через несколько промежуточных адресов.

Пример цепочки

Старый URL
/catalog/materials/item-1/

        |
        | 301
        v

Промежуточный URL
/catalog/item-1/

        |
        | 302
        v

Новый URL
/products/item-1/

        |
        | 200
        v

Финальная страница

Такая цепочка не обязательно означает, что страница недоступна. Но она показывает, что правила перенаправления и внутренние ссылки требуют оптимизации.

Что обнаружили

Тип проблемыКоличество
Старые URL без корректного перенаправления390
302 вместо ожидаемого постоянного редиректа176
Цепочки из двух и более переходов284

Группы могут пересекаться: один старый URL мог одновременно участвовать в цепочке и иметь неправильный промежуточный статус.

Что внедрили

  • Сформировали таблицу Redirect Mapping.
  • Сопоставили старые URL с новыми страницами.
  • Заменили промежуточные переходы прямыми редиректами.
  • Исправили правила, которые создавали ненужные 302.
  • Обновили внутренние ссылки на конечные адреса.
  • Проверили отсутствие циклов перенаправления.

Пример целевого поведения:

Старый URL
/catalog/materials/item-1/

        |
        | 301
        v

Новый URL
/products/item-1/

        |
        | 200
        v

Финальная страница

Для проектов после смены CMS, домена или структуры каталога эта работа особенно важна. Подробнее процесс описан в статье «Переезд сайта без потери SEO-трафика: полный план миграции».

Рабочая таблица с данными аудита: соответствие старых и новых URL, статусы ответов и комментарии
Redirect Mapping: таблица соответствия старых и новых адресов — основа для настройки серверных правил перенаправления.

06Проблема № 3. Soft 404: сервер отвечал 200 на удалённые страницы

При проверке группы URL со статусом 200 обнаружилась отдельная проблема: часть страниц фактически не содержала товарного предложения. Сервер возвращал успешный ответ, но в HTML отображалось сообщение:

Товар не найден.
Возможно, он был удалён или больше не доступен.

Для обычного HTTP-краулинга такие адреса выглядели успешными. Однако с точки зрения содержимого это были страницы отсутствующих товаров.

Как выявляли проблему

  • Сравнивали размер HTML-документов.
  • Искали характерные сообщения об отсутствии товара.
  • Проверяли наличие основного контента.
  • Сравнивали Title и H1 у подозрительных страниц.
  • Проверяли URL через Search Console.
  • Сопоставляли результаты с данными CMS.

В условной выборке выявлено 510 адресов, которые требовали проверки как потенциальные soft 404.

Что исправили

Для каждого сценария определили правильную серверную логику:

СитуацияРешение
Товар временно отсутствует, но продолжает продаватьсяОставить страницу доступной и корректно показать наличие или сроки поставки.
Товар заменён новой модельюНастроить релевантный постоянный редирект, если замена действительно соответствует старой странице.
Товар окончательно удалён без заменыВозвращать корректный 404 или 410.
Категория временно пустаПроверить её назначение и перспективу восстановления ассортимента, не подменять автоматически ошибкой.
Правило

Здесь важно не применять один универсальный статус ко всем страницам. Решение зависит от реального состояния ресурса и бизнес-логики магазина.

07Проблема № 4. Ошибки 403 и 5xx на публичных страницах

Отдельно исследовали ответы сервера, которые могут указывать на проблемы доступности. В выборке обнаружились URL с 403 и периодическими серверными ошибками.

403: ограничения доступа

Часть публичных страниц возвращала 403. Это требовало проверки правил защиты, WAF и ограничений запросов. Проверяли:

  • доступность URL в обычном браузере;
  • ответы сервера на запросы с разных сетей;
  • правила CDN и WAF;
  • логи блокировок;
  • подлинность обращений поисковых роботов.
Методика

Нельзя считать проверку через curl с подставленным User-Agent доказательством того, что настоящий Googlebot получает такой же ответ. Для этого необходимо изучать фактические запросы и проверять IP поисковых роботов.

5xx: нестабильная работа приложения

В серверных логах обнаружились повторяющиеся 500, 502 и 503. Ошибки возникали не постоянно, а в отдельные интервалы времени. Для расследования сопоставили:

  • время запросов и ответы сервера;
  • URL, на которых повторялись ошибки;
  • загрузку приложения;
  • ошибки PHP и базы данных;
  • работу CDN и upstream-серверов.

В демонстрационном сценарии часть ошибок оказалась связана с перегрузкой приложения при одновременном выполнении тяжёлых запросов к каталогу.

Решение включало оптимизацию отдельных запросов, проверку кэширования и устранение ошибок обработки запросов. Конкретные изменения конфигурации должны определяться разработчиками после проверки логов и окружения.

Страница каталога интернет-магазина с товарными карточками, открытая в браузере на компьютере
Проверка публичных страниц: доступность карточек в браузере, корректность ответов сервера и поведение фильтров каталога.

08Проблема № 5. Фильтры каталога генерировали избыточные URL

После проверки HTTP-ответов мы перешли к анализу структуры каталога. Выяснилось, что часть URL создавалась комбинациями фильтров, сортировки и параметров отображения. Например:

/catalog/tools/

/catalog/tools/?brand=bosch

/catalog/tools/?brand=bosch&color=black

/catalog/tools/?brand=bosch&color=black&sort=price

/catalog/tools/?brand=bosch&color=black&sort=price&page=2

Не каждая такая комбинация представляла самостоятельную посадочную страницу. Некоторые адреса были полезны посетителям для фильтрации каталога, но не имели самостоятельной SEO-ценности.

Что проверили

  • Количество URL с параметрами.
  • Комбинации фильтров и сортировки.
  • Повторяющиеся наборы параметров в разном порядке.
  • Страницы с нулевым количеством товаров.
  • Canonical и фактическое содержимое страниц.
  • Долю запросов поисковых роботов к параметрическим URL.

По результатам анализа разделили адреса на три группы:

Группа A — ценные фильтры

Фильтры с самостоятельным спросом: отдельные контролируемые посадочные страницы с уникальными Title, H1 и содержанием.

Группа B — пользовательские фильтры

Полезны посетителю, но не имеют самостоятельной SEO-ценности: ограничение индексации и нормализация URL по выбранной стратегии.

Группа C — технические комбинации

Бесполезные сочетания параметров: устранение бесконтрольной генерации и корректная обработка ответов сервера.

Решения по фильтрам не сводятся к массовому закрытию всех параметров в robots.txt. Сначала нужно определить, какие комбинации действительно полезны, и только затем выбирать способ обработки.

Подробная методика описана в статье «Faceted Navigation SEO: как фильтры создают миллионы URL и что с этим делать».

Схема каталога: дубли, офферные и устаревшие страницы сведены к каноническим карточкам товаров
Итоговая модель каталога: дубли и офферные варианты сведены к каноническим карточкам, лишние страницы закрыты от индексации.

Инструменты и карта проблем

09Как проверяли индексацию и Sitemap

Следующий этап — сопоставление технического состояния URL с данными поисковых систем. Проверяли, какие страницы присутствуют в XML Sitemap, какие URL фактически доступны, какие адреса обнаруживаются поисковыми системами и какие из них исключаются из индекса.

Отдельно анализировали:

  • URL в Sitemap со статусом 301 или 404;
  • страницы с неправильным canonical;
  • дубли параметрических адресов;
  • страницы, которые сканируются, но не индексируются;
  • важные категории, которые редко обнаруживаются через внутренние ссылки.

В рамках проверки выявляли не только неправильные HTTP-ответы, но и расхождения между тем, что сайт заявляет в карте, и тем, что фактически доступно.

Связанные материалы:

10Инструменты и технические методы диагностики

Для демонстрационного проекта использовался комбинированный подход. Каждый инструмент решал свою задачу.

ИнструментЗадачаРезультат
Screaming Frog SEO SpiderКраулинг, статусы, редиректы, внутренние ссылкиПервичная карта проблем
List ModeПроверка подготовленной выборки URLМассовое сопоставление адресов
PythonОбработка CSV и автоматизация проверкиЕдиная таблица результатов
curlПроверка отдельных HTTP-ответовДиагностика серверного поведения
Access LogsФактические запросы и ответы сервераИстория обращений роботов и пользователей
Google Search ConsoleОтчёты индексирования и проверка URLДанные о состоянии страниц в Google
Яндекс ВебмастерСтатусы обхода и диагностика страницДанные о состоянии URL в Яндексе

Пример проверки конкретного URL

curl -sS -L -D headers.txt \
  -o page.html \
  -w "HTTP: %{http_code}\nFinal URL: %{url_effective}\nTime: %{time_total}\n" \
  https://example.ru/catalog/item-1/

Команда позволяет получить конечный статус, конечный URL после перенаправлений и время выполнения запроса. Заголовки сохраняются в отдельный файл, а тело ответа — в HTML-файл для последующей проверки.

Пример автоматической классификации

if actual_status == expected_status:
    result = "MATCH"

elif actual_status in [500, 502, 503, 504]:
    result = "SERVER_ERROR"

elif actual_status == 404:
    result = "NOT_FOUND_REVIEW"

elif actual_status in [301, 302, 307, 308]:
    result = "REDIRECT_REVIEW"

else:
    result = "STATUS_MISMATCH"

Это упрощённый фрагмент логики. В реальной системе классификация должна учитывать тип URL, конечный адрес, наличие внутренних ссылок и ожидаемое состояние ресурса.

11Как выглядела итоговая карта проблем

После первичного анализа и дополнительной проверки сформировали отдельный список проблемных URL и сгруппировали их по типу ошибки. Отфильтруйте таблицу по группе, чтобы увидеть только релевантные задачи.

Показано 8 из 8 проблемных групп

ПроблемаКоличество URLПричинаРешениеКритичность
404 на действующих категориях46Ошибка маршрутизацииИсправление маршрутов CMSВысокая
404 на товарах с внутренними ссылками218Удаление без обновления ссылокЗамена ссылок или восстановление релевантных страницВысокая
Старые URL после миграции390Неполная карта редиректовRedirect MappingСредняя
302 вместо ожидаемого 301176Неправильное правило перенаправленияКорректировка правилСредняя
Цепочки редиректов284Последовательные правила перенаправленияПрямые переходы на конечный URLСредняя
403 на публичных страницах92Ограничения WAFПроверка правил доступаВысокая
Повторяющиеся 5xx148Проблемы приложения и нагрузкиДиагностика серверной частиВысокая
Потенциальные Soft 404510200 OK на страницах без содержимогоКорректная обработка отсутствующих ресурсовНизкая
Примечание

Категории проблем могут пересекаться. Например, старый URL может одновременно участвовать в цепочке редиректов, а страница с soft 404 входит в группу ответов 200. Поэтому строки нельзя складывать для получения общего количества уникальных ошибочных URL.

12План внедрения: что передали разработчикам

После завершения диагностики сформировали не просто список замечаний, а последовательность технических задач.

Блок A

Маршрутизация и HTTP-ответы

  • Исправить маршруты действующих категорий.
  • Настроить корректную обработку удалённых товаров.
  • Устранить неправильные 302.
  • Исправить цепочки и циклы перенаправлений.
  • Проверить ответы 403 и 5xx.
Блок B

Внутренняя структура

  • Обновить внутренние ссылки на конечные URL.
  • Удалить ссылки на несуществующие страницы.
  • Проверить блоки рекомендаций.
  • Проверить ссылки в категориях и информационных материалах.
Блок C

Индексация и генерация URL

  • Проверить XML Sitemap.
  • Нормализовать параметры URL.
  • Разделить полезные и технические фильтры.
  • Проверить canonical.
  • Устранить генерацию бесполезных комбинаций.
Блок D

Контроль доступности

  • Проверить логи веб-сервера.
  • Проверить работу CDN и WAF.
  • Настроить мониторинг повторяющихся 5xx.
  • Повторить проверку важных URL.

Результаты и контроль

13Результаты повторной проверки

После внедрения исправлений повторно проверили исходную выборку и проблемные группы URL. Ниже приведены демонстрационные значения, показывающие, как может выглядеть итоговый отчёт технического аудита.

ПоказательДо внедренияПосле внедренияДинамика
404 на действующих категориях
46
0
−46
404 на товарах с внутренними ссылками
218
12
−206
Старые URL с неправильным редиректом
390
24
−366
302 вместо ожидаемого 301
176
8
−168
Цепочки редиректов
284
31
−253
403 на публичных страницах
92
0
−92
Повторяющиеся 5xx
148
9
−139
Подтверждённые Soft 404
510
0
−510
До внедрения После внедрения

Оставшиеся URL не следует автоматически считать ошибками. Например, часть товаров могла быть окончательно удалена, часть старых адресов могла не иметь релевантной замены, а отдельные серверные сбои могли быть единичными и требовать наблюдения.

Что изменилось на техническом уровне

  • Важные категории получили корректную маршрутизацию.
  • Внутренние ссылки на удалённые товары были исправлены.
  • Старые адреса получили релевантные конечные URL там, где это было возможно.
  • Устранены основные цепочки перенаправлений.
  • Исправлена обработка страниц без содержимого.
  • Устранены обнаруженные блокировки публичных страниц.
  • Снижено количество повторяющихся серверных ошибок.
  • Обновлены данные Sitemap и правила генерации параметрических URL.
Честная оговорка

Мы не приписываем этим изменениям автоматический рост органического трафика. Исправление технических ошибок улучшает корректность обработки сайта поисковыми системами, но фактическая динамика индексации, видимости и посещаемости должна оцениваться отдельно по данным аналитики и панелей вебмастеров.

14Как контролировать результат после аудита

Техническая работа не заканчивается после исправления списка URL. Необходимо убедиться, что проблема не возникает повторно. Для этого формируется контрольная выборка из важных категорий, товаров, старых адресов и URL с параметрами.

Сразу после внедрения

HTTP-статусы, редиректы, конечные URL, доступность важных страниц.

Через несколько дней

Повторные обращения к проблемным URL, новые ошибки в логах.

Через 1–2 недели

Динамика HTTP-ответов, доступность страниц, состояние Sitemap.

Через 3–4 недели

Изменения в отчётах индексирования и повторные обращения поисковых роботов.

Сроки зависят от частоты обхода сайта и характера изменений. Не следует ожидать, что поисковые системы обновят все сведения об URL сразу после внедрения.

15Какие дополнительные проблемы может выявить такой аудит

Массовый HTTP Status Code Mapping часто позволяет обнаружить проблемы, которые изначально не входили в техническое задание.

Orphan Pages

Страницы существуют и доступны, но не имеют нормальных внутренних ссылок и медленно попадают в индекс.

Index Bloat

В индексе накапливаются дубли, технические и мусорные страницы, которые забирают ресурсы обхода.

Crawl Budget Waste

Роботы тратят запросы на URL, которые не представляют ценности, вместо страниц с реальным спросом.

Faceted Navigation

Фильтры создают слишком большое пространство адресов, часть из которых не должна существовать вовсе.

Migration Issues

Старые адреса после переезда не сопоставлены с новыми, часть трафика и ссылок теряется.

Log File Anomalies

Поисковые роботы регулярно обращаются к страницам с нестабильными ответами — сигнал о скрытых сбоях.

Именно поэтому массовая проверка HTTP-статусов полезна не только как отдельная процедура, но и как часть комплексного технического SEO-аудита.

Практикум: что забрать с собой из аудита

Ниже — рабочие артефакты, которые мы готовим по итогам таких проектов: чек-лист проверки, матрица приоритетов задач, структура отчёта, регламент повторной проверки и команды, которые экономят часы ручной работы.

Чек-лист технического аудита

Отметьте выполненные пункты — прогресс фиксируется на странице и помогает не потерять ни один этап.

Пройдено 0 из 12Готовность аудита

Матрица приоритетов задач

Помогает распределить задачи между блоками A–D и не смешивать блокеры с косметикой.

ПриоритетКритерийСрок
P0 — блокерыПубличные страницы недоступны, повторяющиеся 5xx, ошибки в корзине и шапке1–3 дня
P1 — критичноМассовые группы URL: 404, цепочки редиректов, подтверждённые soft 4041–2 недели
P2 — важноДубли, параметрические URL, canonical, технические страницы в индексе2–4 недели
P3 — гигиенаЕдиничные 404 из внешних ссылок, редкие коды, мелкие несоответствияБэклог

Шаблон итогового отчёта

Отчёт = факт + причина + действие + проверка. Всё остальное — приложения.

  1. Паспорт проекта: домен, CMS, объём выборки, период, доступы и зона ответственности.
  2. Сводка: счётчики статусов до и после, индекс здоровья сайта, ключевые цифры для руководства.
  3. Реестр проблем: URL, тип ошибки, критичность, причина, действие, ответственный, срок.
  4. Карта редиректов: старый адрес, новый адрес, тип кода, дата переноса.
  5. Инструкции по внедрению: что, где и как менять, чек-лист приёмки для разработчика.
  6. Контрольные точки: что, когда и кем проверяется, критерий приёмки.
  7. Приложения: логи, выгрузки, скриншоты, скрипты проверки и таблицы CSV.

Регламент повторной проверки

Технический результат живёт недолго, если нет регулярного контроля. Рабочий ритм, который мы рекомендуем после внедрения.

ПериодОбъём проверкиИнструментКритерий приёмки
Через 24 часаВыборочная: все P0-адреса и изменённые категорииcurl, логиНет ответов 4xx/5xx на публичных URL
Через 72 часаПолный перебор проблемных группList ModeСтатусы соответствуют ожидаемым
Через 14 днейПолный обход + сверка с отчётами вебмастеровScreaming Frog, GSC, ЯВМНет новых 404 в индексе
Через 30 днейАудит параметрических URL и индексацииКраулинг + Index BloatДоля служебных URL снижается
Раз в кварталПолный аудит выборки и контроль логовПолный набор инструментовНет критичных отклонений от базовой линии

Команды быстрой проверки

Массовая проверка статусов, разбор цепочек редиректов, поиск 5xx в логах и проверка canonical — в одном месте.

Массовая проверка списка URL с параллельными запросами

cat urls.txt | xargs -P 12 -I {} \
  curl -sS -o /dev/null \
  -w "{}\t%{http_code}\t%{url_effective}\t%{time_total}\n" {} \
  >> status_$(date +%F).tsv

Разбор цепочки редиректов и поиск циклов

curl -sSI -L --max-redirs 10 -o /dev/null \
  -w "redirects: %{num_redirects}\nfinal: %{url_effective}\ncode: %{http_code}\n" \
  https://example.ru/catalog/materials/item-1/

Топ URL с 5xx за сутки по серверному логу

awk '$9 ~ /^5/ {print $7}' access.log \
  | sort | uniq -c | sort -rn | head -20

Проверка canonical и валидности Sitemap

curl -sS https://example.ru/catalog/item-1/ \
  | grep -i -o '<link[^>]*rel="canonical"[^>]*>'

curl -sS https://example.ru/sitemap.xml | xmllint --noout -

Выводы и следующие шаги

16Выводы по проекту

В этом модельном примере ключевая проблема заключалась не в одном неправильном HTTP-коде, а в несогласованной работе нескольких технических механизмов.

Удаление товаров не сопровождалось обновлением ссылок. Изменение структуры каталога оставило цепочки перенаправлений. CMS возвращала 200 для части отсутствующих страниц. Параметры фильтров создавали дополнительные URL, а отдельные правила защиты ограничивали доступ к публичным страницам.

По отдельности каждая проблема могла выглядеть незначительной. Но при объединении данных стало видно, что ошибки затрагивают разные уровни сайта и требуют системного подхода.

Проверять нужно не URL, а ожидаемое поведение

Статус 200 сам по себе ничего не гарантирует: страница может отдавать пустой или ошибочный контент и при этом считаться успешной.

Одно системное исправление снимает группу ошибок

Обновление блока рекомендаций в CMS убирает сразу десятки 404, а правило редиректов на уровне сервера — сотни цепочек.

Результат без контроля исчезает

Регламент повторной проверки и контрольные точки — часть работы, а не её завершение. Без них каталог возвращается к исходному состоянию.

Главный вывод: на крупных интернет-магазинах нельзя ограничиваться проверкой отдельных URL. Необходимо сопоставлять фактические HTTP-ответы с ожидаемым поведением страниц, источниками ссылок, Sitemap, логами и архитектурой каталога. Только так можно определить, где находится первопричина проблемы и какое изменение устранит её сразу для целой группы адресов.

17Что ещё почитать по теме технического аудита

Если хотите глубже разобраться в отдельных этапах диагностики, рекомендуем следующие материалы SEO PROF 74:

Нужен технический аудит вашего сайта?

Если интернет-магазин содержит тысячи URL, регулярно генерирует новые страницы или испытывает проблемы с индексацией, имеет смысл начать с технической диагностики.

Результат — структурированный список обнаруженных проблем, их приоритетов и рекомендаций по исправлению.

Обсудить технический аудит в Telegram
  • HTTP-статусы и корректность серверных ответов;
  • ошибки 404, 403 и 5xx;
  • редиректы и цепочки перенаправлений;
  • soft 404 и страницы с неправильным содержимым;
  • XML Sitemap и внутреннюю перелинковку;
  • параметрические URL и фильтры каталога;
  • серверные логи и активность поисковых роботов;
  • проблемы индексации и архитектуры сайта.
SEO PROF 74 — техническое SEO, аудит и диагностика сайтов.
Модельный кейс. Показатели и названия условные.
Made on
Tilda