Серверная инфраструктура: стойки с сетевым оборудованием и кабелями
Тысячи URL, один алгоритм: фактический ответ сервера сверяется с ожидаемым поведением каждого типа страницы

HTTP Status Code Mapping: как массово найти неправильные ответы сервера на тысячах URL

Разбор методики, которая превращает обычную проверку кодов в полноценную техническую диагностику: источники URL, ожидаемые статусы, автоматизация на Python и Bash, серверные логи, soft 404 и приоритизация исправлений.

Техническое SEO · 23 главы · 6 способов массовой проверки · ≈25 минут чтения

Содержание

Материал построен как рабочий протокол аудита: сначала модель ожидаемого поведения, затем сбор выборки URL, затем массовая проверка и только после этого — план исправлений. Можно читать подряд или по маршруту под задачу.

Часть первая

Модель, источники данных и инструменты

Главы 1–8: зачем нужен mapping, какие коды проверять в первую очередь, как собрать карту ожидаемых статусов, откуда взять выборку URL и как прогнать её через Screaming Frog, Python и Bash.

1.Что такое HTTP Status Code Mapping и зачем он нужен в SEO

Представьте ситуацию: интернет-магазин содержит 25 000 страниц, каталог регулярно обновляется, товары удаляются, категории переименовываются, а разработчики периодически меняют структуру URL. Визуально сайт работает нормально. Главная открывается, категории загружаются, карточки товаров доступны.

Но после технического сканирования обнаруживается совершенно другая картина: сотни внутренних ссылок ведут на 404, часть старых URL перенаправляется через несколько промежуточных адресов, некоторые страницы возвращают 200 OK вместо 404, а сервер периодически отвечает кодами 500 и 503.

И самое неприятное — ошибки распределены неравномерно. Большинство из них сосредоточено в нескольких шаблонах и разделах сайта. Исправление каждого URL вручную не решит проблему: через неделю CMS может снова сгенерировать аналогичные адреса.

Именно для таких ситуаций применяется HTTP Status Code Mapping — системная проверка URL, при которой каждому адресу сопоставляются фактический HTTP-статус, ожидаемое поведение, конечный URL, источник обнаружения и приоритет исправления.

В этой статье разберём, как построить такую систему на проектах с тысячами и десятками тысяч URL. Покажем, как объединять данные Screaming Frog, XML Sitemap, серверных логов, Google Search Console и Яндекс Вебмастера, как автоматизировать проверку через Python и Bash, а также как превратить результаты в понятную техническую задачу для разработчика.

Обычная проверка URL против Status Code Mapping

HTTP Status Code Mapping — это метод сопоставления URL сайта с фактическими ответами сервера и ожидаемым состоянием каждого ресурса.

Обычная проверка HTTP-кодов отвечает на вопрос: «Какой статус возвращает этот URL сейчас?»

Mapping отвечает на более важный вопрос: «Какой статус этот URL должен возвращать с учётом его назначения, состояния страницы и структуры сайта?»

Например, код 404 для давно удалённого товара может быть совершенно правильным. Но тот же 404 для действующей категории, которая находится в главном меню и включена в sitemap.xml, — уже техническая проблема.

Аналогично, 301 может быть правильным ответом для старого адреса после миграции сайта. Но если внутренние ссылки продолжают вести на старый URL, возникает лишний переход, который можно устранить.

Параметр Обычная проверка HTTP Status Code Mapping
HTTP-статусФактический код ответаФактический и ожидаемый код
РедиректыФакт перенаправленияПолная цепочка и конечный адрес
Внутренние ссылкиМогут не учитыватьсяПроверяется источник ссылок
XML SitemapОтдельная проверкаСопоставление со статусами URL
Серверные логиОбычно не используютсяСравнение с ответами поисковых роботов
Приоритет ошибкиПо HTTP-кодуПо типу страницы и последствиям
РезультатСписок URL с ошибкамиПлан технических исправлений

Главное отличие — переход от списка ошибок к модели ожидаемого поведения сайта.

Экран с аналитикой и отчётами по посещаемости и индексации сайта
Отчёт по кодам — это лишь один слой данных. Практическая ценность появляется, когда статусы сопоставлены с типами страниц, источниками ссылок и поведением роботов.

Когда необходим массовый HTTP Status Code Mapping

  • После переезда сайта на новый домен.
  • После смены CMS или изменения структуры URL.
  • После масштабного обновления каталога интернет-магазина.
  • При обнаружении большого количества страниц с ошибками в Google Search Console.
  • При росте числа 404, 5xx и перенаправлений в серверных логах.
  • При регулярном появлении несуществующих страниц.
  • При подозрении на soft 404.
  • При проверке сайта с большим количеством фильтров и параметров URL.

2.Какие HTTP-статусы нужно проверять в первую очередь

Перед массовым сканированием необходимо определить, какие группы ответов представляют интерес для конкретного проекта.

Самая распространённая ошибка — считать все ответы, отличные от 200, проблемными. На практике это неверно. Некоторые перенаправления необходимы, а корректный 404 или 410 является нормальным способом сообщить, что ресурса больше нет.

2xx — успешные ответы

КодЗначениеЧто проверять в SEO
200OKДействительно ли страница содержит нужный документ, а не ошибку или пустую оболочку.
201CreatedНе используется ли ответ создания ресурса для обычных индексируемых страниц.
202AcceptedНе возвращает ли сервер промежуточный ответ вместо готового содержимого.
204No ContentНе возвращается ли пустой ответ для URL, который должен содержать HTML.

200 OK не гарантирует индексацию. Google передаёт полученный документ на следующие этапы обработки, но сам успешный HTTP-ответ не означает, что URL будет включён в индекс. Если страница содержит сообщение об ошибке или пустой контент, поисковая система может классифицировать её как soft 404.

3xx — перенаправления

КодЗначениеТипичная SEO-задача
301Moved PermanentlyПостоянный перенос URL.
302FoundВременное перенаправление.
303See OtherПереход на другой ресурс с использованием GET.
304Not ModifiedПодтверждение актуальности ранее полученной версии ресурса при условном запросе.
307Temporary RedirectВременное перенаправление с сохранением метода запроса.
308Permanent RedirectПостоянное перенаправление с сохранением метода запроса.

Для SEO наиболее часто приходится работать с 301 и 302. Однако сам факт наличия редиректа не означает ошибку.

Проблема появляется, когда перенаправление ведёт не туда, образует цепочку, создаёт цикл или используется вместо корректного ответа 404/410.

4xx — ошибки клиентского запроса

КодЗначениеЧто проверять
400Bad RequestНекорректные параметры, синтаксис URL, обработка запросов.
401UnauthorizedНе требует ли публичная страница авторизации.
403ForbiddenНе блокируются ли поисковые роботы или публичные ресурсы.
404Not FoundНе ведут ли внутренние ссылки на несуществующие URL.
410GoneКорректно ли обозначено окончательное удаление ресурса.
429Too Many RequestsНе перегружает ли сайт собственный краулер или другой автоматизированный клиент.

Отдельно выделяем 429. Несмотря на то что этот статус относится к группе 4xx, Google рассматривает его как сигнал перегрузки сервера. Повторяющиеся ответы 429 могут приводить к снижению интенсивности сканирования.

5xx — серверные ошибки

КодЗначениеВозможная причина
500Internal Server ErrorОшибка приложения, PHP, CMS или серверного кода.
501Not ImplementedНеподдерживаемый метод или функциональность.
502Bad GatewayПроблема взаимодействия proxy и upstream-сервера.
503Service UnavailableВременная недоступность или перегрузка сервиса.
504Gateway TimeoutТайм-аут при обращении к вышестоящему серверу.

Массовые 5xx — одна из наиболее серьёзных проблем при аудите доступности. Google может временно снижать интенсивность обхода при получении серверных ошибок. Если проблема сохраняется, ранее доступные URL со временем могут выпадать из индекса.

Важно анализировать не только количество ошибок, но и их продолжительность, повторяемость и распределение по разделам сайта.

3.Почему нельзя просто отфильтровать все URL со статусом не 200

Допустим, после сканирования сайта получен следующий результат:

URLСтатусКонтекстПредварительная оценка
/catalog/200Действующая категорияНорма
/old-product/301Старый товар перенесёнПроверить конечный URL
/deleted-item/404Товар окончательно удалёнВозможная норма
/category/500Важная категорияКритическая проблема
/catalog/filter/blue/200Технический фильтрПроверить необходимость страницы
/missing-page/200Страница не существуетВозможный soft 404

Если автоматически считать все 3xx и 4xx ошибками, отчёт будет содержать ложные срабатывания. Если ориентироваться только на 200, можно пропустить пустые страницы, soft 404 и документы с неправильным содержимым.

Поэтому перед началом работы нужно сформировать карту ожидаемых ответов.

4.Как построить карту ожидаемых HTTP-статусов

Первый этап — разделить URL на логические группы. Для каждого типа страницы определяется ожидаемое поведение.

Например, для интернет-магазина:

Тип URLОжидаемый статусДополнительная проверка
Главная страница200Доступность контента и отсутствие неожиданного редиректа.
Активная категория200Корректный HTML, canonical и доступность.
Активная карточка товара200Наличие товара или корректной информации о его состоянии.
Старый URL после миграции301Переход на соответствующую новую страницу.
Временно перемещённая страница302 / 307Обоснованность временного перенаправления.
Окончательно удалённая страница404 / 410Отсутствие ошибочного перенаправления на нерелевантный URL.
Служебный APIЗависит от метода и сценарияНе сравнивать с ожиданиями HTML-страниц.
robots.txt200 при доступном файлеКорректность содержимого и доступность для роботов.
XML Sitemap200Корректный XML и доступность URL из карты.

Это базовая модель, а не универсальное правило. Для каждого проекта необходимо учитывать назначение URL, бизнес-логику и требования поисковых систем.

Практический момент: нормализация URL

Перед любой массовой проверкой приведите адреса к единому виду: схема (http или https), регистр, слэш в конце, порт, удаление лишних параметров и якорных меток. Иначе один и тот же ресурс будет учтён несколько раз, а часть «ошибок» окажется ложными дублями. Нормализацию удобно выполнять прямо в таблице URL — отдельной колонкой «нормализованный адрес».

Откуда брать список URL

Для качественного mapping недостаточно выгрузить только страницы из меню сайта. Необходимо объединить несколько источников.

  1. XML Sitemap. Получаем URL, которые сайт заявляет как важные для поисковых систем.
  2. Внутренний краулинг. Собираем адреса, обнаруженные через ссылки на страницах.
  3. Google Search Console. Используем URL из отчетов индексации и проверки страниц.
  4. Яндекс Вебмастер. Анализируем страницы, статусы обхода и изменения в поисковой базе.
  5. Серверные логи. Получаем адреса, которые реально запрашивали пользователи и роботы.
  6. Исторические URL. Используем старые карты сайта, таблицы миграции, CMS и резервные выгрузки.
  7. Внешние ссылки. Отдельно проверяем старые URL, на которые ссылаются сторонние сайты.

Такой подход помогает найти не только очевидные ошибки, но и URL, которые уже не присутствуют в текущей структуре сайта, однако продолжают получать обращения.

Если нужно сопоставить данные карты сайта с фактическим состоянием индексации, пригодится материал «Sitemap vs Google Index: почему страницы есть в карте сайта, но не индексируются».

5.Массовая проверка HTTP-кодов через Screaming Frog

Для большинства SEO-аудитов Screaming Frog SEO Spider — один из наиболее удобных инструментов первичного сканирования.

Он позволяет обойти сайт, собрать HTTP-статусы, обнаружить редиректы, ошибки клиента и сервера, а также выгрузить URL для дальнейшей обработки.

Шаг 1. Запускаем сканирование

  1. Открываем Screaming Frog SEO Spider.
  2. Выбираем режим Spider.
  3. Указываем домен.
  4. Запускаем сканирование.
  5. Дожидаемся завершения обхода или достижения заданного лимита.

Перед запуском на крупном проекте нужно настроить скорость обхода и лимиты. Не следует запускать максимально агрессивное сканирование без оценки возможностей сервера.

Шаг 2. Анализируем Response Codes

После сканирования открываем вкладку Response Codes.

Особое внимание уделяем фильтрам:

  • Success (2xx);
  • Redirection (3xx);
  • Client Error (4xx);
  • Server Error (5xx);
  • No Response.

Для каждого URL необходимо проверить не только статус, но и тип страницы, источник ссылки и возможность исправления.

Шаг 3. Выгружаем ошибки

В Screaming Frog доступны отчёты для экспорта URL с различными типами ответов. В частности, можно использовать Bulk Export для выгрузки внутренних ссылок, ведущих на URL с ошибками.

Это важный момент: недостаточно получить список 404. Необходимо узнать, какие страницы продолжают ссылаться на несуществующие адреса.

Если 404 обнаружен в старой внешней ссылке, это одна задача. Если на него ведут 120 внутренних ссылок из активных категорий — совсем другая.

Шаг 4. Проверяем цепочки редиректов

Для анализа цепочек используем отчёт Redirect Chains.

Пример:

redirect chain
https://example.ru/old-product/
        |
        | 301
        v
https://example.ru/catalog/product/
        |
        | 302
        v
https://www.example.ru/catalog/product/
        |
        | 200
        v
Финальный URL

Задача — определить, можно ли заменить последовательность перенаправлений одним прямым переходом на конечный URL.

Также проверяем циклы, когда один адрес перенаправляет на другой, а тот возвращает запрос обратно.

Подробный разбор таких проблем доступен в документации Screaming Frog: Internal Redirect Chain и Internal Redirect Loop.

6.Массовая проверка URL в режиме List Mode

Один из самых полезных сценариев для HTTP Status Code Mapping — проверка заранее подготовленного списка адресов.

Например, у нас есть:

  • 15 000 URL из XML Sitemap;
  • 3 500 старых URL после миграции;
  • 800 адресов из отчётов Google Search Console;
  • 1 200 URL, обнаруженных в серверных логах.

Все эти адреса можно объединить, удалить дубли и загрузить в Screaming Frog через List Mode.

Порядок работы

  1. Переключаем режим Spider на List.
  2. Загружаем CSV или TXT со списком URL.
  3. Настраиваем обработку редиректов.
  4. Запускаем проверку.
  5. Экспортируем статусы, конечные адреса и другие доступные данные.
  6. Объединяем результат с исходной таблицей URL.

Преимущество List Mode — возможность проверять не только текущую структуру сайта, но и исторические URL, которые уже невозможно обнаружить обычным обходом по внутренним ссылкам.

7.Массовая проверка URL через Python

Когда речь идёт о десятках тысяч адресов, автоматизация может существенно упростить работу. Для этого можно использовать Python и библиотеку requests.

Ниже — пример скрипта, который:

  • читает список URL из CSV;
  • проверяет HTTP-ответы;
  • фиксирует статус и конечный URL;
  • собирает цепочку перенаправлений;
  • сохраняет Content-Type;
  • обрабатывает сетевые ошибки;
  • делает ограниченное количество параллельных запросов.
Экран редактора кода с Python-скриптом проверки HTTP-статусов
Скрипт не заменяет осмысленную модель ожидаемых статусов, но избавляет от ручной проверки тысяч адресов и отдаёт готовую таблицу для разбора.

Перед запуском на реальном проекте необходимо согласовать интенсивность проверки с владельцем сайта или технической командой. Для больших каталогов лучше использовать небольшое количество потоков и паузы между запросами.

Формат входного CSV

csv
url,page_type,expected_status
https://example.ru/,homepage,200
https://example.ru/catalog/,category,200
https://example.ru/product-a/,product,200
https://example.ru/old-product/,legacy,301
https://example.ru/deleted-product/,deleted,404

Python: проверка HTTP-статусов

python
import csv
import time
import requests

from concurrent.futures import ThreadPoolExecutor, as_completed
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

INPUT_FILE = "urls.csv"
OUTPUT_FILE = "http_mapping.csv"

MAX_WORKERS = 3
TIMEOUT = 20
PAUSE_SECONDS = 0.15

USER_AGENT = "SEO-Status-Audit/1.0"

def create_session():
    session = requests.Session()

    retry = Retry(
        total=2,
        connect=2,
        read=1,
        backoff_factor=1,
        status_forcelist=[500, 502, 503, 504],
        allowed_methods=["GET"]
    )

    adapter = HTTPAdapter(
        max_retries=retry,
        pool_connections=10,
        pool_maxsize=10
    )

    session.mount("http://", adapter)
    session.mount("https://", adapter)

    session.headers.update({
        "User-Agent": USER_AGENT
    })

    return session


def check_url(row):
    url = row["url"]
    expected = row.get("expected_status", "")
    page_type = row.get("page_type", "")

    session = create_session()

    result = {
        "url": url,
        "page_type": page_type,
        "expected_status": expected,
        "actual_status": "",
        "final_url": "",
        "redirect_chain": "",
        "content_type": "",
        "content_length": "",
        "error": "",
        "mapping_result": ""
    }

    try:
        response = session.get(
            url,
            timeout=TIMEOUT,
            allow_redirects=True,
            stream=True
        )

        result["actual_status"] = response.status_code
        result["final_url"] = response.url

        result["content_type"] = response.headers.get(
            "Content-Type", ""
        )

        result["content_length"] = response.headers.get(
            "Content-Length", ""
        )

        chain = []

        for item in response.history:
            location = item.headers.get("Location", "")

            chain.append(
                f"{item.status_code} -> {location}"
            )

        chain.append(
            f"{response.status_code} -> {response.url}"
        )

        result["redirect_chain"] = " | ".join(chain)

        if expected:
            if str(response.status_code) == str(expected):
                result["mapping_result"] = "MATCH"
            else:
                result["mapping_result"] = "STATUS_MISMATCH"
        else:
            result["mapping_result"] = "REVIEW"

        response.close()
        session.close()

    except requests.exceptions.Timeout:
        result["error"] = "TIMEOUT"
        result["mapping_result"] = "CONNECTION_PROBLEM"

    except requests.exceptions.ConnectionError:
        result["error"] = "CONNECTION_ERROR"
        result["mapping_result"] = "CONNECTION_PROBLEM"

    except requests.exceptions.RequestException as error:
        result["error"] = str(error)
        result["mapping_result"] = "REQUEST_ERROR"

    time.sleep(PAUSE_SECONDS)

    return result


def main():
    with open(
        INPUT_FILE,
        "r",
        encoding="utf-8-sig",
        newline=""
    ) as file:

        reader = csv.DictReader(file)
        rows = list(reader)

    results = []

    with ThreadPoolExecutor(
        max_workers=MAX_WORKERS
    ) as executor:

        futures = [
            executor.submit(check_url, row)
            for row in rows
        ]

        for future in as_completed(futures):
            results.append(future.result())

    fieldnames = [
        "url",
        "page_type",
        "expected_status",
        "actual_status",
        "final_url",
        "redirect_chain",
        "content_type",
        "content_length",
        "error",
        "mapping_result"
    ]

    with open(
        OUTPUT_FILE,
        "w",
        encoding="utf-8-sig",
        newline=""
    ) as file:

        writer = csv.DictWriter(
            file,
            fieldnames=fieldnames
        )

        writer.writeheader()
        writer.writerows(results)

    print("Проверка завершена")
    print("URL проверено:", len(results))
    print("Результат:", OUTPUT_FILE)


if __name__ == "__main__":
    main()

Как не навредить своему же сайту

Проверка тысяч URL — это трафик на ваш сервер. Если во время аудита в логах появляются 429 или 503, снижайте MAX_WORKERS и увеличивайте паузу, а не продолжайте перезапускать проверку. Многие CDN и WAF считают массовые однотипные запросы атакой. Договорённость с технической командой о допустимом окне проверки снимает большинство рисков.

Что важно учитывать: скрипт выполняет GET-запросы, а не только HEAD. Это сделано намеренно: некоторые серверы неправильно обрабатывают HEAD, а проверка GET позволяет получить более реалистичную картину. При этом используется stream=True, чтобы не загружать целиком тело каждого ответа.

Для очень крупных проектов нужно дополнительно предусмотреть сохранение промежуточных результатов, обработку повторных запусков, ограничение частоты запросов на домен и отдельную проверку конечного содержимого.

Как интерпретировать результат

РезультатЧто означаетСледующий шаг
MATCHФактический статус совпал с ожидаемым.Проверить дополнительные SEO-сигналы.
STATUS_MISMATCHФактический статус отличается от ожидаемого.Проверить URL и бизнес-логику страницы.
CONNECTION_PROBLEMНе удалось получить ответ.Проверить доступность сервера и сетевые ограничения.
REQUEST_ERRORВозникла ошибка запроса.Изучить сообщение исключения.
REVIEWОжидаемый статус не был задан.Определить правильное поведение URL.

Скрипт выполняет первичное сопоставление статусов. Он не определяет автоматически, является ли страница полезной для индексации, корректен ли canonical или действительно ли URL должен существовать. Для этого необходима дополнительная информация о типе и назначении страницы.

8.Массовая проверка через Bash и curl

Для небольших и средних списков URL можно использовать Bash и curl. Это удобный вариант, если нужно быстро проверить тысячи адресов без развёртывания отдельного приложения.

Файл urls.txt

text
https://example.ru/
https://example.ru/catalog/
https://example.ru/product-a/
https://example.ru/old-product/
https://example.ru/deleted-product/

Скрипт проверки статусов

bash
#!/usr/bin/env bash

INPUT="urls.txt"
OUTPUT="http_status.csv"

echo "URL,STATUS,FINAL_URL,CONTENT_TYPE" > "$OUTPUT"

while IFS= read -r url
do
    [ -z "$url" ] && continue

    result=$(curl -L -sS \
        --max-time 20 \
        -A "SEO-Status-Audit/1.0" \
        -o /dev/null \
        -w "%{http_code};%{url_effective};%{content_type}" \
        "$url")

    status=$(echo "$result" | cut -d';' -f1)
    final_url=$(echo "$result" | cut -d';' -f2)
    content_type=$(echo "$result" | cut -d';' -f3)

    printf '"%s","%s","%s","%s"\n' \
        "$url" "$status" "$final_url" "$content_type" \
        >> "$OUTPUT"

    sleep 0.2

done < "$INPUT"

echo "Проверка завершена: $OUTPUT"

Для production-аудита необходимо дополнительно обрабатывать сетевые ошибки, кавычки и запятые в значениях CSV, ограничивать число одновременных соединений и сохранять цепочки редиректов. Пример выше предназначен для простой первичной выгрузки.

Часть вторая

Диагностика, приоритеты и первые исправления

Главы 9–16: soft 404, Redirect Mapping после миграции, сверка с Sitemap, расхождения между роботами и пользователями, серверные логи, балльная модель приоритета и кейс на 32 000 URL.

9.Как найти soft 404: когда сервер возвращает 200 вместо ошибки

Soft 404 — одна из наиболее неприятных проблем при массовом анализе HTTP-статусов.

В отличие от обычного 404, сервер возвращает успешный ответ 200 OK, хотя фактически запрашиваемая страница не существует или содержит сообщение об отсутствии ресурса.

Например, пользователь открывает:

url
https://example.ru/product/old-model-123/

Сервер отвечает:

response
HTTP/2 200 OK

А внутри HTML отображается:

html
Товар не найден.
Возможно, он был удалён или больше не доступен.

Для обычной проверки HTTP-кодов такая страница будет выглядеть успешной. Но фактически сервер сообщает о несуществующем товаре.

Типичные причины soft 404

  • CMS показывает шаблон ошибки, но не меняет HTTP-статус.
  • Удалённая карточка товара продолжает возвращать 200.
  • Категория с пустым каталогом отображается как обычная страница.
  • Поисковый URL с несуществующими параметрами возвращает пустую оболочку.
  • Страница ошибки формируется через JavaScript, а сервер возвращает обычный HTML.
  • Приложение подменяет отсутствующий документ главной страницей.

Как обнаруживать soft 404 массово

Одного HTTP-статуса недостаточно. Необходимо анализировать дополнительные признаки:

  1. Размер HTML-документа.
  2. Наличие характерных фраз «страница не найдена», «товар отсутствует».
  3. Отсутствие основного содержимого страницы.
  4. Одинаковые Title и Description у большого количества URL.
  5. Повторяющийся HTML-шаблон ошибки.
  6. Отсутствие ожидаемых элементов страницы.

Можно использовать Custom Search в Screaming Frog или собственные правила обработки HTML в Python.

Пример простой проверки через Python

python
from bs4 import BeautifulSoup

ERROR_PHRASES = [
    "страница не найдена",
    "товар не найден",
    "ничего не найдено",
    "page not found",
    "product not found"
]

def detect_soft_404(html):
    soup = BeautifulSoup(html, "html.parser")

    text = soup.get_text(
        separator=" ",
        strip=True
    ).lower()

    for phrase in ERROR_PHRASES:
        if phrase in text:
            return True

    return False

Это только эвристика. Наличие фразы «товар не найден» в блоке рекомендаций или в справочной статье не означает, что весь документ является soft 404. Результат необходимо проверять с учётом контекста страницы.

10.Redirect Mapping: как проверить старые и новые URL после миграции

После изменения домена, CMS или структуры URL появляется отдельная задача — сопоставить старые адреса с новыми.

Здесь HTTP Status Code Mapping пересекается с Redirect Mapping.

Предположим, раньше каталог имел структуру:

text
/catalog/materials/item-1/
/catalog/materials/item-2/
/catalog/materials/item-3/

После изменения структуры URL стали выглядеть так:

text
/products/item-1/
/products/item-2/
/products/item-3/

Для корректного переноса необходимо сформировать таблицу соответствий:

Старый URLНовый URLОжидаемый ответФактический ответ
/catalog/materials/item-1//products/item-1/301301
/catalog/materials/item-2//products/item-2/301302
/catalog/materials/item-3//products/item-3/301404

Во второй строке обнаружено временное перенаправление вместо постоянного. В третьей — старый URL не перенаправляется на новую страницу.

Если соответствие старого и нового URL однозначно, необходимо настроить прямой постоянный редирект. Если старый ресурс удалён и релевантной замены нет, корректным решением может быть 404 или 410.

Не следует перенаправлять все удалённые URL на главную страницу. Нерелевантные редиректы могут восприниматься поисковыми системами как soft 404.

Подробный процесс планирования миграции и проверки перенаправлений разобран в статье «Переезд сайта без потери SEO-трафика: полный план миграции».

11.Как сопоставить HTTP-коды с XML Sitemap

XML Sitemap — один из важных источников URL для массового mapping.

Если адрес присутствует в карте сайта, это означает, что сайт заявляет его как URL, который следует учитывать при обработке карты поисковой системой.

Поэтому URL из sitemap.xml необходимо регулярно проверять на соответствие фактическому состоянию сервера.

Какие проблемы встречаются чаще всего

  • URL в sitemap.xml возвращает 404.
  • URL возвращает 301, хотя в карте указан старый адрес.
  • URL возвращает 302 вместо ожидаемого постоянного адреса.
  • URL возвращает 500 или 503.
  • URL с параметрами попал в карту сайта.
  • В sitemap присутствуют дубли и неканонические адреса.
  • Карта содержит страницы, которые больше не существуют в CMS.

Пример проверки

URL из SitemapСтатусРезультат
/catalog/200Норма
/catalog/materials/200Норма
/products/old-item/301Заменить URL в Sitemap на конечный адрес
/products/deleted-item/404Удалить из Sitemap
/blog/new-article/503Проверить доступность сервера

Особое внимание уделяем URL, которые одновременно присутствуют в Sitemap, имеют внутренние ссылки и возвращают ошибку. Это более значимый сигнал, чем единичный старый адрес, который больше нигде не используется.

12.Как обнаружить страницы, которые возвращают ошибки только поисковым роботам

Иногда обычный пользователь открывает страницу без проблем, а Googlebot или YandexBot получает 403, 429 либо другой ошибочный ответ.

Причиной могут быть:

  • WAF и правила защиты от ботов.
  • Ограничения CDN.
  • Rate Limiting.
  • Географические ограничения.
  • Неправильная настройка reverse proxy.
  • Ошибки проверки User-Agent.
  • Перегрузка сервера при автоматизированных запросах.

Для обнаружения подобных проблем нужно сравнивать не только результаты обычного сканирования, но и фактические обращения поисковых роботов в логах.

Пример расхождения

Тип клиентаURLСтатус
Обычный браузер/catalog/200
SEO-краулер/catalog/200
Googlebot/catalog/403
YandexBot/catalog/200

В данном примере проблема не проявляется при обычном открытии сайта. Необходимо изучить правила WAF и проверить подлинность обращений Googlebot.

Важно

Подмена User-Agent в curl не доказывает, что настоящий поисковый робот получает тот же ответ. Для проверки фактических обращений необходимо использовать серверные логи и проверять подлинность IP поискового робота.

Для такого расследования полезен материал «Log File Analysis: анализ серверных логов и работа с файлами логов в SEO».

13.HTTP Status Code Mapping и серверные логи

Сканирование сайта показывает, что сервер возвращает в момент проверки. Серверные логи позволяют узнать, какие ответы фактически получали посетители и поисковые роботы в течение выбранного периода.

Это принципиально разные источники информации.

Например, при обычном краулинге URL может вернуть 200. Но в логах за последние 30 дней обнаруживается, что Googlebot регулярно получал 503 для этого же адреса.

Причиной может быть периодическая перегрузка сервера, проблема с базой данных или нестабильная работа приложения.

Терминал с логами сервера и HTTP-статусами в реальном времени
Логи показывают реальную картину доступности: какие статусы получали реальные пользователи и роботы, а не только посетитель аудита.

Какие поля нужны для анализа

ПолеНазначение
TimestampДата и время запроса.
IPАдрес клиента.
User-AgentПредварительная идентификация клиента.
Request URLЗапрашиваемый адрес.
Status CodeОтвет сервера.
Response SizeРазмер переданного содержимого.
Response TimeВремя обработки запроса, если оно записывается.
RefererИсточник перехода, если он передан.

После получения логов можно сгруппировать запросы по URL, типу робота, статусу и временным интервалам.

Пример анализа логов через awk

bash
awk '$9 ~ /^5/ {print $7, $9}' access.log \
| sort \
| uniq -c \
| sort -nr \
| head -50

Команда выводит URL с серверными ошибками и количество соответствующих записей. Она подходит для распространённого формата access.log, где девятое поле содержит статус, а седьмое — путь запроса. Перед использованием необходимо проверить фактический формат логов.

Почему важно сопоставлять логи и краулинг

Предположим, краулер обнаружил 120 URL со статусом 500. В логах за месяц эти адреса встречаются 18 000 раз, причём большинство обращений приходится на Googlebot.

Это уже не просто список технических ошибок. Это потенциально системная проблема доступности ресурса, которую нужно передать разработчикам с конкретными данными.

В рамках комплексного анализа можно также изучать, какие группы URL чаще всего возвращают 404, где концентрируются 5xx и какие страницы получают наибольшее количество повторных запросов.

14.Приоритизация ошибок: какие URL исправлять первыми

На крупных сайтах невозможно одинаково быстро исправить все обнаруженные проблемы. Поэтому результаты mapping необходимо ранжировать по приоритету.

Важный принцип: HTTP-статус сам по себе не определяет серьёзность проблемы. Приоритет зависит от типа URL, количества внутренних ссылок, присутствия в Sitemap, активности поисковых роботов и назначения страницы.

Пример матрицы приоритетов

ПриоритетТип проблемыПримерРекомендация
Критический5xx на важных страницахГлавная и основные категории возвращают 503.Немедленно передать разработчикам.
Критический403 для поискового роботаWAF блокирует Googlebot на коммерческих страницах.Проверить защиту и доступ.
Высокий404 на важных URLДействующая категория возвращает 404.Восстановить страницу или исправить маршрут.
ВысокийМассовый soft 404Удалённые товары возвращают 200.Исправить HTTP-логику CMS.
ВысокийНекорректная миграцияСтарые коммерческие URL возвращают 404.Настроить соответствующие редиректы.
СреднийЦепочки редиректовВнутренние ссылки ведут через два перехода.Заменить ссылки на конечные URL.
СреднийОшибки в SitemapВ карту включены URL с 301 и 404.Обновить XML Sitemap.
НизкийСтарые внешние 404Удалённый URL больше не имеет внутренних ссылок.Оценить внешние ссылки и необходимость восстановления.

Собственная модель оценки приоритета

Для удобства можно использовать условную балльную модель. Она не является официальным показателем Google или Яндекса, а нужна для сортировки задач внутри аудита.

Каждой проблеме присваиваются баллы:

ФакторУсловная оценка
Критичность типа страницы1–5
Количество внутренних ссылок0–5
Наличие URL в Sitemap0–3
Наличие подтверждённых обращений поискового робота0–3
Масштаб проблемы по шаблону0–5

Простая формула:

formula
Priority Score =
Page Importance +
Internal Links Score +
Sitemap Score +
Bot Activity Score +
Template Impact Score

Пример:

ПроблемаБаллыПриоритет
503 на основной категории19Критический
404 на товаре с 25 внутренними ссылками16Высокий
301 в Sitemap12Средний
404 на старом URL без ссылок3Низкий

Пороговые значения нужно определить под конкретный проект. Смысл модели — не создать ещё один SEO-метрик, а помочь разработчикам не тратить время на второстепенные задачи, пока остаются критические проблемы.

15.Практический кейс: массовая проверка интернет-магазина на 32 000 URL

Рассмотрим условный проект — интернет-магазин строительных материалов с каталогом из 32 000 URL. В рамках аудита необходимо проверить доступность страниц, корректность перенаправлений и соответствие фактических HTTP-ответов ожидаемому поведению.

Для анализа были объединены следующие источники:

  • XML Sitemap — 18 400 URL.
  • Внутренний краулинг — 21 600 URL.
  • Серверные логи за 30 дней — 14 800 уникальных URL.
  • Историческая база адресов — 6 300 URL.
  • Выгрузка из инструментов вебмастеров — 4 900 URL.

После объединения данных и удаления дублей получена рабочая выборка из 32 000 уникальных адресов.

Первичное распределение HTTP-статусов

СтатусКоличество URLДоля
20026 24082%
3012 2407%
3024801,5%
4041 7605,5%
4033201%
5xx6402%
Прочие ответы и ошибки соединения3201%
Всего32 000100%

Все цифры приведены для иллюстрации методики и не являются результатами реального аудита.

Что обнаружилось после дополнительной проверки

Первичная статистика не показывала всей картины. После сопоставления URL с типами страниц и источниками обнаружения были выявлены следующие проблемы:

Обнаруженная проблемаКоличество URLПричина
404 на действующих категориях46Ошибка маршрутизации после обновления CMS.
404 на товарах с внутренними ссылками218Удаление товаров без обновления ссылок.
404 на старых URL после миграции390Неполная таблица перенаправлений.
302 вместо ожидаемого 301176Некорректные правила редиректов.
Цепочки из двух и более переходов284Несколько последовательных правил перенаправления.
403 на публичных страницах92Ограничения WAF.
Повторяющиеся 5xx148Перегрузка PHP-FPM и ошибки приложения.
Soft 404510Удалённые карточки товаров возвращали 200.

Важно: эти группы могут пересекаться с первоначальным распределением статусов. Например, soft 404 входят в группу 200, а URL с цепочками редиректов могут учитываться по-разному в зависимости от способа формирования отчёта. Поэтому нельзя механически складывать все строки таблиц и считать их количеством уникальных ошибок.

План исправлений

  1. Восстановить корректную маршрутизацию для 46 действующих категорий.
  2. Заменить внутренние ссылки, ведущие на 218 несуществующих товаров, либо восстановить релевантные карточки.
  3. Дополнить таблицу редиректов для старых URL после миграции.
  4. Исправить правила, которые возвращают 302 вместо ожидаемого постоянного перенаправления.
  5. Устранить цепочки редиректов и направить ссылки сразу на конечные URL.
  6. Проверить WAF и восстановить доступ поисковых роботов к публичным страницам.
  7. Исследовать ошибки приложения и стабилизировать ответы сервера.
  8. Исправить обработку удалённых товаров, чтобы они возвращали корректный статус.
  9. Пересобрать XML Sitemap и проверить её содержимое после внедрения изменений.

Контрольная проверка после внедрения

После исправлений необходимо повторить проверку по исходной выборке. При этом сравнивать нужно не только общее количество 4xx и 5xx, но и состояние конкретных групп URL.

ПоказательДо исправленийПосле исправлений
404 на активных категориях460
404 на товарах с внутренними ссылками21812
Старые URL с неправильным редиректом39024
302 вместо ожидаемого 3011768
Цепочки редиректов28431
403 на публичных страницах920
Повторяющиеся 5xx1489
Soft 4045100

Приведённые значения условные. Остаточные ошибки требуют отдельной проверки: часть из них может быть связана с удалёнными товарами, внешними URL, временными сбоями или изменением бизнес-логики.

После технической проверки следует отдельно оценивать динамику сканирования и индексации. Исправление HTTP-статусов не означает мгновенного возвращения страниц в поисковую выдачу.

16.Как исправлять массовые ошибки на уровне Nginx

Если массовые HTTP-ошибки связаны с серверной конфигурацией, необходимо определить источник проблемы и исправлять правило, которое затрагивает группу URL.

Не стоит создавать тысячи отдельных исключений, если причина заключается в одном неверном location или регулярном выражении.

Серверная стойка с сетевым оборудованием и кабелями
Когда сотни URL дают одинаковый неверный статус, чинить нужно одно правило маршрутизации, а не каждый адрес по отдельности.

Пример: корректный редирект старого раздела

nginx
location = /old-catalog/ {
    return 301 https://example.ru/catalog/;
}

Пример: удалённая страница

nginx
location = /old-product/ {
    return 410;
}

Использовать 410 имеет смысл, если ресурс действительно удалён окончательно и не имеет релевантной замены.

Пример: обслуживание сайта

nginx
location / {
    try_files $uri $uri/ /index.php?$query_string;
}

Это распространённый пример маршрутизации для приложений, использующих front controller. Его необходимо адаптировать под конкретную CMS и существующую конфигурацию.

Для временной недоступности сервиса можно использовать 503, но важно не оставлять этот статус на постоянной основе и не подменять им обычные ошибки приложения.

После изменений обязательно проверяем конфигурацию:

bash
nginx -t

И повторно проверяем URL:

bash
curl -I https://example.ru/catalog/

Калькулятор балльной модели приоритета

Инструмент из главы 14: задайте пять факторов — и получите приоритет задачи, понятное действие для разработчика и готовый список, который можно скопировать в трекер или письмо команде.

Исходные данные

Тип страницы и характер проблемы определяют контекст, а пять факторов ниже формируют итоговый балл.

Тип страницы

Характер проблемы

Адрес или короткое описание

Факторы приоритета
5

Главная страница и основные разделы

5

Более 40 внутренних ссылок

3

URL есть, свежий lastmod и высокий приоритет в карте

3

Стабильно высокий поток запросов роботов

5

Более 200 адресов с одинаковой ошибкой

Быстрые пресеты

Итоговый балл приоритета

21/ 21

Критический

Передать задачу разработчикам сегодня: страница или группа URL входит в критичные для бизнеса.

Критичность типа страницы 5 / 5
Количество внутренних ссылок 5 / 5
Наличие URL в XML Sitemap 3 / 3
Обращения поискового робота 3 / 3
Масштаб проблемы по шаблону 5 / 5

Шкала приоритета: 17–21 — критический, 13–16 — высокий, 7–12 — средний, 0–6 — низкий. Это авторская модель для сортировки задач, а не показатель поисковых систем.

Список задач для разработчика

Задач пока нет

Задачи появятся здесь после нажатия «Добавить в список задач». Список сортируется по баллу: сверху — то, что нужно чинить первым.

    Пороговые значения заданы как в примере из главы 14. Если в проекте критичных страниц много, поднимите границу критического приоритета — иначе список задач перестанет быть рабочим инструментом и превратится в очередь из сотен одинаковых пунктов.

    Часть третья

    Исправления, контроль и рабочий чек-лист

    Главы 17–23 и заключение: Apache и CMS как источник ошибок, оформление результатов для клиента и разработчика, трёхуровневый контроль после внедрения, типовые ошибки и итоговый чек-лист.

    17.Как исправлять HTTP-ошибки в Apache

    На Apache логика исправлений аналогична: необходимо выявить правило, которое формирует неправильный ответ, и устранить причину на уровне виртуального хоста, .htaccess или приложения.

    Пример постоянного редиректа

    apache
    Redirect 301 /old-section/ https://example.ru/new-section/

    Пример постоянного удаления ресурса

    Для точечных сценариев можно использовать RewriteRule и явно задать нужный статус:

    apache
    RewriteEngine On
    
    RewriteRule ^old-product/?$ - [G,L]

    Флаг G возвращает 410 Gone.

    Пример проверки конфигурации

    bash
    apachectl configtest

    После применения изменений необходимо проверить как конечный URL, так и все старые адреса, которые должны перенаправляться.

    Не забывайте учитывать кэширование и промежуточные прокси: иногда корректное изменение на origin-сервере не сразу отражается в публичном ответе.

    18.Особенности массовой проверки на 1С-Битрикс и других CMS

    На CMS проблемы с HTTP-ответами часто возникают не из-за веб-сервера как такового, а из-за логики приложения.

    Например:

    • удалённый товар продолжает открываться по старому адресу;
    • компонент каталога возвращает пустую страницу с кодом 200;
    • неправильное правило маршрутизации генерирует 404 на действующих URL;
    • модуль редиректов создаёт повторные перенаправления;
    • кэш сохраняет устаревшие ответы;
    • защитный модуль блокирует часть автоматизированных запросов.

    Для диагностики необходимо разделить ошибки на три уровня:

    УровеньЧто проверятьКто обычно исправляет
    Веб-серверNginx, Apache, Rewrite Rules, виртуальные хосты.Системный администратор или DevOps.
    CMS и приложениеМаршрутизация, обработка отсутствующих страниц, компоненты, модули.Backend-разработчик.
    CDN и защитаWAF, Rate Limiting, кэширование, правила перенаправлений.DevOps или специалист по инфраструктуре.

    SEO-специалист должен не просто сообщить разработчику, что 500 URL возвращают 404, а предоставить воспроизводимый сценарий, примеры URL, ожидаемое поведение и предполагаемую область ошибки.

    19.Как оформить результаты HTTP Status Code Mapping для клиента

    Итогом аудита должна стать не просто выгрузка из Screaming Frog. Клиенту и разработчику необходим понятный документ, в котором можно быстро определить масштаб проблемы и последовательность исправлений.

    Рекомендую использовать следующую структуру таблицы:

    URL Тип страницы Ожидаемый статус Фактический статус Конечный URL Источник Проблема Приоритет Решение
    /catalog/ Категория 200 500 — Sitemap Ошибка сервера Критический Проверить приложение
    /old-product/ Старый товар 301 404 — Историческая база Нет редиректа Высокий Настроить перенаправление
    /product-new/ Товар 200 200 /product-new/ Внутренняя ссылка Нет Норма Не требуется
    /filter/blue/ Фильтр Зависит от стратегии 200 /filter/blue/ Краулинг Проверить необходимость индексации Средний Проверить архитектуру URL

    Для удобства можно добавить отдельные листы:

    • Summary: общая статистика по HTTP-кодам.
    • Critical: критические проблемы, требующие срочного исправления.
    • Redirect Mapping: старые URL, новые URL и цепочки перенаправлений.
    • 404 Mapping: несуществующие страницы и источники внутренних ссылок.
    • 5xx Monitoring: серверные ошибки и динамика их появления.
    • Soft 404: страницы с успешным статусом, но фактически отсутствующим содержимым.
    • Retest: результаты повторной проверки после внедрения.

    20.Контроль после исправлений: почему одного повторного сканирования недостаточно

    После внедрения технических изменений необходимо выполнить повторную проверку. Но на этом работа не заканчивается.

    Для корректного контроля рекомендуется разделить процесс на три уровня.

    Уровень 1. Проверка сервера

    • Повторно проверить HTTP-статусы.
    • Проверить конечные URL после редиректов.
    • Убедиться в отсутствии циклов и лишних переходов.
    • Проверить доступность важных страниц.
    • Повторить проверку проблемных URL через GET.

    Уровень 2. Проверка структуры сайта

    • Обновить внутренние ссылки.
    • Убрать старые URL из XML Sitemap.
    • Проверить canonical.
    • Устранить ссылки на несуществующие страницы.
    • Проверить страницы фильтров и параметров.

    Уровень 3. Проверка поисковых систем

    • Проверить проблемные URL в Google Search Console.
    • Посмотреть статистику сканирования.
    • Проверить изменения HTTP-статусов в Яндекс Вебмастере.
    • Сопоставить новые ответы с серверными логами.
    • Отслеживать повторные обращения поисковых роботов.

    Необходимо учитывать, что панели вебмастеров могут показывать данные за предыдущие обходы. Если сервер уже исправлен, старый статус может некоторое время оставаться в отчетах.

    Также важно помнить: успешная повторная проверка URL не гарантирует автоматического восстановления индексации. Поисковой системе требуется повторно получить и обработать документ.

    21.Частые ошибки при массовом анализе HTTP-статусов

    Ошибка 1. Перенаправлять все 404 на главную

    Это один из наиболее распространённых неправильных подходов. Если удалённый товар не имеет релевантной замены, перенаправление на главную не решает проблему пользователя и может восприниматься поисковыми системами как soft 404.

    Решение: восстанавливать страницу, перенаправлять на действительно соответствующий ресурс или возвращать корректный 404/410.

    Ошибка 2. Считать любой 301 проблемой

    301 — нормальный механизм постоянного переноса URL. Проблема возникает, если редирект не соответствует назначению страницы, образует цепочку или используется во внутренних ссылках без необходимости.

    Решение: проверять конечный адрес и источник перенаправления.

    Ошибка 3. Игнорировать статус 200

    Успешный HTTP-ответ может содержать soft 404, пустой документ или ошибку приложения.

    Решение: дополнительно проверять содержимое страницы и шаблоны ошибок.

    Ошибка 4. Проверять только главную и несколько категорий

    На крупных сайтах ошибки часто сосредоточены в отдельных шаблонах: карточках товаров, фильтрах, параметрах URL и архивных страницах.

    Решение: проверять репрезентативные группы URL и формировать массовую выборку.

    Ошибка 5. Не учитывать серверные логи

    Разовый краулинг не показывает историю доступности URL. Временные 502 и 503 могут исчезнуть к моменту проверки.

    Решение: сопоставлять краулинг с серверными логами за выбранный период.

    Ошибка 6. Запускать слишком агрессивный краулер

    При высокой скорости запросов собственный SEO-аудит может перегрузить сервер и вызвать 429 или 503.

    Решение: ограничивать скорость, использовать небольшое число потоков и согласовывать нагрузку с технической командой.

    Ошибка 7. Исправлять URL, но не исправлять шаблон

    Если сотни одинаковых ошибок формируются одним компонентом CMS, ручная обработка каждого адреса не устранит первопричину.

    Решение: группировать проблемы по шаблонам, правилам маршрутизации и источникам генерации URL.

    22.Связь HTTP Status Code Mapping с Crawl Budget и Index Bloat

    Массовые HTTP-ошибки часто связаны с более широкими проблемами архитектуры сайта.

    Например, интернет-магазин может генерировать тысячи URL фильтров и сортировок. Часть таких адресов существует только для пользовательской навигации, часть является дублями, а некоторые URL вообще не должны формироваться.

    Если поисковые роботы регулярно обращаются к подобным адресам и получают ответы 200, 301, 404 или 5xx, необходимо анализировать не только сами статусы, но и причины появления этих URL.

    Здесь HTTP Status Code Mapping становится частью комплексного технического аудита.

    Для дальнейшего анализа рекомендую связанные материалы:

    Например, массовые 404 на URL фильтров могут быть следствием неправильной генерации ссылок, а не обычного удаления страниц. В таком случае необходимо исправить логику формирования URL, а не просто закрыть список ошибок.

    Аналогично, большое количество 200 на технических дублях может указывать на проблему архитектуры, которую невозможно решить одной настройкой HTTP-статусов.

    23.Итоговый чек-лист HTTP Status Code Mapping

    Используйте этот список при проведении технического аудита сайта.

    Подготовка данных

    • Собрать URL из XML Sitemap.
    • Выгрузить URL из внутреннего краулинга.
    • Получить адреса из Google Search Console и Яндекс Вебмастера.
    • Добавить URL из серверных логов.
    • Добавить исторические адреса после миграции.
    • Удалить дубли и нормализовать формат URL.
    • Присвоить URL типы страниц и ожидаемые статусы.

    Массовая проверка

    • Проверить HTTP-статусы.
    • Проверить конечные адреса редиректов.
    • Найти цепочки и циклы перенаправлений.
    • Проверить ошибки 4xx и 5xx.
    • Выявить URL без ответа.
    • Проверить Content-Type.
    • Выявить возможные soft 404.

    SEO-анализ

    • Сопоставить фактический статус с ожидаемым.
    • Проверить URL, присутствующие в Sitemap.
    • Найти внутренние ссылки на 404 и другие проблемные адреса.
    • Проверить доступность URL для поисковых роботов.
    • Сопоставить результаты краулинга с серверными логами.
    • Выделить ошибки, затрагивающие целые шаблоны страниц.

    Исправления и контроль

    • Сформировать список задач для разработчиков.
    • Присвоить каждой проблеме приоритет.
    • Исправить правила маршрутизации и редиректов.
    • Устранить причины серверных ошибок.
    • Обновить внутренние ссылки и XML Sitemap.
    • Повторно проверить исходную выборку URL.
    • Отследить изменения в логах и панелях вебмастеров.

    →Заключение

    Массовая проверка HTTP-статусов — это не просто поиск страниц с кодами 404 и 500. На крупных проектах она должна превращаться в системную диагностику взаимодействия URL, CMS, веб-сервера, CDN и поисковых роботов.

    Один и тот же HTTP-статус может означать совершенно разные вещи в зависимости от назначения страницы. Корректный 404 на удалённом товаре не требует такого же внимания, как 404 на активной категории. А 200 OK на пустой странице может оказаться более серьёзной проблемой, чем ожидаемый 301 после миграции.

    Поэтому эффективный HTTP Status Code Mapping должен объединять несколько уровней анализа:

    • фактический ответ сервера;
    • ожидаемый статус для конкретного типа URL;
    • конечный адрес после перенаправления;
    • источники внутренних и внешних ссылок;
    • присутствие URL в XML Sitemap;
    • обращения поисковых роботов в серверных логах;
    • приоритет исправления и результат повторной проверки.

    Именно такой подход позволяет перейти от хаотичного исправления отдельных URL к устранению системных технических ошибок.

    Главная задача SEO-специалиста

    Не просто найти неправильный HTTP-код, а определить, почему сервер возвращает именно такой ответ, какие страницы затронуты и какое изменение устранит проблему на уровне всего сайта.

    На проектах с тысячами URL это часто оказывается гораздо эффективнее, чем ручная проверка отдельных страниц.

    Что делать после прочтения

    Mapping даёт не список ошибок, а управляемый процесс. Ниже — порядок работы, который превращает результаты проверки в задачи для команды, и короткая шпаргалка, к которой можно возвращаться во время аудита.

    Пять шагов, которые дают результат быстрее всего

    1. 1

      Соберите выборку из шести источников

      Sitemap, краулинг, вебмастера, логи, исторические адреса и внешние ссылки. Одна выгрузка из краулера не покажет реальную картину.

    2. 2

      Опишите ожидаемое поведение для каждого типа URL

      Без этой таблицы любая автоматическая проверка превращается в перечисление кодов без выводов.

    3. 3

      Запустите массовую проверку и сохраните цепочки редиректов

      Статус без конечного адреса не показывает ни цепочек, ни циклов, ни подмены 404 главной страницей.

    4. 4

      Сверьте результат с логами и вебмастерами

      Так видны soft 404, ошибки, доступные только роботам, и временные сбои, исчезнувшие ко времени сканирования.

    5. 5

      Отдайте задачи по шаблону, а не по URL

      Разработчику нужны воспроизводимый сценарий, примеры адресов, ожидаемое поведение и уровень, на котором, вероятно, ошибка.

    Шпаргалка: код ответа и первое действие

    КодПервое действие
    200Проверить содержимое: soft 404, пустой шаблон, дубли Title.
    301Проверить конечный URL и цепочки, заменить внутренние ссылки.
    302Оценить обоснованность; в миграции заменить на 301.
    304Не трогать — корректный условный ответ.
    307 / 308Убедиться, что метод запроса сохраняется.
    400Проверить параметры и синтаксис URL.
    403Проверить WAF, права и доступ роботов к публичным страницам.
    404Сопоставить с источниками ссылок, убрать из Sitemap.
    410Оставить, если удаление окончательное и замены нет.
    429Снизить частоту проверки, проверить rate limiting.
    500Передать разработчикам немедленно.
    502 / 504Проверить прокси, upstream и тайм-ауты.
    503Проверить нагрузку и режим обслуживания, не оставлять надолго.
    Рабочий стол специалиста с документами и отчётами технического аудита
    Финальный артефакт аудита — не выгрузка, а документ, в котором по каждой группе URL видно ожидаемое поведение, фактический ответ и приоритет исправления.

    Связанные материалы

    Материал подготовлен как практический протокол технического аудита. Все числовые примеры приведены для иллюстрации методики и не являются результатами реальных проектов.

    Made on
    Tilda