1.Что такое HTTP Status Code Mapping и зачем он нужен в SEO
Представьте ситуацию: интернет-магазин содержит 25 000 страниц, каталог регулярно обновляется, товары удаляются, категории переименовываются, а разработчики периодически меняют структуру URL. Визуально сайт работает нормально. Главная открывается, категории загружаются, карточки товаров доступны.
Но после технического сканирования обнаруживается совершенно другая картина: сотни внутренних ссылок ведут на 404, часть старых URL перенаправляется через несколько промежуточных адресов, некоторые страницы возвращают 200 OK вместо 404, а сервер периодически отвечает кодами 500 и 503.
И самое неприятное — ошибки распределены неравномерно. Большинство из них сосредоточено в нескольких шаблонах и разделах сайта. Исправление каждого URL вручную не решит проблему: через неделю CMS может снова сгенерировать аналогичные адреса.
Именно для таких ситуаций применяется HTTP Status Code Mapping — системная проверка URL, при которой каждому адресу сопоставляются фактический HTTP-статус, ожидаемое поведение, конечный URL, источник обнаружения и приоритет исправления.
В этой статье разберём, как построить такую систему на проектах с тысячами и десятками тысяч URL. Покажем, как объединять данные Screaming Frog, XML Sitemap, серверных логов, Google Search Console и Яндекс Вебмастера, как автоматизировать проверку через Python и Bash, а также как превратить результаты в понятную техническую задачу для разработчика.
Обычная проверка URL против Status Code Mapping
HTTP Status Code Mapping — это метод сопоставления URL сайта с фактическими ответами сервера и ожидаемым состоянием каждого ресурса.
Обычная проверка HTTP-кодов отвечает на вопрос: «Какой статус возвращает этот URL сейчас?»
Mapping отвечает на более важный вопрос: «Какой статус этот URL должен возвращать с учётом его назначения, состояния страницы и структуры сайта?»
Например, код 404 для давно удалённого товара может быть совершенно правильным. Но тот же 404 для действующей категории, которая находится в главном меню и включена в sitemap.xml, — уже техническая проблема.
Аналогично, 301 может быть правильным ответом для старого адреса после миграции сайта. Но если внутренние ссылки продолжают вести на старый URL, возникает лишний переход, который можно устранить.
| Параметр | Обычная проверка | HTTP Status Code Mapping |
|---|---|---|
| HTTP-статус | Фактический код ответа | Фактический и ожидаемый код |
| Редиректы | Факт перенаправления | Полная цепочка и конечный адрес |
| Внутренние ссылки | Могут не учитываться | Проверяется источник ссылок |
| XML Sitemap | Отдельная проверка | Сопоставление со статусами URL |
| Серверные логи | Обычно не используются | Сравнение с ответами поисковых роботов |
| Приоритет ошибки | По HTTP-коду | По типу страницы и последствиям |
| Результат | Список URL с ошибками | План технических исправлений |
Главное отличие — переход от списка ошибок к модели ожидаемого поведения сайта.
Когда необходим массовый HTTP Status Code Mapping
- После переезда сайта на новый домен.
- После смены CMS или изменения структуры URL.
- После масштабного обновления каталога интернет-магазина.
- При обнаружении большого количества страниц с ошибками в Google Search Console.
- При росте числа 404, 5xx и перенаправлений в серверных логах.
- При регулярном появлении несуществующих страниц.
- При подозрении на soft 404.
- При проверке сайта с большим количеством фильтров и параметров URL.
2.Какие HTTP-статусы нужно проверять в первую очередь
Перед массовым сканированием необходимо определить, какие группы ответов представляют интерес для конкретного проекта.
Самая распространённая ошибка — считать все ответы, отличные от 200, проблемными. На практике это неверно. Некоторые перенаправления необходимы, а корректный 404 или 410 является нормальным способом сообщить, что ресурса больше нет.
2xx — успешные ответы
| Код | Значение | Что проверять в SEO |
|---|---|---|
| 200 | OK | Действительно ли страница содержит нужный документ, а не ошибку или пустую оболочку. |
| 201 | Created | Не используется ли ответ создания ресурса для обычных индексируемых страниц. |
| 202 | Accepted | Не возвращает ли сервер промежуточный ответ вместо готового содержимого. |
| 204 | No Content | Не возвращается ли пустой ответ для URL, который должен содержать HTML. |
200 OK не гарантирует индексацию. Google передаёт полученный документ на следующие этапы обработки, но сам успешный HTTP-ответ не означает, что URL будет включён в индекс. Если страница содержит сообщение об ошибке или пустой контент, поисковая система может классифицировать её как soft 404.
3xx — перенаправления
| Код | Значение | Типичная SEO-задача |
|---|---|---|
| 301 | Moved Permanently | Постоянный перенос URL. |
| 302 | Found | Временное перенаправление. |
| 303 | See Other | Переход на другой ресурс с использованием GET. |
| 304 | Not Modified | Подтверждение актуальности ранее полученной версии ресурса при условном запросе. |
| 307 | Temporary Redirect | Временное перенаправление с сохранением метода запроса. |
| 308 | Permanent Redirect | Постоянное перенаправление с сохранением метода запроса. |
Для SEO наиболее часто приходится работать с 301 и 302. Однако сам факт наличия редиректа не означает ошибку.
Проблема появляется, когда перенаправление ведёт не туда, образует цепочку, создаёт цикл или используется вместо корректного ответа 404/410.
4xx — ошибки клиентского запроса
| Код | Значение | Что проверять |
|---|---|---|
| 400 | Bad Request | Некорректные параметры, синтаксис URL, обработка запросов. |
| 401 | Unauthorized | Не требует ли публичная страница авторизации. |
| 403 | Forbidden | Не блокируются ли поисковые роботы или публичные ресурсы. |
| 404 | Not Found | Не ведут ли внутренние ссылки на несуществующие URL. |
| 410 | Gone | Корректно ли обозначено окончательное удаление ресурса. |
| 429 | Too Many Requests | Не перегружает ли сайт собственный краулер или другой автоматизированный клиент. |
Отдельно выделяем 429. Несмотря на то что этот статус относится к группе 4xx, Google рассматривает его как сигнал перегрузки сервера. Повторяющиеся ответы 429 могут приводить к снижению интенсивности сканирования.
5xx — серверные ошибки
| Код | Значение | Возможная причина |
|---|---|---|
| 500 | Internal Server Error | Ошибка приложения, PHP, CMS или серверного кода. |
| 501 | Not Implemented | Неподдерживаемый метод или функциональность. |
| 502 | Bad Gateway | Проблема взаимодействия proxy и upstream-сервера. |
| 503 | Service Unavailable | Временная недоступность или перегрузка сервиса. |
| 504 | Gateway Timeout | Тайм-аут при обращении к вышестоящему серверу. |
Массовые 5xx — одна из наиболее серьёзных проблем при аудите доступности. Google может временно снижать интенсивность обхода при получении серверных ошибок. Если проблема сохраняется, ранее доступные URL со временем могут выпадать из индекса.
Важно анализировать не только количество ошибок, но и их продолжительность, повторяемость и распределение по разделам сайта.
3.Почему нельзя просто отфильтровать все URL со статусом не 200
Допустим, после сканирования сайта получен следующий результат:
| URL | Статус | Контекст | Предварительная оценка |
|---|---|---|---|
| /catalog/ | 200 | Действующая категория | Норма |
| /old-product/ | 301 | Старый товар перенесён | Проверить конечный URL |
| /deleted-item/ | 404 | Товар окончательно удалён | Возможная норма |
| /category/ | 500 | Важная категория | Критическая проблема |
| /catalog/filter/blue/ | 200 | Технический фильтр | Проверить необходимость страницы |
| /missing-page/ | 200 | Страница не существует | Возможный soft 404 |
Если автоматически считать все 3xx и 4xx ошибками, отчёт будет содержать ложные срабатывания. Если ориентироваться только на 200, можно пропустить пустые страницы, soft 404 и документы с неправильным содержимым.
Поэтому перед началом работы нужно сформировать карту ожидаемых ответов.
4.Как построить карту ожидаемых HTTP-статусов
Первый этап — разделить URL на логические группы. Для каждого типа страницы определяется ожидаемое поведение.
Например, для интернет-магазина:
| Тип URL | Ожидаемый статус | Дополнительная проверка |
|---|---|---|
| Главная страница | 200 | Доступность контента и отсутствие неожиданного редиректа. |
| Активная категория | 200 | Корректный HTML, canonical и доступность. |
| Активная карточка товара | 200 | Наличие товара или корректной информации о его состоянии. |
| Старый URL после миграции | 301 | Переход на соответствующую новую страницу. |
| Временно перемещённая страница | 302 / 307 | Обоснованность временного перенаправления. |
| Окончательно удалённая страница | 404 / 410 | Отсутствие ошибочного перенаправления на нерелевантный URL. |
| Служебный API | Зависит от метода и сценария | Не сравнивать с ожиданиями HTML-страниц. |
| robots.txt | 200 при доступном файле | Корректность содержимого и доступность для роботов. |
| XML Sitemap | 200 | Корректный XML и доступность URL из карты. |
Это базовая модель, а не универсальное правило. Для каждого проекта необходимо учитывать назначение URL, бизнес-логику и требования поисковых систем.
Практический момент: нормализация URL
Перед любой массовой проверкой приведите адреса к единому виду: схема (http или https), регистр, слэш в конце, порт, удаление лишних параметров и якорных меток. Иначе один и тот же ресурс будет учтён несколько раз, а часть «ошибок» окажется ложными дублями. Нормализацию удобно выполнять прямо в таблице URL — отдельной колонкой «нормализованный адрес».
Откуда брать список URL
Для качественного mapping недостаточно выгрузить только страницы из меню сайта. Необходимо объединить несколько источников.
- XML Sitemap. Получаем URL, которые сайт заявляет как важные для поисковых систем.
- Внутренний краулинг. Собираем адреса, обнаруженные через ссылки на страницах.
- Google Search Console. Используем URL из отчетов индексации и проверки страниц.
- Яндекс Вебмастер. Анализируем страницы, статусы обхода и изменения в поисковой базе.
- Серверные логи. Получаем адреса, которые реально запрашивали пользователи и роботы.
- Исторические URL. Используем старые карты сайта, таблицы миграции, CMS и резервные выгрузки.
- Внешние ссылки. Отдельно проверяем старые URL, на которые ссылаются сторонние сайты.
Такой подход помогает найти не только очевидные ошибки, но и URL, которые уже не присутствуют в текущей структуре сайта, однако продолжают получать обращения.
Если нужно сопоставить данные карты сайта с фактическим состоянием индексации, пригодится материал «Sitemap vs Google Index: почему страницы есть в карте сайта, но не индексируются».
5.Массовая проверка HTTP-кодов через Screaming Frog
Для большинства SEO-аудитов Screaming Frog SEO Spider — один из наиболее удобных инструментов первичного сканирования.
Он позволяет обойти сайт, собрать HTTP-статусы, обнаружить редиректы, ошибки клиента и сервера, а также выгрузить URL для дальнейшей обработки.
Шаг 1. Запускаем сканирование
- Открываем Screaming Frog SEO Spider.
- Выбираем режим Spider.
- Указываем домен.
- Запускаем сканирование.
- Дожидаемся завершения обхода или достижения заданного лимита.
Перед запуском на крупном проекте нужно настроить скорость обхода и лимиты. Не следует запускать максимально агрессивное сканирование без оценки возможностей сервера.
Шаг 2. Анализируем Response Codes
После сканирования открываем вкладку Response Codes.
Особое внимание уделяем фильтрам:
- Success (2xx);
- Redirection (3xx);
- Client Error (4xx);
- Server Error (5xx);
- No Response.
Для каждого URL необходимо проверить не только статус, но и тип страницы, источник ссылки и возможность исправления.
Шаг 3. Выгружаем ошибки
В Screaming Frog доступны отчёты для экспорта URL с различными типами ответов. В частности, можно использовать Bulk Export для выгрузки внутренних ссылок, ведущих на URL с ошибками.
Это важный момент: недостаточно получить список 404. Необходимо узнать, какие страницы продолжают ссылаться на несуществующие адреса.
Если 404 обнаружен в старой внешней ссылке, это одна задача. Если на него ведут 120 внутренних ссылок из активных категорий — совсем другая.
Шаг 4. Проверяем цепочки редиректов
Для анализа цепочек используем отчёт Redirect Chains.
Пример:
https://example.ru/old-product/
|
| 301
v
https://example.ru/catalog/product/
|
| 302
v
https://www.example.ru/catalog/product/
|
| 200
v
Финальный URL Задача — определить, можно ли заменить последовательность перенаправлений одним прямым переходом на конечный URL.
Также проверяем циклы, когда один адрес перенаправляет на другой, а тот возвращает запрос обратно.
Подробный разбор таких проблем доступен в документации Screaming Frog: Internal Redirect Chain и Internal Redirect Loop.
6.Массовая проверка URL в режиме List Mode
Один из самых полезных сценариев для HTTP Status Code Mapping — проверка заранее подготовленного списка адресов.
Например, у нас есть:
- 15 000 URL из XML Sitemap;
- 3 500 старых URL после миграции;
- 800 адресов из отчётов Google Search Console;
- 1 200 URL, обнаруженных в серверных логах.
Все эти адреса можно объединить, удалить дубли и загрузить в Screaming Frog через List Mode.
Порядок работы
- Переключаем режим Spider на List.
- Загружаем CSV или TXT со списком URL.
- Настраиваем обработку редиректов.
- Запускаем проверку.
- Экспортируем статусы, конечные адреса и другие доступные данные.
- Объединяем результат с исходной таблицей URL.
Преимущество List Mode — возможность проверять не только текущую структуру сайта, но и исторические URL, которые уже невозможно обнаружить обычным обходом по внутренним ссылкам.
7.Массовая проверка URL через Python
Когда речь идёт о десятках тысяч адресов, автоматизация может существенно упростить работу. Для этого можно использовать Python и библиотеку requests.
Ниже — пример скрипта, который:
- читает список URL из CSV;
- проверяет HTTP-ответы;
- фиксирует статус и конечный URL;
- собирает цепочку перенаправлений;
- сохраняет Content-Type;
- обрабатывает сетевые ошибки;
- делает ограниченное количество параллельных запросов.
Перед запуском на реальном проекте необходимо согласовать интенсивность проверки с владельцем сайта или технической командой. Для больших каталогов лучше использовать небольшое количество потоков и паузы между запросами.
Формат входного CSV
url,page_type,expected_status
https://example.ru/,homepage,200
https://example.ru/catalog/,category,200
https://example.ru/product-a/,product,200
https://example.ru/old-product/,legacy,301
https://example.ru/deleted-product/,deleted,404 Python: проверка HTTP-статусов
import csv
import time
import requests
from concurrent.futures import ThreadPoolExecutor, as_completed
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry
INPUT_FILE = "urls.csv"
OUTPUT_FILE = "http_mapping.csv"
MAX_WORKERS = 3
TIMEOUT = 20
PAUSE_SECONDS = 0.15
USER_AGENT = "SEO-Status-Audit/1.0"
def create_session():
session = requests.Session()
retry = Retry(
total=2,
connect=2,
read=1,
backoff_factor=1,
status_forcelist=[500, 502, 503, 504],
allowed_methods=["GET"]
)
adapter = HTTPAdapter(
max_retries=retry,
pool_connections=10,
pool_maxsize=10
)
session.mount("http://", adapter)
session.mount("https://", adapter)
session.headers.update({
"User-Agent": USER_AGENT
})
return session
def check_url(row):
url = row["url"]
expected = row.get("expected_status", "")
page_type = row.get("page_type", "")
session = create_session()
result = {
"url": url,
"page_type": page_type,
"expected_status": expected,
"actual_status": "",
"final_url": "",
"redirect_chain": "",
"content_type": "",
"content_length": "",
"error": "",
"mapping_result": ""
}
try:
response = session.get(
url,
timeout=TIMEOUT,
allow_redirects=True,
stream=True
)
result["actual_status"] = response.status_code
result["final_url"] = response.url
result["content_type"] = response.headers.get(
"Content-Type", ""
)
result["content_length"] = response.headers.get(
"Content-Length", ""
)
chain = []
for item in response.history:
location = item.headers.get("Location", "")
chain.append(
f"{item.status_code} -> {location}"
)
chain.append(
f"{response.status_code} -> {response.url}"
)
result["redirect_chain"] = " | ".join(chain)
if expected:
if str(response.status_code) == str(expected):
result["mapping_result"] = "MATCH"
else:
result["mapping_result"] = "STATUS_MISMATCH"
else:
result["mapping_result"] = "REVIEW"
response.close()
session.close()
except requests.exceptions.Timeout:
result["error"] = "TIMEOUT"
result["mapping_result"] = "CONNECTION_PROBLEM"
except requests.exceptions.ConnectionError:
result["error"] = "CONNECTION_ERROR"
result["mapping_result"] = "CONNECTION_PROBLEM"
except requests.exceptions.RequestException as error:
result["error"] = str(error)
result["mapping_result"] = "REQUEST_ERROR"
time.sleep(PAUSE_SECONDS)
return result
def main():
with open(
INPUT_FILE,
"r",
encoding="utf-8-sig",
newline=""
) as file:
reader = csv.DictReader(file)
rows = list(reader)
results = []
with ThreadPoolExecutor(
max_workers=MAX_WORKERS
) as executor:
futures = [
executor.submit(check_url, row)
for row in rows
]
for future in as_completed(futures):
results.append(future.result())
fieldnames = [
"url",
"page_type",
"expected_status",
"actual_status",
"final_url",
"redirect_chain",
"content_type",
"content_length",
"error",
"mapping_result"
]
with open(
OUTPUT_FILE,
"w",
encoding="utf-8-sig",
newline=""
) as file:
writer = csv.DictWriter(
file,
fieldnames=fieldnames
)
writer.writeheader()
writer.writerows(results)
print("Проверка завершена")
print("URL проверено:", len(results))
print("Результат:", OUTPUT_FILE)
if __name__ == "__main__":
main() Как не навредить своему же сайту
Проверка тысяч URL — это трафик на ваш сервер. Если во время аудита в логах появляются 429 или 503, снижайте MAX_WORKERS и увеличивайте паузу, а не продолжайте перезапускать проверку. Многие CDN и WAF считают массовые однотипные запросы атакой. Договорённость с технической командой о допустимом окне проверки снимает большинство рисков.
Что важно учитывать: скрипт выполняет GET-запросы, а не только HEAD. Это сделано намеренно: некоторые серверы неправильно обрабатывают HEAD, а проверка GET позволяет получить более реалистичную картину. При этом используется stream=True, чтобы не загружать целиком тело каждого ответа.
Для очень крупных проектов нужно дополнительно предусмотреть сохранение промежуточных результатов, обработку повторных запусков, ограничение частоты запросов на домен и отдельную проверку конечного содержимого.
Как интерпретировать результат
| Результат | Что означает | Следующий шаг |
|---|---|---|
| MATCH | Фактический статус совпал с ожидаемым. | Проверить дополнительные SEO-сигналы. |
| STATUS_MISMATCH | Фактический статус отличается от ожидаемого. | Проверить URL и бизнес-логику страницы. |
| CONNECTION_PROBLEM | Не удалось получить ответ. | Проверить доступность сервера и сетевые ограничения. |
| REQUEST_ERROR | Возникла ошибка запроса. | Изучить сообщение исключения. |
| REVIEW | Ожидаемый статус не был задан. | Определить правильное поведение URL. |
Скрипт выполняет первичное сопоставление статусов. Он не определяет автоматически, является ли страница полезной для индексации, корректен ли canonical или действительно ли URL должен существовать. Для этого необходима дополнительная информация о типе и назначении страницы.
8.Массовая проверка через Bash и curl
Для небольших и средних списков URL можно использовать Bash и curl. Это удобный вариант, если нужно быстро проверить тысячи адресов без развёртывания отдельного приложения.
Файл urls.txt
https://example.ru/
https://example.ru/catalog/
https://example.ru/product-a/
https://example.ru/old-product/
https://example.ru/deleted-product/ Скрипт проверки статусов
#!/usr/bin/env bash
INPUT="urls.txt"
OUTPUT="http_status.csv"
echo "URL,STATUS,FINAL_URL,CONTENT_TYPE" > "$OUTPUT"
while IFS= read -r url
do
[ -z "$url" ] && continue
result=$(curl -L -sS \
--max-time 20 \
-A "SEO-Status-Audit/1.0" \
-o /dev/null \
-w "%{http_code};%{url_effective};%{content_type}" \
"$url")
status=$(echo "$result" | cut -d';' -f1)
final_url=$(echo "$result" | cut -d';' -f2)
content_type=$(echo "$result" | cut -d';' -f3)
printf '"%s","%s","%s","%s"\n' \
"$url" "$status" "$final_url" "$content_type" \
>> "$OUTPUT"
sleep 0.2
done < "$INPUT"
echo "Проверка завершена: $OUTPUT" Для production-аудита необходимо дополнительно обрабатывать сетевые ошибки, кавычки и запятые в значениях CSV, ограничивать число одновременных соединений и сохранять цепочки редиректов. Пример выше предназначен для простой первичной выгрузки.
