Анализ файла robots.txt и директивы Disallow.
Диагностика: Проведен анализ соответствия правил в robots.txt реальному поведению сайта.
- Crawl Budget Waste: Обнаружено, что директива Disallow не была применена к параметризованным URL, генерируемым сложными фасетными фильтрами (например, фильтрация по 3-4 параметрам одновременно: color, size, brand, material). Это генерировало миллионы канонически дублирующихся URL, которые краулер Google тратил на сканирование, вместо того чтобы индексировать новые SKU.
- Ошибочный блок: Директива блокировала доступ к папке /images/, которая была ошибочно определена как нерелевантная, что приводило к отсутствию Rich Snippets из-за невозможности рендеринга изображений в разметке.
Анализ файла robots.txt и директивы Disallow — это базовая, но крайне важная составляющая технического SEO-аудита, поскольку именно от правильности настроек этого файла зависит индексация сайта поисковыми системами и общее SEO-здоровье ресурса. Файл robots.txt — это основной инструмент управления роботами поисковых систем (сканерами), позволяющий задавать правила, какие разделы сайта можно индексировать, а какие необходимо исключить из индексации. Правильная настройка этого файла помогает избежать дублиров, снизить нагрузку на сервер, ограничить доступ к конфиденциальным страницам и контролировать индексируемый контент.
Структура URL и редиректы.
Диагностика: Проверка корректности обработки устаревших URL после недавнего редизайна.
Анализ структуры URL и настроек редиректов — это фундаментальный аспект технического SEO-аудита, напрямую влияющий на индексацию, юзабилити и юзерплейс сайта. Правильная организация URL-структуры и грамотное управление редиректами позволяют обеспечить стабильную и логичную навигацию для поисковых систем и пользователей, а также избегать ошибок, которые могут привести к каннибализации ключевых запросов, дублированию контента и потере веса ссылочного профиля.
- Обнаружено “Redirect Chaining” (цепочки редиректов) на 15% старых URL. Например: old-url.html (301) → intermediate-url/ (301) → final-url.html. Это приводило к потере до 40% PageRank на каждом прыжке и замедляло скорость ответа для пользователя.
- Отсутствие HTTPS HSTS принуждения. Часть трафика все еще обслуживалась по HTTP, создавая потенциальные уязвимости и вынуждая GSC проводить дополнительные 301-перенаправления “на лету”.
Канонизация (Canonicalization).
Диагностика: Аудит тегов <link rel="canonical"> и их соответствия серверным ответам.
- Критическая ошибка: На страницах пагинации (страницы 2, 3 и далее) тег canonical ссылался на саму себя (self-referencing canonical), вместо того чтобы ссылаться на главную страницу категории. Это запутывало краулер относительно того, какой именно URL является “истинным” (Source of Truth) для данной категории.