Гайд по техническому SEO

Crawl Budget Waste: куда Googlebot тратит бюджет сканирования сайта и как вернуть контроль над обходом страниц

Разбор на стыке логов, аналитики и архитектуры URL: как найти технические URL, которые съедают обход, и что делать с ними без потери поискового трафика.

17 разделов ≈ 28 минут чтения Материал обновлён: 18 ноября 2026 seoprof74.ru
Перейти к содержанию
Серверная инфраструктура сайта — от скорости ответа сервера зависит интенсивность обхода Googlebot
Терминал с серверным логом: строки обращений роботов к сайту
Дашборд SEO-аналитики с графиками краулинга, индексации и динамики запросов

Что внутри

  • Серверные логи
  • Классификация URL
  • Метрики Crawl Waste
  • Битрикс и 1С
  • Редиректы и статусы
  • План на 30 дней
  • Чек-лист аудита

Crawl Budget Waste — одна из технических SEO-проблем, которую легко не заметить при обычном аудите. Сайт может быстро загружаться, иметь корректную XML-карту, не содержать очевидных ошибок индексации и при этом расходовать значительную часть активности поискового робота на URL, которые практически не имеют поисковой ценности.

Googlebot регулярно обходит страницы сортировки, комбинации фильтров, технические параметры, дубли, устаревшие адреса и бесконечные варианты URL. В результате важные страницы могут получать меньше внимания поискового робота, чем заслуживают. Особенно заметна проблема на крупных интернет-магазинах, каталогах, сайтах с большим количеством фильтров и проектах, где URL формируются динамически.

В этой статье разберём, что такое Crawl Budget Waste, почему Googlebot может тратить ресурсы на ненужные адреса, как обнаружить такие URL по серверным логам, как оценить масштаб проблемы и какие технические изменения помогут оптимизировать обход сайта.

Материал ориентирован на технических SEO-специалистов, владельцев крупных сайтов, разработчиков и специалистов, работающих с интернет-магазинами на Bitrix и других CMS.

1. Что такое Crawl Budget и Crawl Budget Waste

Crawl Budget — условное обозначение объёма URL, которые поисковая система может и считает необходимым просканировать на конкретном сайте за определённый период.

Важно понимать: Google не выделяет каждому сайту фиксированное количество запросов, которое можно просто увеличить настройкой или директивой. Объём сканирования зависит от нескольких факторов, прежде всего от технической способности сервера обрабатывать запросы и от того, насколько поисковой системе требуется повторно посещать конкретные URL.

В документации Google понятие Crawl Budget рассматривается через две основные составляющие:

  • Crawl capacity limit — предел интенсивности сканирования, связанный с возможностями сервера и допустимой нагрузкой.
  • Crawl demand — потребность Google в сканировании конкретного сайта и его URL.

Crawl capacity limit: сколько запросов может выдержать сервер

Googlebot не должен создавать чрезмерную нагрузку на инфраструктуру сайта. Если сервер начинает медленно отвечать, возвращает ошибки 5xx или ограничивает частоту запросов ответами 429, поисковый робот может снизить интенсивность обхода.

На Crawl Capacity влияют:

  • время ответа сервера;
  • стабильность доступности сайта;
  • количество ошибок 5xx;
  • ответы 429 Too Many Requests;
  • ресурсоёмкость генерации страниц;
  • возможности серверной инфраструктуры;
  • наличие кэширования и корректная обработка повторных запросов.

Crawl demand: зачем Googlebot возвращаться на сайт

Даже если сервер способен выдерживать высокую нагрузку, Google не обязан использовать все доступные возможности для сканирования сайта.

Потребность в обходе зависит от:

  • популярности и значимости URL;
  • частоты изменения содержимого;
  • качества и полезности страниц;
  • известного поисковой системе количества URL;
  • состояния внутренних и внешних ссылок;
  • необходимости обновлять ранее полученную информацию.

Именно здесь возникает важный момент: большое количество URL не означает, что Googlebot должен обходить каждый из них одинаково часто. Если сайт создаёт тысячи технических вариантов одного документа, это может усложнить обнаружение и повторное сканирование действительно важных страниц.

Что такое Crawl Budget Waste

Crawl Budget Waste — неофициальное SEO-обозначение неэффективного расходования активности поискового робота на URL, которые не имеют самостоятельной ценности для поиска, являются дублями, техническими страницами или не должны регулярно сканироваться.

Например, интернет-магазин содержит 12 000 товарных и категорийных страниц, но из-за фильтров, сортировок и параметров URL поисковому роботу доступны ещё 180 000 адресов.

Если Googlebot регулярно посещает эти дополнительные URL, а важные страницы обновляются редко, возникает потенциальная проблема распределения внимания поискового робота.

Важно

Само наличие большого количества URL ещё не доказывает, что сайт теряет Crawl Budget. Необходимо проверить реальные запросы Googlebot, состояние сервера, важность страниц и динамику сканирования. Проверка занимает один день работы с логами — и снимает большинство спорных гипотез.

2. Кому действительно нужно оптимизировать краулинговый бюджет

Google отдельно подчёркивает, что рекомендации по управлению Crawl Budget в первую очередь актуальны для крупных и динамически меняющихся сайтов.

В качестве ориентиров Google приводит следующие ситуации:

  • сайт содержит более 1 миллиона уникальных страниц, которые меняются примерно раз в неделю;
  • сайт содержит более 10 000 страниц, которые обновляются ежедневно;
  • у сайта много URL со статусом Discovered – currently not indexed.

Это не жёсткие пороговые значения и не означает, что меньшие сайты никогда не сталкиваются с проблемами обхода. Это ориентиры, помогающие определить, когда специализированная работа с Crawl Budget становится особенно актуальной.

На практике аудит стоит рассматривать, если:

  • интернет-магазин имеет тысячи комбинаций фильтров;
  • каталог генерирует динамические URL;
  • Googlebot регулярно запрашивает страницы с параметрами;
  • в логах обнаружено большое количество повторных запросов к дублям;
  • новые важные страницы долго не обнаруживаются поисковиком;
  • после изменения структуры сайта увеличилось количество обходов технических адресов;
  • сервер испытывает повышенную нагрузку от поисковых роботов.

Если сайт небольшой, содержит несколько сотен статических страниц и не генерирует большое количество дополнительных URL, отдельная масштабная оптимизация Crawl Budget может не дать заметного результата. В таком случае разумнее сначала проверить качество страниц, внутреннюю перелинковку, доступность и технические ошибки.

3. Куда Googlebot тратит бюджет сканирования

Чтобы найти причину неэффективного обхода, необходимо определить, какие группы URL создают лишнюю нагрузку. На крупных сайтах чаще всего встречаются несколько типовых сценариев.

3.1. Фасетная навигация и комбинации фильтров

Фасетная навигация — один из наиболее частых источников избыточного количества URL в интернет-магазинах.

Представим каталог строительных материалов. Пользователь может выбрать:

  • производителя;
  • ценовой диапазон;
  • тип материала;
  • цвет;
  • размер;
  • наличие на складе;
  • сортировку по цене.

Каждая комбинация параметров потенциально формирует отдельный URL.

Например:

url
catalog/
catalog/filter/brand-is-a/
catalog/filter/brand-is-a/color-is-white/
catalog/filter/brand-is-a/color-is-white/price-from-100-to-500/
catalog/filter/brand-is-a/color-is-white/price-from-100-to-500/sort-price-asc/

Если параметры можно комбинировать в разных последовательностях, число потенциальных адресов быстро растёт.

Проблема не в самих фильтрах. SEO-ценность могут иметь отдельные фильтровые страницы, если они отвечают самостоятельному поисковому спросу. Проблема появляется тогда, когда поисковый робот получает доступ к бесконечному или чрезмерно большому количеству комбинаций без дополнительной ценности.

Интерфейс каталога с фасетными фильтрами по бренду, цвету и цене
Рис. 1 — фасетная навигация: каждый набор фильтров — это отдельный URL, и комбинаций у каталога быстро больше, чем товаров.

Подробно механизм образования таких URL и способы управления ими разобраны в материале «Faceted Navigation SEO: как фильтры создают миллионы URL и что с этим делать».

3.2. Сортировка товаров

Сортировка может создавать разные URL для одного и того же содержимого каталога:

url
/catalog/
/catalog/?sort=price_asc
/catalog/?sort=price_desc
/catalog/?sort=name
/catalog/?sort=popular
/catalog/?order=asc
/catalog/?order=desc

Если сортировка меняет только порядок отображения товаров, такие URL чаще всего не нуждаются в самостоятельном поисковом продвижении.

При этом нельзя автоматически закрывать все страницы сортировки. Сначала необходимо проверить, как именно реализована сортировка, какие URL доступны поисковому роботу, какие из них уже проиндексированы и не используются ли отдельные варианты как полноценные посадочные страницы.

3.3. GET-параметры и технические дубли

Параметры URL могут создавать большое количество адресов, содержимое которых практически не отличается от основной страницы.

Примеры:

url
/catalog/
/catalog/?utm_source=newsletter
/catalog/?utm_medium=email
/catalog/?from=price
/catalog/?PAGEN_1=2
/catalog/?show_all=1
/catalog/?view=grid
/catalog/?view=list

Особенно опасны ситуации, когда параметры комбинируются:

url
/catalog/?utm_source=google&sort=price
/catalog/?sort=price&utm_source=google
/catalog/?view=list&sort=price
/catalog/?sort=price&view=list

Для пользователя это могут быть варианты одной страницы, а для поисковой системы — отдельные URL, которые необходимо обнаружить и обработать.

Подробнее о проблемах параметров и дублирования адресов интернет-магазина можно прочитать в статье «Как параметры URL создают дубли страниц интернет-магазина».

3.4. Внутренний поиск по сайту

Внутренний поиск способен генерировать практически неограниченное количество адресов:

url
/search/?q=цемент
/search/?q=цемент+москва
/search/?q=цемент+мешок+50кг
/search/?q=цемент+доставка
/search/?q=цемент+доставка+сегодня

Большинство таких страниц не представляет самостоятельной ценности для органического поиска. Если внутренний поиск доступен поисковому роботу, он может обнаруживать огромное количество динамических URL.

Для большинства сайтов страницы внутреннего поиска не должны становиться отдельными SEO-посадочными страницами. Однако перед ограничением обхода нужно проверить, не используются ли отдельные поисковые URL в качестве важных страниц.

3.5. Пагинация и бесконечная прокрутка

Пагинация сама по себе не является ошибкой. Страницы каталога с разными товарами могут быть необходимы для обнаружения содержимого.

Проблемы возникают, если:

  • пагинация генерирует бесконечные номера страниц;
  • несуществующие номера возвращают HTTP 200;
  • каждая страница содержит одинаковый набор товаров;
  • параметры пагинации комбинируются с фильтрами и сортировкой;
  • внутренние ссылки создают большое количество бессмысленных комбинаций.

Пример проблемного URL:

url
/catalog/?PAGEN_1=999999

Если такой адрес возвращает обычную страницу с HTTP 200, поисковый робот может воспринимать его как существующий документ. В результате сайт создаёт пространство URL, которое практически не имеет верхней границы.

3.6. Редиректы и цепочки перенаправлений

Редиректы необходимы при изменении структуры сайта, удалении страниц и переносе содержимого. Но большое количество старых адресов, ведущих через несколько промежуточных URL, усложняет обработку ссылок и увеличивает количество ненужных запросов.

Пример цепочки:

http
/old-category/
    → /catalog-old/
        → /catalog/
            → /catalog/materials/

Лучше, когда старый URL сразу перенаправляется на конечный релевантный адрес:

http
/old-category/ → /catalog/materials/

Особенно важно проверить внутренние ссылки. Если сайт продолжает ссылаться на старые адреса, поисковый робот будет регулярно сталкиваться с перенаправлениями.

3.7. Soft 404 и пустые страницы

Soft 404 — ситуация, когда страница фактически не содержит полезного содержимого или сообщает об отсутствии документа, но сервер возвращает HTTP 200 OK.

Например:

http
/product/not-found-12345/
HTTP/1.1 200 OK

Товар не найден

Для поисковой системы такой ответ может создавать неоднозначность. Адрес выглядит технически доступным, но не содержит полноценной страницы.

Если товар окончательно удалён и замены нет, необходимо рассмотреть корректный HTTP 404 или 410. Если есть подходящая замена, можно использовать прямой релевантный редирект.

3.8. Дубли со слешем, регистром и вариантами домена

Дополнительные URL могут возникать из-за разных вариантов одного адреса:

url
https://example.ru/catalog/
https://example.ru/catalog
https://www.example.ru/catalog/
https://example.ru/Catalog/
https://example.ru/catalog/index.php

Не все такие варианты обязательно создают отдельные страницы в индексе, но их необходимо проверить. Важно, чтобы сайт использовал согласованную структуру URL, а внутренние ссылки не создавали лишние варианты адресов.

3.9. Календарные и динамические URL

Некоторые сайты создают бесконечное пространство URL через календарные страницы, архивы, фильтры дат и динамические параметры.

Например:

url
/events/?date=2026-11-18
/events/?date=2026-11-19
/events/?date=2026-11-20
/events/?date=2026-11-21

Если система позволяет запрашивать любые даты, включая далёкое будущее и прошлое, робот может обнаруживать большое количество страниц без самостоятельной ценности.

Необходимо определить, какие динамические страницы действительно должны быть доступны поисковым системам, а какие относятся к пользовательскому функционалу.

4. Признаки неэффективного расходования Crawl Budget

Наличие большого количества URL с параметрами ещё не является доказательством проблемы. Необходимо сопоставить данные нескольких источников: серверных логов, Google Search Console, карты сайта и результатов технического сканирования.

Обратить внимание стоит на следующие признаки:

Признак Что может означать Что проверить
Много запросов к URL с параметрами Возможное избыточное сканирование фильтров и дублей Логи, внутренние ссылки, параметры URL
Googlebot часто посещает старые адреса Сохранились ссылки на удалённые страницы или редиректы HTTP-статусы, внутреннюю перелинковку
Много URL Discovered – currently not indexed Google обнаружил страницы, но пока не просканировал их Качество URL, внутренние ссылки, общую структуру сайта
Много URL Crawled – currently not indexed Страницы просканированы, но не включены в индекс Качество содержимого, дубли, каноникализацию
Рост количества 5xx и 429 Сервер может ограничивать интенсивность обхода Нагрузку, настройки сервера, ограничения запросов
Большое число URL в логах отсутствует в Sitemap Робот обнаруживает адреса через другие источники Ссылки, параметры, редиректы, внешние ссылки

Важно различать два статуса Google Search Console:

  • Discovered – currently not indexed — Google обнаружил URL, но ещё не просканировал его.
  • Crawled – currently not indexed — Google просканировал URL, но пока не включил его в индекс.

Это разные ситуации. В первом случае необходимо исследовать обнаружение и приоритет URL. Во втором — дополнительно анализировать качество страницы, дублирование, каноникализацию и причины, по которым документ не попал в индекс.

Паутина как метафора сети внутренних ссылок, по которой Googlebot распределяет обход сайта
Рис. 2 — обход идёт по сети ссылок: чем больше входящих ссылок на URL, тем выше вероятность повторного визита робота.

Подробно о второй ситуации читайте в материале «Google сканирует, но не индексирует страницы: причины и решения».

5. Как проверить расход Crawl Budget по серверным логам

Самый практичный способ выяснить, куда Googlebot направляет запросы, — изучить серверные логи.

Отчёты Google Search Console дают полезную информацию об активности сканирования, но серверные логи позволяют увидеть конкретные запросы: какой URL запрашивался, когда это происходило, какой ответ вернул сервер и сколько времени заняла обработка.

Если необходимо разобраться с методикой анализа логов более подробно, используйте отдельное руководство «Log File Analysis: анализ серверных логов для SEO».

5.1. Какие данные нужны

Для анализа желательно получить access log веб-сервера за период от 14 до 30 дней. Для крупных сайтов лучше использовать более продолжительный интервал, если это позволяет объём данных.

В логе должны присутствовать следующие поля:

  • дата и время запроса;
  • IP-адрес клиента;
  • User-Agent;
  • запрошенный URL;
  • HTTP-статус;
  • время обработки запроса, если оно записывается;
  • размер ответа, если доступен.

Пример строки access log:

log
66.249.66.1 - - [18/Nov/2026:10:15:21 +0300]
"GET /catalog/materials/ HTTP/1.1"
200 18432
"-"
"Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Пример показывает обращение к странице каталога. Но одного User-Agent недостаточно, чтобы достоверно подтвердить, что запрос пришёл именно от Googlebot. Для корректной идентификации необходимо проверить IP-адрес через официальные механизмы Google: обратное DNS-разрешение с последующей прямой проверкой либо сверку с опубликованными диапазонами адресов Googlebot.

5.2. Почему нельзя доверять одному User-Agent

User-Agent можно подделать. Любой сторонний бот способен отправить запрос с заголовком:

http
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Если просто отфильтровать строки по слову Googlebot, в выборку могут попасть запросы посторонних роботов.

Для подтверждения подлинности Googlebot используйте официальную документацию Google:

Verify Googlebot and other Google crawlers.

Практический порядок проверки:

  1. Получить IP-адрес из серверного лога.
  2. Выполнить обратное DNS-разрешение IP.
  3. Проверить, что имя хоста заканчивается на разрешённый домен Google, например googlebot.com или google.com.
  4. Выполнить прямое DNS-разрешение полученного имени.
  5. Убедиться, что исходный IP присутствует среди результатов прямого разрешения.

Для массовой проверки удобнее использовать официальные опубликованные диапазоны IP Googlebot и автоматизированную процедуру валидации.

Практический приём

Отфильтруйте лог по User-Agent с «Googlebot», затем прогоните получившиеся IP через сверку с диапазонами Google. Обычно 5–15% «роботозапросов» оказываются фальшивыми или относятся к сторонним агрегаторам — это уже искажает картину обхода.

5.3. Какие группы URL выделять в логах

После подтверждения подлинности робота необходимо классифицировать запросы по типам URL.

Группа Примеры Предварительная оценка
Важные категории /catalog/materials/ Высокий приоритет
Карточки товаров /product/cement-m500/ Высокий приоритет
SEO-фильтры /catalog/filter/brand-is-a/ Зависит от поисковой ценности
Технические фильтры /catalog/filter/price-from-100-to-500/ Требуется проверка
Сортировка ?sort=price_asc Часто низкий приоритет
UTM-параметры ?utm_source=email Обычно не нужны как отдельные страницы
Внутренний поиск /search/?q=cement Часто низкий приоритет
Несуществующие URL /product/old-item/ Проверить статус и ссылки

Необходимо учитывать, что URL с фильтром не всегда является мусорным. Например, страница «цемент М500» может иметь самостоятельный поисковый спрос и быть полноценной посадочной страницей. Поэтому классификация должна учитывать не только технический формат URL, но и его назначение.

6. Как классифицировать URL и найти проблемные группы

Для первичного анализа можно использовать Python и CSV-файл, выгруженный из серверных логов.

Ниже приведён упрощённый пример. Он демонстрирует принцип обработки данных и не является готовым универсальным парсером для любого формата access log. Перед использованием необходимо адаптировать регулярное выражение под фактический формат логов и предварительно отфильтровать подтверждённые запросы Googlebot.

6.1. Подготовка CSV

Предположим, у нас есть файл googlebot_logs.csv со столбцами:

csv
date,url,status,response_time,user_agent

Пример данных:

csv
2026-11-01,/catalog/,200,0.21,Googlebot
2026-11-01,/catalog/?sort=price,200,0.18,Googlebot
2026-11-01,/catalog/?utm_source=email,200,0.16,Googlebot
2026-11-01,/product/cement-m500/,200,0.25,Googlebot
2026-11-01,/catalog/filter/brand-is-a/,200,0.22,Googlebot
2026-11-01,/search/?q=cement,200,0.31,Googlebot
2026-11-01,/old-product/,301,0.12,Googlebot

6.2. Пример классификации URL

python
import pandas as pd
from urllib.parse import urlparse, parse_qs

df = pd.read_csv("googlebot_logs.csv")

def classify_url(url):
    parsed = urlparse(url)
    path = parsed.path.lower()
    params = parse_qs(parsed.query)

    if "utm_source" in params or "utm_medium" in params:
        return "UTM" if "sort" in params or "order" in params:
        "Sorting" if "q" in params and "search" in path:
        return "Internal search" if "filter" in path:
        return "Filters" if "pagen_" in url.lower() or "page=" in url.lower():
        return "Pagination" if "/product/" in path:
        return "Product" if "/catalog/" in path:
        return "Category" return "Other"

df["url_type"] = df["url"].apply(classify_url)

report = (
    df.groupby("url_type")
      .agg(
          requests=("url", "count"),
          unique_urls=("url", "nunique"),
          avg_response_time=("response_time", "mean")
      )
      .sort_values("requests", ascending=False)
)

print(report)

Результат позволит увидеть, какие группы URL чаще всего встречаются в выборке.

Например, условный результат:

Тип URL Количество запросов Уникальных URL
Filters18 4204 810
Sorting9 3001 150
Product8 7003 200
Category4 600420
UTM3 800760
Internal search2 9001 200

В этом условном примере фильтры и сортировка формируют значительную часть обращений Googlebot. Это повод проверить, какие из этих адресов действительно нужны поисковой системе.

6.3. Поиск URL с наибольшим количеством обращений

Следующий код поможет найти адреса, к которым Googlebot обращался чаще всего:

python
top_urls = (
    df.groupby(["url", "url_type"])
      .size()
      .reset_index(name="requests")
      .sort_values("requests", ascending=False)
)

print(top_urls.head(50).to_string(index=False))

На практике особенно полезно посмотреть на сочетание количества обращений, HTTP-статуса и типа URL. Например, если один и тот же несуществующий адрес запрашивается сотни раз, необходимо найти источник его обнаружения: внутреннюю ссылку, Sitemap, старый редирект или внешнюю ссылку.

6.4. Анализ HTTP-статусов

python
status_report = (
    df.groupby("status")
      .agg(
          requests=("url", "count"),
          unique_urls=("url", "nunique")
      )
      .sort_values("requests", ascending=False)
)

print(status_report)

Условный результат:

HTTP-статус Запросы Возможная причина
20042 000Успешные ответы
3014 200Перенаправления
4042 100Несуществующие страницы
500180Внутренние ошибки сервера
42960Ограничение частоты запросов

Сами по себе значения 404 или 301 не означают проблему. Важно понять, почему робот продолжает обращаться к таким адресам и насколько часто это происходит.

7. Метрики для оценки Crawl Budget Waste

Для технического аудита полезно сформировать несколько собственных метрик. Они не являются официальными показателями Google и не используются поисковой системой как прямые факторы ранжирования. Их задача — помочь SEO-специалисту сравнивать состояние сайта до и после внедрения изменений.

7.1. Crawl Waste Rate

Crawl Waste Rate — условная доля запросов поискового робота к URL, которые по результатам аудита признаны ненужными или низкоприоритетными.

Формула:

формула
Crawl Waste Rate =
(Запросы к ненужным URL / Все подтверждённые запросы Googlebot) × 100%

Пример:

  • всего подтверждённых запросов Googlebot за 30 дней — 50 000;
  • запросы к техническим дублям, сортировкам и ненужным параметрам — 17 500.
расчёт
(17 500 / 50 000) × 100 = 35%

Получается условный Crawl Waste Rate 35%.

Это не означает, что Google официально считает 35% бюджета потерянными. Это внутренняя диагностическая метрика, которую можно использовать для оценки структуры обхода.

7.2. Important URL Crawl Coverage

Эта метрика показывает, какая доля важных URL получила хотя бы один подтверждённый запрос Googlebot за выбранный период.

формула
Important URL Crawl Coverage =
(Важные URL с хотя бы одним запросом Googlebot /
Все важные URL) × 100%

Пример:

  • важных URL в списке — 2 000;
  • за 30 дней Googlebot посетил 1 520 из них.
расчёт
(1 520 / 2 000) × 100 = 76%

Показатель составляет 76%. Для оценки динамики его можно сравнивать по месяцам, отдельно анализируя новые страницы, категории и товарные карточки.

7.3. Доля запросов к параметрическим URL

формула
Parameter Request Share =
(Запросы к URL с параметрами /
Все подтверждённые запросы Googlebot) × 100%

Эта метрика помогает отслеживать влияние параметров сортировки, фильтров, UTM и других динамических элементов.

7.4. Среднее время ответа сервера

Среднее время ответа можно использовать для наблюдения за технической производительностью, но желательно анализировать не только среднее значение, а также медиану и высокие перцентили (например, p95).

Среднее значение может скрывать отдельные медленные запросы, особенно если часть страниц генерируется значительно сложнее остальных.

7.5. Частота повторных обращений

Полезно определить, сколько раз Googlebot возвращается к одному URL за выбранный период.

Например, если технический дубль получает 40 запросов за месяц, а важная товарная страница — всего 2, это повод проверить внутренние ссылки, популярность URL, историю изменений и другие сигналы обнаружения страниц.

8. Анализ через Screaming Frog

Screaming Frog SEO Spider позволяет просканировать сайт и обнаружить большое количество технических проблем, связанных с URL-структурой.

Инструмент не заменяет серверные логи: он показывает, что обнаружил собственный краулер при обходе сайта. Но сопоставление результатов Screaming Frog и реальных запросов Googlebot помогает найти источники лишних URL.

Что проверять в SEO Spider

  • URL с параметрами;
  • дубли Title и Description;
  • дубли и ошибки canonical;
  • цепочки редиректов;
  • страницы с HTTP 3xx, 4xx и 5xx;
  • страницы с большим количеством внутренних ссылок;
  • страницы без внутренних ссылок;
  • пагинацию;
  • URL, отсутствующие в Sitemap;
  • варианты URL с разным регистром и завершающим слешем.

Использование Log File Analyser

Для работы непосредственно с серверными логами можно использовать Screaming Frog Log File Analyser. Он помогает импортировать логи, анализировать обращения роботов, сопоставлять URL с результатами сканирования и находить страницы, которые посещаются поисковыми системами.

Практический сценарий:

  1. Выгрузить access log за выбранный период.
  2. Проверить и отфильтровать подтверждённые запросы Googlebot.
  3. Импортировать данные в Log File Analyser.
  4. Сгруппировать URL по типам и HTTP-статусам.
  5. Сопоставить результаты с данными SEO Spider.
  6. Найти URL, которые регулярно запрашиваются роботом, но не должны быть доступны для самостоятельного индексирования.
  7. Проверить, откуда поисковый робот обнаруживает такие адреса.

Главная задача — не просто найти большое количество URL, а понять механизм их генерации и обнаружения.

9. Что проверять в Google Search Console

Google Search Console — ещё один важный источник информации для оценки состояния обхода сайта.

9.1. Crawl Stats

В отчёте статистики сканирования можно анализировать:

  • общее количество запросов Googlebot;
  • среднее время ответа;
  • объём загруженных данных;
  • распределение запросов по HTTP-статусам;
  • типы файлов и ресурсов;
  • основные причины и категории сканирования.

Если на графике заметен резкий рост количества запросов, необходимо выяснить, какие URL стали причиной увеличения активности.

Например, после внедрения нового фильтра в каталоге количество запросов Googlebot может вырасти в несколько раз. В этом случае стоит сопоставить дату изменения функционала с динамикой URL в логах.

9.2. Page Indexing

В отчёте индексирования страниц необходимо обратить внимание на:

  • Discovered – currently not indexed;
  • Crawled – currently not indexed;
  • Duplicate without user-selected canonical;
  • Alternate page with proper canonical tag;
  • Not found (404);
  • Soft 404;
  • Blocked by robots.txt;
  • Excluded by noindex tag.

Эти статусы не следует автоматически трактовать как проблему Crawl Budget. Они помогают сформировать список URL и гипотез, которые затем необходимо проверить по логам и техническому состоянию страниц.

9.3. URL Inspection

Инструмент проверки URL позволяет посмотреть информацию о конкретной странице:

  • доступность для Google;
  • последнее сканирование, если оно отображается;
  • выбранную Google каноническую страницу;
  • результат индексирования;
  • наличие блокирующих директив.

Для диагностики полезно проверять не только проблемные URL, но и важные страницы, которые редко появляются в логах.

10. Crawl Budget Waste на сайтах Битрикс

Отдельно стоит рассмотреть сайты на 1С-Битрикс. В интернет-магазинах на этой CMS часто используются динамические фильтры, параметры сортировки, пагинация и дополнительные параметры отображения каталога.

При неудачной настройке эти механизмы способны создавать большое количество вариантов URL.

10.1. Проверка URL фильтров

Пример структуры:

bitrix
/catalog/blocks/filter/brand-is-vkblok/
/catalog/blocks/filter/brand-is-vkblok/price-from-100-to-500/
/catalog/blocks/filter/brand-is-vkblok/color-is-white/
/catalog/blocks/filter/brand-is-vkblok/color-is-white/price-from-100-to-500/

Необходимо разделить фильтры на две группы:

  • SEO-фильтры — страницы с самостоятельным поисковым спросом, полезным содержимым и возможностью продвижения.
  • Технические комбинации — варианты, которые не имеют самостоятельной поисковой ценности и создают дубли или малополезные страницы.

Не стоит закрывать все фильтры одним правилом. Например, отдельная страница фильтра по производителю может быть полезной посадочной страницей, а комбинация производителя, цвета, сортировки и произвольного ценового диапазона — нет.

10.2. Проверка параметров сортировки

В зависимости от реализации каталога сортировка может формировать URL с параметрами или отдельными сегментами адреса.

Необходимо проверить:

  • какие адреса создаются при выборе сортировки;
  • какой canonical установлен на таких страницах;
  • попадают ли эти URL в Sitemap;
  • есть ли на них внутренние ссылки;
  • обходит ли их Googlebot;
  • отличается ли содержимое от основной категории.

10.3. Проверка пагинации

Для каталога необходимо убедиться, что страницы пагинации возвращают корректные HTTP-ответы и содержат разные наборы товаров.

Особое внимание следует уделить несуществующим номерам страниц. Если адрес с номером 999999 возвращает полноценный HTTP 200, нужно проверить корректность логики обработки такого URL.

10.4. Контроль Sitemap

В XML-карту должны попадать только URL, которые действительно необходимо обнаруживать и индексировать.

Как правило, не следует добавлять в Sitemap:

  • URL с UTM-параметрами;
  • технические варианты сортировки;
  • несуществующие страницы;
  • редиректы;
  • дубли, не являющиеся каноническими;
  • страницы, закрытые от индексирования.

Само наличие URL в Sitemap не гарантирует его индексирование. Подробнее об этом — в статье «Sitemap vs Google Index: почему страницы есть в карте сайта, но не индексируются».

11. Как правильно управлять ненужными URL

После обнаружения проблемных групп URL необходимо выбрать подходящий способ обработки. Здесь важно не использовать robots.txt, canonical, noindex и редиректы как взаимозаменяемые инструменты: каждый решает свою задачу.

11.1. Robots.txt

Robots.txt управляет доступом поискового робота к URL. Его можно использовать, чтобы ограничить сканирование определённых разделов или параметров, если это соответствует общей стратегии сайта.

Но есть важное ограничение: если URL закрыт в robots.txt, Googlebot не сможет прочитать содержимое страницы и увидеть расположенную на ней директиву noindex.

Поэтому robots.txt не следует использовать как универсальный способ удаления уже проиндексированных страниц.

Также закрытие URL в robots.txt не гарантирует, что Google никогда не покажет адрес в результатах поиска. Если на него существуют внешние ссылки, URL в некоторых случаях может быть известен поисковой системе и без сканирования содержимого.

Перед добавлением правил необходимо проверить, какие URL они затронут, не блокируются ли важные страницы и не закрываются ли ресурсы, необходимые для корректного отображения содержимого.

11.2. Canonical

Canonical указывает предпочтительную версию документа среди дублирующих или очень похожих URL.

Например:

html
<link rel="canonical"
href="https://example.ru/catalog/">

Если страница сортировки содержит тот же каталог, что и основная категория, canonical может указывать на основную версию.

Однако canonical — это сигнал для выбора канонической страницы, а не гарантированная команда запретить обход URL. Google может продолжать посещать такие адреса.

Нельзя устанавливать canonical на нерелевантную страницу только ради сокращения количества URL.

11.3. Noindex

Директива noindex сообщает поисковой системе, что страницу не следует включать в индекс.

Пример:

html
<meta name="robots" content="noindex, follow">

Чтобы Google увидел noindex, он должен получить доступ к странице и просканировать её. Поэтому noindex не является способом немедленно сократить количество запросов к URL.

Если задача состоит именно в ограничении обхода большого количества технических URL, необходимо отдельно оценить, подходит ли для этого robots.txt и не приведёт ли ограничение к нежелательным последствиям.

Ошибка

Закрыть URL в robots.txt и одновременно добавить на него noindex — значит потерять управление страницей: робот не увидит директиву, а поисковик сохранит URL в результатах как «без описания». Выбирайте один механизм и проверяйте сценарий по тестовой выборке.

11.4. HTTP 404 и 410

Если страница окончательно удалена и не имеет подходящей замены, сервер должен возвращать корректный HTTP 404 или 410.

Использование этих статусов предпочтительнее ситуации, когда удалённая страница продолжает возвращать HTTP 200 с сообщением «Товар не найден».

При этом не нужно массово перенаправлять все удалённые страницы на главную. Такой редирект часто не соответствует содержимому исходного URL и может восприниматься как soft 404.

11.5. Редиректы

Если страница переехала на новый адрес, необходимо настроить прямой редирект на наиболее релевантную замену.

Нежелательно оставлять цепочки из нескольких перенаправлений. Также необходимо обновить внутренние ссылки, Sitemap и другие источники URL, чтобы поисковый робот чаще получал сразу конечный адрес.

11.6. Clean-param для Яндекса

Для сайтов, ориентированных на Яндекс, стоит отдельно рассмотреть директиву Clean-param.

Она позволяет сообщить Яндексу, какие GET-параметры не влияют на содержимое страницы и могут игнорироваться при обработке URL.

Пример:

robots.txt
User-agent: Yandex
Clean-param: utm_source&utm_medium&utm_campaign /

Синтаксис и область действия директивы необходимо сверять с актуальной документацией Яндекса. Clean-param относится к Яндексу и не является директивой Google.

Для Google нужно отдельно управлять структурой URL, внутренними ссылками, каноникализацией, доступностью и другими техническими сигналами.

12. Серверная производительность и скорость обхода

Даже если URL-структура сайта организована правильно, технические проблемы сервера могут ограничивать интенсивность сканирования.

Поэтому аудит Crawl Budget должен включать анализ серверной производительности.

12.1. Ошибки 5xx

Ошибки 5xx указывают на проблемы обработки запросов на стороне сервера.

Возможные причины:

  • перегрузка процессора;
  • нехватка оперативной памяти;
  • ошибки PHP;
  • проблемы с базой данных;
  • тайм-ауты;
  • неудачные обновления CMS или модулей;
  • недостаточные ресурсы хостинга.

Если Googlebot регулярно получает 5xx, это может повлиять на интенсивность сканирования.

12.2. Ошибки 429

HTTP 429 Too Many Requests означает, что сервер ограничивает частоту запросов.

Такие ответы могут появляться из-за настроек WAF, антибот-защиты, CDN или серверных ограничений.

Необходимо убедиться, что настоящие поисковые роботы не попадают под слишком агрессивные правила ограничения запросов. При этом нельзя без проверки разрешать любой трафик, который просто представляется Googlebot.

12.3. Время ответа

Высокое время ответа может снизить допустимую интенсивность обхода. Для анализа полезно смотреть не только на среднее значение, но и на распределение времени ответа по типам страниц.

Например, карточки товаров могут обрабатываться за 150–250 мс, а страницы сложных фильтров — за 1,5–3 секунды. Если Googlebot часто запрашивает именно тяжёлые фильтры, стоит проверить SQL-запросы, кеширование и логику генерации страниц.

12.4. Кеширование и HTTP 304

Корректное использование HTTP-кеширования помогает сократить объём повторно передаваемых данных.

При наличии подходящих условий сервер может отвечать HTTP 304 Not Modified, если содержимое не изменилось с момента предыдущего обращения и запрос содержит соответствующие условные заголовки.

Это не отменяет сам факт запроса, но позволяет избежать повторной передачи полного содержимого при подтверждении актуальности кешированной версии.

13. Практический пример аудита интернет-магазина

Рассмотрим условный интернет-магазин строительных материалов. Все цифры в примере вымышлены и используются исключительно для демонстрации методики анализа.

Исходные данные

  • Всего URL в структуре сайта — около 42 000.
  • Товарных страниц — 28 000.
  • Категорий — 1 400.
  • SEO-фильтров — 2 600.
  • Технических комбинаций фильтров и параметров — значительно больше.
  • Период анализа логов — 30 дней.

После проверки серверных логов и фильтрации подтверждённых запросов Googlebot получена следующая картина:

Группа URL Количество запросов Доля
Товарные страницы18 00036%
Категории8 00016%
SEO-фильтры4 0008%
Технические фильтры8 50017%
Сортировка5 00010%
UTM и другие параметры3 5007%
Редиректы и ошибки3 0006%
Всего50 000100%

Проблема №1. Технические фильтры

17% всех запросов приходится на технические комбинации фильтров. При этом значительная часть таких страниц не имеет самостоятельного поискового спроса и отличается от основной категории только набором параметров.

Что делаем:

  1. Выгружаем все URL фильтров.
  2. Разделяем SEO-фильтры и технические комбинации.
  3. Проверяем индексирование и canonical.
  4. Анализируем внутренние ссылки на фильтры.
  5. Определяем, какие комбинации должны оставаться доступными для поискового обхода.
  6. Для ненужных комбинаций выбираем подходящую стратегию обработки.

Проблема №2. Сортировка

На сортировку приходится 10% запросов. Выясняется, что каталог формирует отдельные URL для каждого варианта сортировки, а внутренние ссылки позволяют роботу обнаруживать эти адреса.

Что делаем:

  • проверяем canonical;
  • проверяем наличие сортировочных URL в Sitemap;
  • исправляем внутренние ссылки, если они ведут на ненужные варианты;
  • при необходимости ограничиваем обнаружение технических URL;
  • проверяем, не создаёт ли сортировка дополнительные комбинации с фильтрами.

Проблема №3. UTM-параметры

На UTM и другие параметры приходится 7% запросов. Причина — ссылки с параметрами продолжают попадать во внутренние блоки сайта и некоторые внешние источники.

Что делаем:

  • проверяем внутренние ссылки;
  • убираем ненужные параметры из внутренних переходов;
  • проверяем canonical;
  • проверяем правила обработки параметров;
  • анализируем, какие параметры действительно меняют содержимое страницы.

Результат после внедрения изменений

Предположим, через 30–60 дней повторный анализ показывает следующую динамику:

Показатель До После
Все запросы Googlebot50 00039 000
Технические фильтры8 5002 900
Сортировка5 0001 800
UTM и параметры3 5001 200
Запросы к товарным страницам18 00019 500

В этом условном примере общее количество запросов уменьшилось, а количество обращений к товарным страницам немного выросло.

Но это не доказывает, что освободившиеся запросы автоматически перешли на товары. Для корректной оценки необходимо учитывать популярность URL, изменения содержимого, внутренние ссылки, сезонность, состояние сервера и естественные колебания активности Googlebot.

Главный результат такой работы — не минимальное число запросов, а более понятная и управляемая структура URL, сокращение ненужных технических адресов и отсутствие искусственных препятствий для обнаружения важных страниц.

14. План исправления Crawl Budget Waste на 30 дней

Чтобы не пытаться исправить всё одновременно, аудит можно разделить на четыре этапа.

Рабочий блокнот с планом работ по этапам технического аудита
Рис. 3 — четыре недели: диагностика → классификация → внедрение → контрольные замеры.

Неделя 1. Сбор данных и диагностика

  • Получить access log за последние 14–30 дней.
  • Подтвердить подлинность запросов Googlebot.
  • Собрать список URL из Sitemap.
  • Выгрузить данные Google Search Console.
  • Провести техническое сканирование сайта.
  • Сгруппировать URL по типам.
  • Выявить основные источники дополнительных адресов.

Результат: карта структуры URL и предварительный список проблемных групп.

Неделя 2. Классификация и приоритизация

  • Выделить важные категории и товарные страницы.
  • Определить SEO-ценность фильтров.
  • Найти технические комбинации параметров.
  • Проверить сортировку и пагинацию.
  • Выявить цепочки редиректов.
  • Найти soft 404 и некорректные HTTP-ответы.
  • Проверить внутренние ссылки на ненужные URL.

Результат: список URL и технических механизмов, требующих исправления.

Неделя 3. Внедрение технических изменений

  • Исправить генерацию ненужных URL.
  • Убрать лишние параметры из внутренних ссылок.
  • Настроить canonical для подходящих групп дублей.
  • Проверить необходимость noindex.
  • Исправить некорректные HTTP-ответы.
  • Сократить цепочки редиректов.
  • Обновить Sitemap.
  • Проверить robots.txt на предмет нежелательных блокировок.

Результат: устранение основных технических источников избыточных URL.

Неделя 4. Контроль и повторный анализ

  • Повторно выгрузить серверные логи.
  • Сравнить распределение запросов по группам URL.
  • Проверить динамику HTTP-статусов.
  • Оценить время ответа сервера.
  • Проверить важные страницы через URL Inspection.
  • Сравнить показатели Crawl Waste Rate и Important URL Crawl Coverage.
  • Проверить, не заблокированы ли важные страницы после изменений.

Результат: отчёт о динамике обхода и список задач для следующего цикла оптимизации.

15. Типичные ошибки при оптимизации Crawl Budget

Ошибка 1. Закрыть все фильтры в robots.txt

Не каждый фильтр является техническим мусором. Некоторые комбинации имеют самостоятельный поисковый спрос и могут быть полноценными посадочными страницами.

Перед ограничением обхода необходимо разделить полезные SEO-фильтры и технические комбинации.

Ошибка 2. Считать noindex способом сократить обход

Чтобы увидеть noindex, Googlebot должен просканировать страницу. Поэтому директива решает задачу индексирования, но не является универсальным способом экономии запросов.

Ошибка 3. Удалить все URL с параметрами

Некоторые параметры могут быть частью важной функциональности сайта или формировать полезные страницы. Необходимо оценивать назначение каждого типа URL.

Ошибка 4. Ориентироваться только на Google Search Console

Отчёты GSC полезны, но для понимания реальных запросов к серверу необходимо анализировать access log. Без логов сложно определить, какие конкретно URL создают лишнюю нагрузку.

Ошибка 5. Считать любой 404 потерей Crawl Budget

404 — нормальный HTTP-ответ для несуществующей страницы. Проблема может заключаться не в самом статусе, а в том, почему робот продолжает обнаруживать и запрашивать этот URL.

Ошибка 6. Пытаться увеличить частоту обхода без устранения причин

Если сайт генерирует огромное количество дублей, увеличение интенсивности обхода не решит проблему. Сначала необходимо разобраться с URL-структурой, внутренними ссылками и серверными ограничениями.

Ошибка 7. Оценивать результат только по количеству запросов

Снижение общего количества запросов не всегда означает улучшение. Важно убедиться, что поисковый робот продолжает обнаруживать важные страницы, а технические ограничения не затронули полезные URL.

16. Чек-лист технического аудита Crawl Budget Waste

При проведении аудита можно использовать следующий список проверок.

Серверные логи

  • Получены access log за период не менее 14 дней.
  • Подлинность запросов Googlebot подтверждена.
  • Запросы сгруппированы по типам URL.
  • Проверены наиболее часто запрашиваемые адреса.
  • Проанализированы HTTP-статусы.
  • Проверено время ответа сервера.
  • Выявлены повторные запросы к удалённым URL.

Структура URL

  • Проверены фильтры и комбинации фильтров.
  • Проверены параметры сортировки.
  • Проверены UTM и другие GET-параметры.
  • Проверены страницы внутреннего поиска.
  • Проверена пагинация.
  • Проверены дубли со слешем и без него.
  • Проверены варианты регистра и домена.
  • Проверены динамические и календарные URL.

Индексирование

  • Проверены статусы Discovered – currently not indexed.
  • Проверены статусы Crawled – currently not indexed.
  • Проверены canonical.
  • Проверены директивы noindex.
  • Проверены ответы 404 и 410.
  • Проверены soft 404.
  • Проверены URL, закрытые в robots.txt.

Внутренняя перелинковка и Sitemap

  • Внутренние ссылки не ведут на ненужные технические URL.
  • Ссылки не создают бесконечные комбинации фильтров.
  • Удалены ненужные ссылки на старые адреса.
  • Sitemap содержит актуальные канонические URL.
  • В Sitemap нет редиректов и несуществующих страниц.
  • Важные страницы доступны через внутреннюю структуру сайта.

Сервер

  • Проверены ошибки 5xx.
  • Проверены ответы 429.
  • Проверено время ответа сервера.
  • Проверены ресурсоёмкие страницы.
  • Проверено кеширование.
  • Проверены ограничения WAF и CDN.

17. Заключение

Crawl Budget Waste — это не просто большое количество URL в серверных логах. Это проблема управления структурой сайта и обнаружением страниц поисковыми системами.

Если Googlebot регулярно посещает технические комбинации фильтров, сортировки, параметры отслеживания, дубли и несуществующие адреса, необходимо выяснить, почему эти URL доступны поисковому роботу и какую роль они играют в структуре сайта.

При этом не стоит стремиться искусственно уменьшить количество запросов Googlebot любой ценой. Задача технической оптимизации — обеспечить понятную структуру URL, устранить ненужные источники дублей, сохранить доступность важных страниц и не создавать серверных препятствий для сканирования.

Работа должна начинаться с анализа логов, а не с массового добавления директив в robots.txt. Только после классификации URL можно выбирать правильные решения: исправлять внутренние ссылки, управлять параметрами, использовать canonical, noindex, корректные HTTP-статусы или ограничивать доступ к определённым группам адресов.

Главный принцип: поисковый робот должен иметь возможность обнаруживать важные страницы сайта, а техническая архитектура не должна создавать бесконечное количество URL без самостоятельной поисковой ценности.


Матрица решений, готовые сниппеты и быстрый расчёт

Разбор выше отвечает на вопрос «почему робот тратит время зря». Эти три блока отвечают на вопрос «что именно сделать»: какой инструмент выбрать под задачу, как выглядит готовая реализация в robots.txt, nginx, Apache и Битрикс и сколько запросов реально высвобождает сокращение технических URL.

Какой инструмент когда применять

Каждый механизм решает строго одну задачу. Ошибка в большинстве кейсов — не «неправильный инструмент», а несовпадение задачи и инструмента: например, попытка сэкономить обход через noindex.

Задача Инструмент Почему Чего не делать
URL не нужен поиску, но остаётся пользовательской функцией robots.txt Робот не тратит время на обход, страница остаётся живой для пользователя Не ставить на закрытый URL noindex — директиву робот не прочитает
Дубль одной и той же страницы canonical Сигнал о выборе канонической версии, вес не размывается Не указывать canonical на нерелевантную страницу
Страница удалена без замены 404 / 410 Честный HTTP-ответ, URL выпадает из обработки Не отдавать 200 с текстом «Товар не найден»
Страница переехала на новый адрес 301 Передаёт сигналы и вес на новый адрес Не оставлять цепочки из трёх и более редиректов
Страница нужна пользователю, но не нужна в индексе noindex, follow Исключение из индекса с сохранением обхода ссылок Не ждать экономии запросов: робот всё равно её посетит
Фильтры, поиск, календарные страницы без спроса robots.txt + правка внутренних ссылок Снижает и обход, и само пространство URL Не закрывать всё подряд: сначала проверить поисковый спрос

Пять красных флагов на выгрузке логов

  • 1
    Один и тот же URL запрашивается десятки раз в сутки — ищите источник: внутренняя ссылка, старый редирект, внешний листинг.
  • 2
    Наборы URL в Sitemap и в логах не совпадают: робот находит адреса, которых нет в карте сайта.
  • 3
    Разные фильтры возвращают одинаковый набор товаров — это дубли, а не посадочные страницы.
  • 4
    В коде внутренних ссылок встречаются ?sort=, &utm_ и /index.php — робот считает их разными адресами.
  • 5
    Статус Discovered – currently not indexed растёт неделя к неделе: новые URL не успевают попасть в обход.

Флаги — это повод для проверки, а не готовый диагноз. Каждый пункт нужно подтвердить конкретными URL и источниками обнаружения из логов.

Калькулятор потенциала: сколько обхода можно вернуть

Модель простая и прозрачная: берём реальные цифры из access log и оцениваем, что произойдёт, если убрать часть технических URL из поля зрения робота. Подставьте свои значения — расчёт обновится сразу.

35% Crawl Waste Rate — ориентировочная доля запросов робота, уходящая на URL без самостоятельной поисковой ценности
Технических URL в структуре
18 900
Запросов Googlebot за 30 дней
50 400
Уходит на технические URL
17 640
Потенциал высвобождения (−80% мусорных URL)
14 112
Эквивалент дополнительных обходов важных страниц
11 760
Средний обход одной важной страницы
1,1 раза/мес

Ориентировочная оценка по введённым данным. Проверьте выводы повторным замером логов через 30 дней.

Готовые сниппеты: что скопировать в проект

Шаблоны рассчитаны на типовой интернет-магазин. Перед применением проверьте, что правила не затрагивают важные страницы, и протестируйте на staging-окружении.

robots.txt
# Закрываем технические варианты сортировки и «мусорные» фильтры
User-agent: *
Disallow: /catalog/*/sort-price-asc/
Disallow: /catalog/*/sort-price-desc/
Disallow: /catalog/*/filter/*/color-is-*
Disallow: /search/
Allow: /catalog/
Allow: /product/

# Отдельная секция для Яндекса
User-agent: Yandex
Clean-param: utm_source&utm_medium&utm_campaign /
Disallow: /catalog/*/sort-price-asc/
nginx
# Сортировка → канонический вид категории
location ~ ^/catalog/(.+)/sort-[a-z_-]+/$ {
    return 301 /catalog/$1/;
}

# Технические фильтры в один редирект, без цепочек
location ~ ^/catalog/.+/filter/(price|color|size)-is-.+/$ {
    return 301 /catalog/;
}

# Чистый канонический адрес каталога
location = /catalog {
    return 301 /catalog/;
}
.htaccess
# Убираем UTM-метки из адреса
RewriteEngine On
RewriteCond %{QUERY_STRING} ^(utm_source|utm_medium|utm_campaign)=
RewriteRule ^(.*)$ /$1? [R=301,L]

# Слеш в конце — единый формат
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} (.+)/$
RewriteRule ^ %1 [R=301,L]
bitrix · header.php
<?php // Канонический адрес: задан в свойствах страницы или собирается из текущего
$canonical = $APPLICATION->GetPageProperty("canonical");
if (empty($canonical)) {
    $canonical = "https://" . $_SERVER["HTTP_HOST"] . $APPLICATION->GetPagePath();
}
?"canonical" href="<?=$canonical?>">

Перед применением правил robots.txt убедитесь, что закрываете только технические группы URL: страницы с самостоятельным поисковым спросом (SEO-фильтры, популярные категории) должны остаться доступными роботу. Сброс правил в Search Console после изменений позволяет проверить эффект в течение суток.

Made on
Tilda