Зачем оптимизировать сайт для AI-краулеров
Поисковая оптимизация постепенно выходит за рамки привычной работы с Яндексом и Google. Пользователи всё чаще ищут информацию не только через классическую поисковую строку, но и с помощью ChatGPT, Claude, Perplexity и других AI-сервисов.
Вместо списка из десяти ссылок человек получает готовый ответ, в котором нейросеть может использовать информацию с разных сайтов, пересказать её и привести ссылки на источники.
Для владельца сайта возникает вполне практический вопрос: может ли AI-система обнаружить страницу, получить её содержимое и правильно понять, о чём она?
Я решил не ограничиваться теоретическими рассуждениями и провести технический эксперимент на собственном проекте — сайте SEO PROF 74.
Задача была простой: проверить, насколько сайт подготовлен к работе с AI-краулерами, найти возможные технические препятствия и внести необходимые изменения.
Сразу оговорюсь: это не исследование алгоритмов ранжирования нейросетей и не эксперимент по гарантированному попаданию в ответы ChatGPT. Мы проверяем техническую доступность и структурированность информации — то, на что владелец сайта действительно может повлиять.
1. Проверяем robots.txt: разрешаем доступ AI-краулерам
Первым делом я проверил файл robots.txt.
Это обычный текстовый файл в корне сайта, с помощью которого владелец ресурса может задавать правила доступа для поисковых роботов и других краулеров.
У AI-сервисов есть собственные поисковые и обучающие боты. Причём не стоит считать их одним универсальным роботом: у разных систем могут быть отдельные агенты для поиска, сбора данных и получения страниц по запросу пользователя.
Например, OpenAI использует:
- OAI-SearchBot — для обнаружения и использования сайтов в поисковых функциях ChatGPT.
- GPTBot — для сбора контента, который потенциально может использоваться при обучении моделей.
- ChatGPT-User — для получения страниц по инициативе пользователя ChatGPT.
У Anthropic также есть отдельные агенты:
- Claude-SearchBot — для поисковых задач.
- ClaudeBot — для сбора данных, которые потенциально могут использоваться при обучении моделей.
- Claude-User — для получения содержимого страниц по запросам пользователей.
У Perplexity есть PerplexityBot, который используется для поискового сканирования.
Это важное различие. Например, разрешить поисковому боту не означает автоматически дать согласие на использование содержимого для обучения моделей. Настройки доступа к разным ботам можно разделять.
В моём случае была выбрана политика разрешить AI-поиск и сбор данных для обучения. Поэтому в robots.txt были добавлены отдельные правила для соответствующих агентов.
При этом я сохранил существующие технические ограничения Tilda и указания на карты сайта.
После изменения файла проверил его через инструменты Яндекс Вебмастера. Проверка прошла успешно, ошибок в синтаксисе не обнаружено.
Результат первого этапа: правила robots.txt настроены для выбранных AI-краулеров, а файл успешно проходит проверку.
Важно понимать: разрешение в robots.txt не заставляет бота немедленно посетить сайт. Оно лишь задаёт разрешённый режим доступа. Фактические посещения нужно подтверждать отдельно.
2. Проверяем sitemap.xml: показываем структуру сайта
Следующий этап — карта сайта.
Sitemap.xml помогает поисковым системам обнаруживать опубликованные страницы и понимать, какие URL существуют на ресурсе.
Я проверил карту сайта SEO PROF 74 и прошёлся по списку опубликованных адресов.
В неё входят основные разделы:
- Главная страница.
- Страница обо мне.
- Страница услуг.
- Стоимость SEO-продвижения.
- Страница SEO-аудита.
- Каталог статей.
- Каталог кейсов.
- Отдельные опубликованные материалы и проекты.
Во время проверки обнаружились лишние технические URL, связанные с потоками и товарными страницами Tilda, которые для структуры этого сайта не нужны.
Ненужные страницы и потоки были удалены, после чего я привёл карту сайта в соответствие с фактической структурой проекта.
Также проверил доступность sitemap.xml и robots.txt непосредственно в браузере.
Результат второго этапа: карта сайта содержит нужные опубликованные разделы, а ненужные URL были убраны.
Почему это важно для AI-SEO? Чем понятнее и аккуратнее структура ресурса, тем меньше лишних адресов приходится обрабатывать системам, которые обнаруживают и анализируют страницы.
Однако sitemap не гарантирует индексацию каждой страницы — это только один из способов сообщить о существующих URL.
3. Проверяем исходный HTML: виден ли контент без выполнения JavaScript?
Один из наиболее интересных этапов эксперимента — проверка того, в каком виде поисковый робот получает содержимое страницы.
Современные сайты нередко используют JavaScript для загрузки и отображения контента. Это не обязательно проблема, но при техническом аудите важно понимать, доступен ли основной текст непосредственно в исходном HTML.
Для проверки я использовал инструменты разработчика Chrome. Сравнил текст, полученный из исходного HTML, с текстом уже сформированного DOM на странице каталога статей.
| Параметр | Исходный HTML | DOM |
|---|---|---|
| Объём текста | 14 302 символа | 14 302 символа |
| Заголовки H1–H3 | 2 | 2 |
| Ссылки | 76 | 76 |
Разница по количеству текста, заголовков и ссылок в рамках этой проверки составила ноль.
Это хороший технический результат: основной контент проверенной страницы присутствует уже в исходном HTML, а не появляется исключительно после выполнения JavaScript.
Но здесь есть важная оговорка. Сравнение исходного HTML и DOM в браузере не доказывает, что абсолютно каждый AI-краулер получает страницу идентичным образом. У разных роботов могут отличаться механизмы загрузки, ограничения и способы обработки контента.
Тем не менее проверка позволяет исключить одну из распространённых технических проблем — отсутствие основного текста в первоначальном HTML.
4. Проверяем метатеги и основные SEO-элементы
Далее я проверил несколько ключевых страниц сайта:
- Главную.
- Страницу обо мне.
- Страницу услуг.
- Каталог статей.
- Отдельную статью о Black Hat SEO.
Для этого использовал JavaScript в консоли браузера и проверил наличие основных метатегов.
На проверенных страницах присутствовали:
- Title.
- Description.
- Canonical.
- Open Graph.
Также проверил соответствие Canonical фактическому адресу страницы.
Отдельно обратил внимание на meta author. На проверенных страницах этот тег не обнаружился.
Само по себе отсутствие meta author не является критической SEO-ошибкой. Но для сайта специалиста важно, чтобы авторство материалов было понятно не только посетителям, но и системам, которые анализируют содержимое страниц.
Поэтому следующим этапом стало внедрение структурированных данных.
5. Внедряем JSON-LD: объясняем поисковым системам, что находится на сайте
Обычный текст страницы может рассказать посетителю, кто автор сайта и какие услуги он предлагает. Но машине иногда приходится самостоятельно сопоставлять эти сведения.
Для более явного описания сущностей используется Schema.org.
Я выбрал формат JSON-LD — структурированные данные, которые размещаются в HTML внутри отдельного тега script.
Для начала добавил глобальную разметку с двумя основными сущностями:
WebSite — описывает сайт SEO PROF 74.
Person — описывает автора и специалиста, связанного с проектом.
В объекте Person указаны имя, профессия, описание деятельности, ссылка на страницу специалиста и профиль Telegram.
Затем начал добавлять разметку для отдельных типов страниц:
- ProfilePage — для страницы обо мне.
- WebPage — для основных страниц сайта.
- Service — для страниц услуг.
- CollectionPage — для каталогов статей и кейсов.
- ItemList — для списка опубликованных кейсов.
Принципиально не стал создавать фиктивную организацию или добавлять выдуманные отзывы, рейтинги и результаты проектов. Если сайт представляет конкретного специалиста, то и структурированные данные должны описывать именно человека, а не несуществующее агентство.
После внедрения глобальной разметки проверил главную страницу через Schema.org Validator.
Валидатор обнаружил WebSite и Person. Ошибок и предупреждений не было.
Аналогично проверил страницу специалиста: валидатор распознал ProfilePage и связанные сущности.
Зачем всё это?
Структурированные данные не гарантируют, что нейросеть процитирует сайт или начнёт чаще показывать его в ответах. Их задача — дать дополнительное машиночитаемое описание содержания страницы и связей между сущностями.
Для персонального сайта специалиста это особенно полезно: можно явно обозначить, кто автор, какой сайт ему принадлежит и какие услуги он предлагает.
6. Проверяем реакцию сервера на запросы AI-ботов
Отдельно я провёл техническую проверку ответов сайта на запросы с User-Agent, имитирующими некоторые AI-краулеры.
В тестах использовались обозначения:
- OAI-SearchBot.
- GPTBot.
- ClaudeBot.
Проверка показала ответ HTTP 200.
Это означает, что сервер успешно ответил на тестовые HTTP-запросы с указанными заголовками.
Но здесь есть принципиальный нюанс: подмена User-Agent не превращает обычный запрос в настоящий визит робота OpenAI или Anthropic.
Любой клиент может отправить запрос с произвольной строкой User-Agent. Чтобы подтвердить реального бота, необходимо проверять источник запроса по IP-адресам или другим официальным механизмам верификации, которые предоставляет оператор.
Поэтому я рассматриваю этот этап именно как проверку доступности сайта при заданных заголовках, а не как доказательство того, что AI-боты уже посещали страницы.
7. Что получилось в итоге
После проведённой работы сайт SEO PROF 74 получил несколько важных технических улучшений.
| Направление | Что сделано | Результат проверки |
|---|---|---|
| robots.txt | Добавлены правила для AI-краулеров | Проверка Яндекс Вебмастера пройдена |
| sitemap.xml | Проверена структура, удалены ненужные URL | Карта соответствует нужным разделам |
| HTML | Сравнены исходный HTML и DOM | Совпадение текста, заголовков и ссылок на проверенной странице |
| Метатеги | Проверены основные SEO-элементы | Title, Description, Canonical и Open Graph присутствуют |
| JSON-LD | Добавлены WebSite и Person | Валидатор распознал сущности без ошибок |
| Разметка страниц | Начато внедрение типов страниц и услуг | Проверены отдельные ключевые страницы |
| HTTP-запросы | Проведены тесты с подменой User-Agent | Получен HTTP 200 |
На этом этапе можно говорить о технической подготовке сайта к взаимодействию с AI-системами.
Но нельзя утверждать, что сайт уже попал в индекс каждой нейросети, начал чаще цитироваться или получил дополнительный трафик. Для таких выводов нужны отдельные наблюдения и измерения.
8. Что ещё предстоит проверить
Техническая подготовка — только начало.
Чтобы эксперимент стал полноценным исследованием, нужно продолжить наблюдения и проверить несколько направлений:
- Появляются ли в реальных серверных логах запросы подтверждённых AI-краулеров.
- Используются ли страницы сайта в ответах ChatGPT, Claude и Perplexity.
- Какие именно материалы и разделы могут становиться источниками ответов.
- Как меняется ситуация после внедрения структурированных данных.
- Есть ли изменения в переходах из AI-сервисов, если аналитика позволяет выделить такие посещения.
Отдельная сложность заключается в том, что на платформе Tilda возможности доступа к серверным логам ограничены. Поэтому подтвердить фактические визиты роботов только с помощью стандартной Яндекс Метрики не получится.
Здесь важно не путать три разных события: разрешение на сканирование, реальное посещение страницы и использование содержимого сайта в ответе нейросети.
Это совершенно разные вещи.
Выводы
Эксперимент показал, что подготовка сайта к AI-краулерам — это не какая-то отдельная магическая технология и не набор секретных метатегов.
В основе лежат вполне знакомые задачи технического SEO:
- Корректный robots.txt.
- Чистая и актуальная карта сайта.
- Доступность основного контента в HTML.
- Понятная структура страниц.
- Корректные метатеги.
- Структурированные данные Schema.org.
- Проверка технической доступности ресурса.
Никакой гарантии попадания в ответы нейросетей эти действия не дают. Но они позволяют убрать часть технических препятствий и сделать содержание сайта более понятным для автоматизированных систем.
На мой взгляд, именно с этого и стоит начинать работу над видимостью сайта в AI-поиске: не с попыток угадать алгоритмы нейросетей, а с приведения в порядок собственной технической базы.
Эксперимент продолжается. Следующий этап — наблюдение за реальными обращениями AI-краулеров и проверка того, насколько часто материалы сайта могут использоваться в ответах нейросетей.
Материал подготовлен на основе технического эксперимента на сайте SEO PROF 74. Результаты отражают состояние проекта на момент проведения проверок и не являются гарантией индексации или цитирования страниц AI-сервисами.
