JavaScript SEO: как проверить, что Googlebot видит содержимое сайта
JavaScript SEO · Технический аудит

JavaScript SEO: как проверить, что Googlebot действительно видит содержимое сайта

CSR, SSR, рендеринг, API, исходный HTML, Google Search Console и Screaming Frog — разбираем на конкретных примерах, как убедиться, что поисковая система получает весь контент вашего сайта.

16 мин чтения Техническое SEO Декабрь 2024
К статье

Современные сайты всё чаще строятся на JavaScript: карточки товаров, фильтры каталога, цены, отзывы и навигация загружаются динамически. Для пользователя всё выглядит нормально, но для поисковой системы между «сервер отдал HTML» и «пользователь увидел страницу» происходит несколько технических этапов. Если на одном из них возникнет ошибка — Google просто не увидит ваш контент.

Глава 01

Почему JavaScript может стать проблемой для SEO

JavaScript используется для создания интерактивных интерфейсов и динамического формирования содержимого страниц. Например, интернет-магазин может загружать карточки товаров, цены и характеристики только после выполнения JavaScript и обращения к API.

Для пользователя это выглядит как обычная страница каталога. Однако технически между загрузкой HTML и появлением содержимого происходит несколько операций:

  1. Браузер получает первоначальный HTML.
  2. Загружаются JavaScript-файлы.
  3. Выполняются скрипты приложения.
  4. Отправляются запросы к API.
  5. Полученные данные вставляются в DOM.
  6. Пользователь видит готовый интерфейс.

Если на одном из этапов возникает ошибка, важный контент может не появиться. Типичные причины:

  • API возвращает ошибку 403 или 500;
  • JavaScript-файл не загружается;
  • скрипт завершается с ошибкой;
  • контент зависит от авторизации;
  • ссылки формируются только после взаимодействия пользователя;
  • необходимые ресурсы заблокированы в robots.txt.
Главная идея: недостаточно проверить, что страница открывается в браузере. Необходимо убедиться, что поисковая система получает основной контент, ссылки и метаданные после обработки JavaScript.

Google умеет обрабатывать JavaScript, но это не означает, что любой JS-код автоматически будет обработан без ошибок.

Глава 02

Как Googlebot обрабатывает JavaScript

Google описывает три основных этапа обработки JavaScript-страниц: сканирование, рендеринг и индексирование.

01 · CRAWLING Сканирование Получение HTML 02 · RENDERING Рендеринг Выполнение JS 03 · INDEXING Индексация Анализ контента

Каждый этап — отдельная техническая операция. Проблема на любом из них приводит к потере контента.

Этап 1. Crawling — получение HTML

Googlebot обращается к URL и получает HTTP-ответ сервера.

HTTP/2 200
Content-Type: text/html; charset=UTF-8

Если сайт использует Client-Side Rendering, первоначальный HTML может содержать только оболочку приложения:

<!DOCTYPE html>
<html lang="ru">
<head>
    <title>Каталог товаров</title>
</head>
<body>
    <div id="app"></div>
    <script src="/assets/app.js"></script>
</body>
</html>

В исходном документе практически нет основного содержимого страницы.

Этап 2. Rendering — выполнение JavaScript

Google ставит страницу в очередь на рендеринг. Система рендеринга запускает JavaScript, загружает необходимые ресурсы и формирует DOM.

После выполнения скриптов первоначальный HTML может превратиться в полноценную страницу:

<main>
    <h1>Купить строительные смеси</h1>

    <p>
        Каталог строительных смесей
        с доставкой по региону.
    </p>

    <a href="/catalog/smesi/">
        Все смеси
    </a>
</main>

Однако если JavaScript выполняется с ошибкой, API недоступен или нужный ресурс заблокирован, DOM может остаться неполным.

Этап 3. Indexing — обработка содержимого

Google анализирует полученное содержимое и принимает решение о дальнейшей обработке страницы и её включении в индекс.

Наличие текста в отрисованном DOM само по себе не гарантирует индексирование. На результат влияют качество страницы, дублирование, canonical, технические ограничения и другие факторы.

Важно: успешное сканирование URL ещё не доказывает, что Google получил весь необходимый контент.
Глава 03

CSR, SSR и SSG: какая архитектура лучше для SEO

Технология Как работает Особенности для SEO
CSRHTML формируется преимущественно в браузереТребует корректного выполнения JavaScript
SSRHTML формируется на сервере при запросеОсновной контент доступен сразу в ответе
SSGHTML генерируется заранееСтабильный исходный HTML для поисковых систем
PrerenderingЗаранее создаётся HTML-представление страницыМожет упростить обработку контента
CSR

Client-Side Rendering

Сервер отдаёт минимальную HTML-оболочку, контент формируется на стороне браузера. Проблема — когда важные элементы зависят от цепочки скриптов, API-запросов и условий выполнения.

SSR

Server-Side Rendering

Сервер возвращает HTML с готовым содержимым. Робот сразу получает заголовок, описание и ссылки. После загрузки JS приложение активирует интерактивные элементы.

SSG

Static Site Generation

HTML создаётся заранее при сборке сайта. Подходит для информационных страниц, категорий каталога и документации.

PRERENDER

Prerendering

Заранее создаётся HTML-представление для конкретных URL. Можно использовать как точечное решение для важных страниц.

Что выбрать?

Не нужно автоматически переводить весь проект на SSR только потому, что он использует JavaScript. Если Google корректно получает контент и ссылки после рендеринга, CSR может работать. Серверный или статический рендеринг часто делает обработку содержимого более предсказуемой.

Глава 04

Диагностика: сравниваем исходный HTML и отрисованный DOM

Это одна из важнейших проверок JavaScript SEO. Необходимо выяснить, какой контент присутствует в HTML сразу после ответа сервера и что появляется только после выполнения JavaScript.

Инструменты разработчика в браузере — вкладка Elements с отрисованным DOM
DevTools → Elements. Здесь отображается DOM после выполнения JavaScript — сравните его с исходным HTML.

Способ 1. Просмотр исходного кода

Откройте страницу в браузере и нажмите Ctrl + U. Либо используйте адресную строку:

view-source:https://example.com/catalog/

Найдите в исходном коде:

  • H1;
  • основной текст;
  • ссылки;
  • названия товаров;
  • цены;
  • canonical;
  • meta robots;
  • JSON-LD.

Если в исходном HTML отсутствуют практически все важные элементы — это повод проверить отрисованный DOM.

Отсутствие текста в исходном коде не доказывает, что Google его не увидит. Это только первый диагностический сигнал.

Способ 2. Проверка через DevTools

Откройте страницу и нажмите F12. Перейдите во вкладку Elements и сравните DOM с исходным HTML.

Элемент Исходный HTML DOM после JS
H1ОтсутствуетПрисутствует
ОписаниеОтсутствуетПрисутствует
Карточки товаровОтсутствуютПрисутствуют
Внутренние ссылкиОтсутствуютПрисутствуют
CanonicalПрисутствуетПрисутствует

Такая картина говорит о том, что значительная часть содержимого зависит от JavaScript.

Способ 3. Сравнение через Screaming Frog

В Screaming Frog SEO Spider можно выполнить два обхода сайта:

  1. С обычным HTML-рендерингом.
  2. С JavaScript-рендерингом.

Настройка:

Configuration
→ Spider
→ Rendering
→ JavaScript

После этого сравните: HTML Word Count, Rendered HTML Word Count, количество ссылок, H1, Title, Description, canonical и содержимое страниц.

Пример диагностики

Допустим, проверяем 500 страниц интернет-магазина.

Показатель До JS После JS
Среднее количество слов42680
Страницы с H1500500
Внутренние ссылки1 2008 700
Страницы с карточками товаров18462

В этом примере основная часть содержимого формируется на стороне клиента. Это не означает, что Google обязательно не сможет обработать такие страницы — но есть основание проверить отрисованный HTML средствами Google.

Глава 05

Проверка через Google Search Console

Инструмент проверки URL позволяет посмотреть, как Google получает и обрабатывает конкретную страницу.

  1. Откройте Google Search Console.
  2. Вставьте URL в верхнюю строку проверки.
  3. Нажмите «Проверить опубликованный URL» (Test Live URL).
  4. Дождитесь завершения проверки.
  5. Откройте просмотр проверенной страницы.
  6. Изучите HTML и информацию о загруженных ресурсах.

Проверять необходимо не только главную страницу. Для интернет-магазина я бы выбрал:

  • главную;
  • категорию;
  • подкатегорию;
  • карточку товара;
  • страницу с фильтром;
  • страницу с пагинацией;
  • страницу с динамической подгрузкой.

На что обращать внимание

  • Основной текст. Присутствует ли содержимое, которое пользователь видит на странице?
  • Заголовки. Корректно ли формируются H1 и H2?
  • Ссылки. Может ли Google обнаружить ссылки на категории и товары?
  • Изображения. Формируются ли корректные адреса изображений?
  • Метаданные. Правильно ли формируются title, description и canonical?
  • Ошибки ресурсов. Нет ли ошибок загрузки JavaScript и CSS?

Для дополнительной проверки структурированных данных можно использовать Google Rich Results Test.

Глава 06

Проверяем загрузку API и динамического контента

Одна из самых неприятных проблем — когда страница визуально работает, но данные загружаются нестабильно.

Например, интернет-магазин формирует карточку товара после обращения к API:

fetch('/api/products/123')
    .then(response => response.json())
    .then(product => {
        document.querySelector('#product-name').textContent =
            product.name;

        document.querySelector('#product-price').textContent =
            product.price;
    });

В обычном браузере всё может работать нормально. Но если API возвращает ошибку, блокировку доступа или некорректный JSON — содержимое не появится.

Что проверять в DevTools

Откройте F12 → Network, обновите страницу и установите фильтр Fetch/XHR. Проверьте:

  • какие API-запросы отправляются;
  • какие ответы возвращает сервер;
  • есть ли ошибки 4xx и 5xx;
  • сколько времени занимают запросы;
  • нет ли блокировок CORS;
  • не зависит ли загрузка данных от авторизации;
  • не требуется ли дополнительное действие пользователя.

Особое внимание уделите ответам API, которые формируют названия товаров, цены, описания, характеристики, отзывы и списки категорий.

Типовой сценарий проблемы

Предположим, интернет-магазин использует API для загрузки каталога:

GET /api/catalog/category/15

HTTP/2 403

В результате карточки товаров не появляются. В браузере администратора всё может работать, поскольку у него есть действующая сессия. Но публичный посетитель и поисковый робот получают совершенно другую картину.

Решение:

  • проверить доступность API без авторизации;
  • убрать обязательную зависимость индексируемого контента от пользовательской сессии;
  • проверить CORS и настройки доступа;
  • предусмотреть корректную обработку ошибок;
  • для важных страниц рассмотреть SSR или предварительную генерацию HTML.
Глава 07

Проверяем внутренние ссылки, сформированные JavaScript

Это отдельная проблема, которую часто недооценивают.

Допустим, каталог содержит 300 товаров. Пользователь видит карточки, кликает на них и переходит на страницы товаров. Но ссылки формируются через обработчик JavaScript:

<div onclick="openProduct(123)">
    Смартфон
</div>

Для пользователя это работает, но такая конструкция не эквивалентна обычной HTML-ссылке. Для поисковой системы предпочтительнее:

<a href="/catalog/smartfony/model-123/">
    Смартфон
</a>

Google рекомендует использовать ссылки с атрибутом href, чтобы URL могли обнаруживаться и обрабатываться поисковым роботом.

Что проверять

  • Есть ли у ссылок реальный href.
  • Не заменены ли ссылки на div или span с обработчиками.
  • Не формируются ли адреса только после клика.
  • Доступны ли ссылки без авторизации.
  • Не блокируется ли переход через JavaScript.
  • Не используются ли некорректные относительные URL.

Пример из практики

В ходе проверки каталога из 1 200 URL обнаружено:

  • 1 200 карточек отображаются пользователю;
  • 1 200 элементов имеют обработчики клика;
  • только 340 элементов содержат полноценные HTML-ссылки.

После доработки шаблона все карточки получили обычные ссылки. Это позволило устранить проблему обнаружения URL через внутреннюю навигацию.

Добавление href не гарантирует индексацию товаров. Оно решает задачу обнаружения и обхода URL, но не заменяет остальные требования к индексируемой странице.
Глава 08

HTTP, robots, canonical и JavaScript-ошибки

Проверка Что может быть проблемой
HTTP-кодСтраница возвращает 404, 403 или 5xx
Robots.txtЗакрыты важные ресурсы или сама страница
Meta robotsПрисутствует noindex
X-Robots-TagСервер отдаёт запрет на индексацию
CanonicalУказывает на другой URL
RedirectПроисходит неожиданный редирект
SitemapURL отсутствует в карте сайта

Проверка через командную строку

Для первичной диагностики можно использовать:

curl -I https://example.com/catalog/

Проверяем HTTP-заголовки. Затем:

curl -L https://example.com/catalog/

Получаем HTML-ответ сервера с учётом редиректов. Ищем в нём title, H1, canonical и meta robots.

Необходимо учитывать, что curl не выполняет JavaScript — поэтому он показывает первоначальный ответ сервера, а не итоговый DOM после рендеринга.

Проверка JavaScript-ошибок

Откройте страницу, нажмите F12 и перейдите во вкладку Console. Ищите сообщения:

Uncaught TypeError
ReferenceError
Failed to fetch
SyntaxError

Особенно опасны ошибки, которые останавливают формирование основного содержимого.

Что делать:

  1. Проверить ошибки в консоли.
  2. Найти скрипт, который формирует основной контент.
  3. Проверить обработку пустых и некорректных ответов API.
  4. Добавить обработку исключений.
  5. Проверить поведение при медленной загрузке.
  6. Повторить тест после исправлений.
Глава 09

Практический кейс: интернет-магазин с невидимым каталогом

Аналитика и мониторинг технических показателей SEO-аудита
SEO-аудит. Сопоставление данных — ключ к пониманию, что именно Google получает от вашего сайта.
Демонстрационный кейс. Название проекта, показатели, цифры и результаты вымышлены. Это модель технического аудита, а не реальный клиентский проект.

Рассмотрим условный интернет-магазин строительных материалов. Сайт работает на JavaScript-фреймворке, категории и карточки товаров формируются через API.

Владелец замечает, что значительная часть категорий плохо индексируется, а новые товары долго не появляются в Google. При этом визуально сайт работает без ошибок.

Исходные данные

Показатель Значение
Всего URL в каталоге8 400
Категории320
Карточки товаров7 800
Страницы с фильтрами280
URL в индексе Google2 950
Страницы с JS-зависимым контентом7 600

Этап 1. Первичная проверка

При сравнении исходного HTML и отрисованного DOM обнаружилось:

  • в исходном HTML отсутствовали названия большинства товаров;
  • описания категорий формировались после API-запросов;
  • часть ссылок создавалась через обработчики событий;
  • некоторые фильтры формировали URL только после взаимодействия пользователя.

Этап 2. Проверка API

При тестировании запросов обнаружили, что часть ответов API возвращала ошибку 403 для неавторизованных запросов. В административной сессии сайт работал нормально, поэтому проблему не замечали при обычном просмотре.

Этап 3. Проверка ссылочной структуры

Из 7 800 карточек товаров:

  • 2 100 имели полноценные ссылки с href;
  • остальные использовали элементы с JavaScript-обработчиками.

Это затрудняло обнаружение части URL через внутреннюю навигацию.

Этап 4. Внесённые изменения

  1. Сделали API каталога доступным для публичного просмотра.
  2. Добавили серверную генерацию HTML для категорий и карточек товаров.
  3. Перевели навигационные элементы на обычные ссылки.
  4. Исправили формирование canonical для фильтров.
  5. Пересмотрели правила индексации параметрических URL.
  6. Добавили контроль ошибок JavaScript.
  7. Проверили основные шаблоны через URL Inspection.

Результаты после внедрения

Показатель До работ После работ
URL в индексе2 9505 760
Категории с контентом в исходном HTML18%96%
Карточки с доступными HTML-ссылками27%100%
Ошибки API на тестовых URL14%0%
Страницы с корректным canonical82%99%

После технических изменений доля индексируемых страниц выросла, а количество проблем с формированием содержимого снизилась. Однако изменение архитектуры не гарантирует индексацию каждой страницы — Google отдельно оценивает качество, полезность и самостоятельную ценность контента.

Глава 10

Как исправлять проблемы JavaScript SEO

Проблема Что делать
Основной контент отсутствует в исходном HTMLРассмотреть SSR или SSG для важных страниц
API возвращает 403 или 500Исправить доступность и обработку API
Карточки не имеют hrefИспользовать полноценные HTML-ссылки
Canonical меняется после рендерингаСинхронизировать canonical в исходном и итоговом HTML
Скрипты завершаются ошибкамиНайти и исправить JavaScript-ошибки
Контент появляется только после кликаСделать важное содержимое доступным без взаимодействия
Google не загружает JS/CSSПроверить доступность ресурсов и robots.txt
SPA возвращает 200 для несуществующих страницНастроить корректную обработку 404 и Soft 404
Контент зависит от авторизацииСделать публичные индексируемые данные доступными без сессии

Нужно ли полностью отказываться от JavaScript?

Нет. JavaScript — нормальная часть современной веб-разработки. Сам факт его использования не является SEO-ошибкой. Проблема возникает тогда, когда поисковая система не может получить важное содержимое или корректно обработать структуру страницы.

Для индексируемых страниц лучше стремиться к тому, чтобы ключевые элементы были доступны максимально надёжно:

  • основной текст;
  • заголовки;
  • товарные данные;
  • внутренние ссылки;
  • метаданные;
  • canonical;
  • структурированные данные.

Почему Dynamic Rendering — не универсальное решение

Раньше одним из способов решения подобных проблем считался Dynamic Rendering: сервер определял поискового робота и отдавал ему заранее отрисованную HTML-версию страницы. Однако Google рассматривает этот подход как временное обходное решение, а не как долгосрочную архитектуру. Вместо него рекомендуется рассматривать SSR, статический рендеринг или гидратацию.

Глава 11

Полезные инструменты для JavaScript SEO

Проверять JavaScript-сайт удобно связкой из нескольких инструментов: каждый закрывает свою часть задачи и даёт свой тип данных. Ниже — набор, который я использую на реальных аудитах.

Индексация

Google Search Console

Главный источник правды о том, что Google видит на странице и как она представлена в индексе.

  • URL Inspection — отрисованный HTML
  • Покрытие и исключённые страницы
  • Запросы, кликабельность и позиции
search.google.com/search-console
Массовый аудит

Screaming Frog SEO Spider

Десктопный краулер для проверки всего сайта. Умеет рендерить JavaScript через встроенный Chromium и сравнивать исходный и отрисованный HTML.

  • HTML Word Count против Rendered HTML
  • Поиск страниц с пустым контентом
  • Ссылки без атрибута href
screamingfrog.co.uk
Разбор страницы

Chrome DevTools

Встроенный набор инструментов браузера: DOM после выполнения скриптов, сетевые запросы, ошибки JavaScript и вес ресурсов.

  • Elements — отрисованный DOM
  • Network — статусы и тайминги API
  • Console — ошибки JavaScript
  • Coverage — неиспользуемый код
developer.chrome.com/docs/devtools
Микроразметка

Rich Results Test

Проверка структурированных данных JSON-LD, Microdata и RDFa — именно они используются для расширенных сниппетов в поиске.

  • Валидация разметки Schema.org
  • Поддерживаемые типы контента
  • Превью будущего сниппета
search.google.com/test/rich-results
Мобильный рендер

Mobile-Friendly Test

Показывает, как Google отрисует страницу для мобильного пользователя: какие ресурсы загрузятся, а какие будут заблокированы.

  • Скриншот мобильного рендера
  • Список недоступных ресурсов
  • Проблемы с viewport и вёрсткой
search.google.com/test/mobile-friendly
HTTP-запросы

curl + Терминал

Самый быстрый способ увидеть документ, который сервер отдаёт поисковому роботу без выполнения JavaScript.

  • Коды ответов и заголовки
  • Первоначальный HTML-документ
  • Редиректы, canonical, robots
curl.se
Порядок работы на практике: сначала curl — быстро видно, что отдаёт сервер. Затем Chrome DevTools — что появляется после выполнения JavaScript и какие запросы уходят в API. Потом URL Inspection — что в итоге получает Google. И в конце Screaming Frog — массовая проверка всего сайта. Rich Results Test подключаем, если на сайте есть микроразметка.
Глава 12

Чек-лист технического аудита JavaScript SEO

Используйте этот чек-лист для самопроверки. Прогресс сохраняется автоматически — можно вернуться к проверке позже.

Пункты аудита

0 / 0

Исходный HTML

Рендеринг

Внутренняя структура

Индексация

Глава 13

FAQ: частые вопросы о JavaScript SEO

Да. Google умеет выполнять JavaScript и использовать отрисованный HTML для обработки содержимого страниц. Однако необходимо учитывать ограничения рендеринга и доступность ресурсов.

Не обязательно. Если Google корректно получает контент и ссылки после рендеринга, CSR может работать. SSR и SSG часто делают обработку содержимого более предсказуемой.

Используйте URL Inspection в Google Search Console и проверьте отрисованную страницу. Дополнительно сравните исходный HTML и DOM после выполнения JavaScript.

Он может добавлять этап рендеринга и создавать дополнительные зависимости. Однако нельзя утверждать, что любая JavaScript-страница будет индексироваться медленнее: многое зависит от архитектуры и конкретной реализации.

Возможные причины: ошибки JavaScript, недоступность API, блокировка ресурсов, зависимость от авторизации, некорректная загрузка данных или проблемы с формированием DOM.

Нет, если эти файлы необходимы для формирования содержимого страницы. Блокировка важных ресурсов может помешать корректному рендерингу.

Итоги

Заключение

JavaScript сам по себе не мешает продвижению сайта в Google. Проблемы появляются тогда, когда важные элементы страницы зависят от нестабильной цепочки загрузки скриптов, API-запросов и динамического формирования DOM.

Поэтому технический аудит JavaScript-сайта не должен ограничиваться проверкой исходного кода или просмотром страницы в браузере. Нужно сопоставить несколько уровней:

  1. Что сервер отдаёт в первоначальном HTML.
  2. Что появляется после выполнения JavaScript.
  3. Какие ресурсы и API-запросы используются.
  4. Какие ссылки доступны поисковому роботу.
  5. Что Google получает при проверке опубликованного URL.
  6. Как страницы представлены в поисковом индексе.

Именно сопоставление этих данных позволяет обнаружить проблемы, которые невозможно увидеть при обычном визуальном просмотре сайта.

В техническом SEO важно не только то, что видит пользователь. Важно понимать, какой документ в итоге получает поисковая система.

SEO-продвижение

Нужен технический SEO-аудит сайта?

Проверю JavaScript-рендеринг, исходный и отрисованный HTML, доступность контента для Googlebot, внутренние ссылки, API-запросы и проблемы индексации. SEO-продвижение, техническая оптимизация и GEO.

от 15 000 ₽ / мес
Made on
Tilda