Индексация нового сайта в Google: почему страниц нет в поиске

Попадание в поиск это не одно событие, а три последовательных, и их постоянно путают между собой.

Сканирование это когда робот заходит на страницу и читает ее содержимое. Индексация это отдельное решение поисковой системы: добавлять эту страницу в базу или нет. И только третьим шагом идет ранжирование, то есть позиция по конкретному запросу.

Для нового домена без единой внешней ссылки первое сканирование обычно занимает от нескольких дней до двух недель. Полная индексация всех страниц небольшого сайта растягивается на месяц и дольше, причем страницы добавляются не сразу, а порциями.

Появление в выдаче по коммерческим запросам измеряется месяцами, а не днями. Проиндексированная страница это только пропуск на старт, а не результат.

Практическое правило такое: если через две недели после запуска в индексе нет ни одной страницы, включая главную, значит есть техническая причина, и ее надо искать, а не ждать дальше.

Самая быстрая проверка занимает десять секунд. Введите в строке поиска site: и следом ваш домен без пробела. Google покажет страницы этого сайта, которые он знает.

Это грубая оценка: количество результатов приблизительное, и отсутствие конкретной страницы в этом списке еще не приговор. Но если результатов ноль, вопрос закрыт, сайта в индексе нет.

Точные данные дает только Google Search Console. В отчете об индексировании страниц все известные адреса разделены на две группы: проиндексированные и непроиндексированные, причем для второй группы указана причина.

Инструмент проверки URL показывает статус конкретного адреса: когда его сканировали в последний раз, какой canonical выбрал Google и что именно робот увидел на странице. Это главный диагностический инструмент, и он бесплатный.

Если Search Console еще не подключен, начните с этого, а заодно добавьте сайт в Bing Webmaster Tools. Без этих двух панелей вы не проверяете индексацию, а гадаете о ней.

Первая по частоте причина у новых сайтов это забытый запрет с этапа разработки. Проверьте эти пункты по порядку.

• •Файл robots.txt закрывает сайт целиком. Строка Disallow со слешем на этапе разработки нормальна, после запуска смертельна.
• •Мета-тег noindex остался в шаблоне. В WordPress это часто галочка «Попросить поисковые системы не индексировать сайт» в настройках чтения.
• •Сайт закрыт паролем или доступен только по IP. Робот видит то же, что и анонимный посетитель, то есть ничего.
• •Canonical указывает на другой адрес. Если все страницы объявляют канонической главную, в индекс попадет только главная.
• •Карта сайта не отправлена или содержит адреса со старого домена и версии с другим протоколом.

Отдельная категория это сайты, где весь контент подгружается скриптами. Google умеет выполнять JavaScript, но делает это во вторую очередь и с задержкой, поэтому важные тексты и ссылки должны присутствовать в исходном HTML.

Проверить все это разом проще всего через инструмент проверки URL: он показывает отрендеренный код и прямо пишет, разрешена индексация или нет.

Когда технических запретов нет, в Search Console появляются два статуса, которые тревожат владельцев сайтов больше всего.

«Обнаружена, сейчас не проиндексирована» означает, что адрес известен, но робот до него даже не дошел. Это вопрос приоритета: у нового домена без ссылок бюджет сканирования крошечный.

«Просканирована, но не проиндексирована» означает другое: страницу прочитали и сочли недостаточно ценной. Обычно это касается страниц с парой предложений текста, карточек без описаний, страниц фильтров и служебных адресов.

Третья типичная история это дубли. Один и тот же товар доступен по нескольким адресам, версия с www и без нее не склеены, страницы пагинации повторяют друг друга. Google выбирает один адрес сам, и не всегда тот, который вы считали основным.

Лечится это не техникой, а содержанием: объединить похожие страницы, дописать те, что остались тонкими, и закрыть от индексации то, что и не должно было туда попадать.

Порядок действий, который закрывает девяносто процентов проблем с индексацией нового сайта.

• •Подключите Search Console и Bing Webmaster Tools, подтвердите права на домен.
• •Проверьте robots.txt и отсутствие noindex на боевой версии, а не на локальной копии.
• •Отправьте карту сайта и убедитесь, что в ней только рабочие адреса в единственном варианте написания.
• •Запросите индексирование вручную для главной, страниц услуг и контактов. Для остальных это не нужно.
• •Поставьте на сайт ссылки оттуда, где вы уже присутствуете: карточка Google Business Profile, соцсети, отраслевые каталоги, партнеры.
• •Свяжите страницы между собой внутренними ссылками, чтобы робот мог дойти до каждой не через карту сайта, а по обычным ссылкам.

И последнее: не проверяйте индексацию каждый день и не запрашивайте ее повторно для одних и тех же адресов. Это ничего не ускоряет, зато отнимает время и создает ощущение проблемы там, где идет обычный процесс.