Сайт не индексируется: где смотреть причину в Вебмастере

Причина написана в Яндекс Вебмастере, и лежит она в одном из двух разделов: «Индексирование → Статистика обхода», если робот о странице не знает, и «Индексирование → Страницы в поиске → Исключенные страницы», если знает и отказал. Это разные неисправности с разным лечением, и начинать надо с того, чтобы понять, какая у вас. Срок, после которого молчание становится проблемой, справка Яндекса называет числом: «Как правило, после добавления в Вебмастер сайты могут появиться в результатах поиска в течение двух недель». Раньше двух недель чинить нечего.

Я открыл девять страниц, которые человек находит по запросу «сайт не индексируется» и близким к нему, и свёл в одну таблицу, что в них написано про сроки. Позиции я не снимал, поэтому это разбор того, что читают по этому вопросу, а не замер топа по позициям. Шесть страниц из девяти срок называют — и ни одна не ссылается на источник.

01Сначала развилка: робот не знает о странице или знает и отказал

Все девять разобранных статей устроены одинаково: список причин от первой до двенадцатой, и читатель идёт по нему подряд. Это лишняя работа. Сначала смотрят два экрана Вебмастера и отсекают половину списка.

Про последнюю строку справка не оставляет вариантов: «Страница с таким кодом не будет участвовать в поиске. Если до момента обращения робота она находилась в поиске, то будет удалена из него». Колонка с кодом ответа — это первое, на что стоит посмотреть, потому что никакая работа с текстом страницы здесь не поможет.

Сам факт исключений пугать не должен, и это стоит сказать отдельно, потому что исключённых страниц у любого живого сайта десятки: «Наличие и количество исключенных страниц в сервисе не должно влиять на положение сайта в результатах поиска». Разбираться нужно не с их количеством, а с конкретной страницей, которую вы ждёте в поиске. Логика та же, что в разборе, почему кампания в Директе может не набрать ни одного показа, — проверки идут по порядку, от того, что видно в статусе, к тому, что спрятано в настройках, а не списком вперемешку.

Полезно помнить и про горизонт самого раздела: «Яндекс Вебмастер сообщает об изменениях в результатах поиска за последние три месяца», а список страниц в нём «может содержать до 50 000 страниц сайта». Если страница выпала полгода назад, в истории её уже не будет.

02Срок из справки — две недели, остальные цифры ничем не подтверждены

Вот таблица замера. В колонке «Какой срок называет» — то, что написано в самой статье, дословно или близко к тексту.

Шесть названных сроков расходятся между собой в сорок пять раз: от четырёх дней до шести месяцев. Ни один из них не сопровождён ссылкой, и это не придирка к оформлению — человек, который прочитал про шесть месяцев, не пойдёт в Вебмастер ещё полгода, а причина там уже написана. Официальная цифра одна, она лежит в разделе «Вопросы и ответы» справки «Как работает поиск Яндекса» под вопросом «Сайт добавлен в Вебмастер, но еще не появился в поиске», и звучит как две недели.

Три самых объёмных текста — на 3000, 5700 и 8200 слов — срока появления в поиске не называют вовсе. Объём и ответ на вопрос в этой теме связаны слабо. Это та же механика, из-за которой объём текста сам по себе не вытягивает страницу в поиск, — робот смотрит не на количество знаков, а на то, есть ли запросы, которым страница отвечает.

03Восемь причин исключения — полный список из справки

Справка Яндекса называет ровно восемь причин, по которым страница пропадает из выдачи: «Страницы сайта могут пропадать из результатов поиска Яндекса по нескольким причинам». Ниже — все восемь формулировками справки, рядом — где искать источник проблемы.

Дальше начинается то, из-за чего люди застревают, и чего нет ни в одной из девяти разобранных статей. В интерфейсе Вебмастера подписи статусов короче, чем формулировки справки, и их заметно больше: «Малоценная или маловостребованная страница», «Неканоническая», «Дубль», «Исключена по Clean-param», «Неподдерживаемый формат», «Статус неизвестен». Я искал эти короткие подписи на странице справки про исключённые страницы — их там нет. То есть читатель видит в интерфейсе строку, которой в документации буквально не существует, и ищет её в поиске вместо того, чтобы прочитать соседнюю колонку. Практический вывод: сопоставляйте подпись не по словам, а по смыслу — «Дубль» и «Неканоническая» это пятая и шестая строки таблицы, «Исключена по Clean-param» и «Неподдерживаемый формат» относятся ко второй и третьей.

04Запрет в robots.txt перебивает noindex, а не складывается с ним

Это самая частая ловушка, и она описана в справке одной строкой: «Если страница запрещена в файле robots.txt, то директива метатега или заголовка не действует». Логика простая: робот не заходит на закрытую страницу, значит не читает её код, значит не видит там noindex. Поставить оба запрета разом — значит не поставить ни одного полноценно.

Работает один из двух способов, и справка перечисляет их отдельно: «В файле robots.txt укажите директиву Disallow» либо «В HTML-коде страниц сайта укажите метатег robots с директивой noindex или none». Сроки тоже названы: «Изменение будет учтено по мере обновления поисковых данных, в течение 2-14 дней». Для серверной отдачи есть заголовок X-Robots-Tag: noindex, nofollow — он описан на той же странице и ведёт себя так же, как метатег.

Две вещи, из-за которых закрытым оказывается весь сайт, а не отдельная страница.

Первая — строка после тестового домена. В справке она приведена прямым примером: Disallow: / # запрещает обход всего сайта. Эту строку ставят, пока сайт собирают, и забывают убрать при переносе на рабочий домен. Проверяется за двадцать секунд: откройте адрес своего сайта с /robots.txt на конце.

Вторая — решётка в правиле. Справка предупреждает прямо: «директиву вида Disallow: /# поисковая система воспримет как Disallow: / — полный запрет на индексирование». Комментарий, начатый не в том месте, закрывает сайт целиком.

И про порядок строк: «порядок следования директив в файле robots.txt не влияет на использование их роботом», потому что «Директивы Allow и Disallow из соответствующего User-agent блока сортируются по длине префикса URL (от меньшего к большему)», а «При конфликте между двумя директивами с префиксами одинаковой длины приоритет отдается директиве Allow». Переставлять строки местами в надежде починить индексацию бесполезно.

Заодно уберите из файла директиву Host, если она там есть. Яндекс отказался от неё в блоге для вебмастеров 20 марта 2018 года: «301-й редирект полностью заменил директиву Host», и про саму директиву там сказано, что «робот её просто игнорирует».

05Малоценная и маловостребованная — два разных диагноза под одной подписью

Статус в интерфейсе один, а причин за ним две, и лечатся они по-разному. Справка разводит их в двух предложениях.

Малоценная: «Страница может быть признана малоценной, если она является дублем или не содержит видимый роботу контент». Здесь проблема техническая — робот не увидел текста. Проверяется инструментом «Индексирование → Проверка страницы», который показывает, «Как выглядит контент страницы для робота».

Маловостребованная: «Если страница без ошибок в HTML-коде, содержит контент, но в поиске нет пользователей и запросов, на которые она могла бы ответить, страница может быть исключена из поиска как маловостребованная». Здесь всё технически в порядке, и переписывать разметку бессмысленно — нет спроса на то, о чём страница написана. Это тема, а не код.

Хорошая новость в том, что приговор не вечный: «Робот Яндекса проверяет все страницы регулярно, почти каждый день», и «Действия алгоритма не являются ограничениями для сайта в поиске». Переработали содержимое — страница пойдёт на проверку снова, без заявок и переобхода.

06«Неканоническая» появляется и там, где canonical никто не ставил

Этот статус чаще всего приносит не человек, а платформа или плагин: canonical ставится автоматически, и у страницы с параметрами в адресе каноническим оказывается другой URL. Полезно знать, что указание необязательно к исполнению: «Робот Яндекса воспринимает указание на канонический адрес как рекомендацию и может проигнорировать его в нескольких случаях».

Случаев справка называет пять, и три из них встречаются сплошь:

• «Канонический адрес недоступен для робота — перенаправляет на другую страницу или закрыт от индексирования»;
• «В качестве канонического адреса указан URL в другом домене или поддомене»;
• «Указано несколько канонических адресов».

Два остальных — цепочка канонических адресов и случай, когда «неканонические страницы более полно отвечают на запрос пользователя, и их контент существенно отличается от канонических». Проверка одна: откройте исходный код страницы и найдите в нём rel="canonical". Если адрес в нём не совпадает с адресом, который вы ждёте в поиске, причина найдена.

Разберём именно
ваш сайт бесплатно

Посмотрю страницу и рекламу, найду,
где теряются заявки, и пришлю план,
что поменять.

Что входит в разбор

• 1
  Где теряются заявкипуть от объявления до формы
• 2
  Что поправить на сайтепервый экран, оффер, формы
• 3
  Что поменять в рекламезапросы, объявления, бюджет

Михаил Лапошинразберу ваш проект лично

Ваше имяТелефонСайт

TelegramWhatsAppЗвонок

Согласен на обработку данных и политику конфиденциальностиПолучить бесплатный разбор

✓ Заявка принята — отвечу в течение часа

07Сайт на Тильде: две галочки и неопубликованная главная

Конструкторов в разобранных статьях почти нет: в одной это абзац, в двух — упоминание в скобках. При этом у владельца сайта на Тильде причина обычно не в robots.txt, а в настройках, и файлы ему править не надо и в большинстве случаев нечем: «Оба файла генерируются Тильдой автоматически, ничего дополнительно делать не нужно». Посмотреть их всё равно стоит — «Чтобы увидеть файлы, добавьте к вашему адресу сайта /robots.txt или /sitemap.xml».

Проверяются три места, по порядку.

1. Весь сайт. «Настройки сайта → SEO», галочка «Запретить поисковикам индексировать сайт». Её ставят на время сборки и забывают снять при публикации.
2. Отдельная страница. «Настройки страницы → SEO → Отображение в поисковой выдаче → Настроить отображение в поисковой выдаче», галочка «Запретить поисковикам индексировать страницу». На старых проектах вкладка может называться «Facebook & SEO» — это то же самое место.
3. Главная страница. Справка предупреждает: «для того, чтобы добавить сайт в поисковые сети, у вас должна быть назначена и опубликована главная страница». Пока главная не назначена, сайт не получится даже добавить в Вебмастер.

Отдельно стоит посмотреть, какие поисковые настройки Тильда отдаёт в интерфейсе и где у неё потолок, — часть советов из статей про индексацию предполагает правку файлов, которой на этой платформе просто нет, и порядок действий из-за этого другой. Если разбираться в этом не хочется, проверка настроек и Вебмастера входит в техническую настройку сайта под поиск с разбором отчётов индексирования, — но один раз пройти её самому полезно: вы будете понимать, что именно подрядчик потом показывает в отчёте.

08Чем ускорить и где у ускорения потолок

Четыре инструмента, и у каждого свои границы. Числа ниже — из справки Яндекса, и там, где их нет, в таблице стоит честное «числа нет».

Про переобход все разобранные статьи пишут «есть суточный лимит» и не называют число. Числа нет и в справке — там только «Вы можете вводить ограниченное количество страниц для основного домена и всех поддоменов сайта. Лимит обновляется ежедневно». Своё число видно прямо в разделе: квота считается для каждого домена отдельно, и в API Вебмастера под неё отведены поля «daily_quota» — «Суточная квота» и «quota_remainder» — «Остаток суточной квоты с учетом отправленных ранее запросов».

Статусы заявки стоит читать буквально. «В очереди» значит: «Робот посетит указанные адреса в приоритетном порядке при следующем обращении к сайту. Этот процесс занимает не более трех дней, но обычно завершается быстрее». «Заявка обработана» — не победа: «Робот посетил страницу. Данные обновятся в течение двух недель. Статус не означает, что робот проиндексировал страницу».

Самый недооценённый рычаг для малого бизнеса — обход по счётчикам, потому что Метрика на сайте почти всегда уже стоит. Включается в «Индексирование → Обход по счетчикам», и дальше «Робот сможет обойти страницы, на которых установлен счетчик». Справка сама отправляет сюда тех, у кого адресов много: «Для регулярной передачи большого количества страниц используйте инструмент Обход по счетчикам». Обратная сторона — выключать его не стоит просто так: «При выключенной опции робот перестает получать информацию о новых страницах сайта от Метрики».

По Sitemap требования короткие: «Максимальное количество ссылок — 50 000», «Максимальный размер файла в несжатом виде — 50 МБ», «Используйте кодировку UTF-8», «При обращении к файлу сервер должен возвращать HTTP-код 200». Загрузка не мгновенная — «Робот загрузит его в течение двух недель», и обход файла можно подтолкнуть кнопкой, но «Использовать функцию можно до 10 раз для одного хоста».

IndexNow не даёт гарантии, и справка говорит это прямо: «Данный способ не гарантирует, что переданные страницы будут проиндексированы». Ключ должен быть «не менее 8 символов» и «не должен превышать 128 символов». Расходует ли IndexNow суточную квоту переобхода, в справке не сказано ни в одну сторону — утверждать здесь нечего.

09«Сайт ещё молодой» — этого в справке Яндекса нет

Про возраст сайта и «песочницу» я искал целенаправленно: на странице «Как работает поиск Яндекса», на странице «Решение проблем с позицией сайта в поиске» и на странице про малоценные страницы. Про возраст там нет ничего. Единственный срок, который Яндекс называет сам, — две недели после добавления в Вебмастер. Все «три месяца», «полгода» и «песочница» пришли из блогов агентств и пользовательских ответов, и в разобранной девятке их тиражируют две статьи.

Разница не теоретическая. Объяснение «сайт молодой» закрывает вопрос и не требует действий — и человек ждёт вместо того, чтобы открыть два экрана Вебмастера, где причина уже написана словами. Порядок, который работает: прошло меньше двух недель — ждите; прошло больше — смотрите «Статистику обхода», потом «Исключенные страницы», потом лечите по статусу.

Если прошло больше двух недель, а статус в Вебмастере вам ничего не говорит, можно открыть ваш Вебмастер вместе и прочитать, что там написано про исключённые страницы, — обычно диагноз виден за десять минут, и дальше понятно, это правка в коде, настройка сервера или переработка самой страницы.

Михаил ЛапошинМаркетолог, руководитель Laposhin Agency

«Делаем сайты и запускаем Яндекс Директ так, чтобы
сайт приносил заявки, а не просто был»

Есть вопрос по статье?Задать вопрос в Telegram