Карта сайта sitemap.xml: нужна ли она вашему сайту

Карта сайта — это файл sitemap.xml со списком адресов страниц, который сообщает поиску, что у вас на сайте есть. Нужен он не всем, и единственный проверяемый критерий «не нужен» нашёлся не у SEO-агентств, а в документации Google: «Сайт сравнительно невелик. Иными словами, на нем не больше 500 страниц, которые должны быть представлены в результатах поиска». А если ваш сайт сделан на Тильде или на WordPress версии 5.5 и выше, файл у вас уже есть и открывается по адресу /sitemap.xml — создавать его, скачивать из генератора и заливать на хостинг не надо.

Я открыл 14 страниц, которые выдаются по запросам «карта сайта xml» и «sitemap для сайта», вытащил из кода заголовки и посчитал объём каждой. Ни одна из четырнадцати не говорит владельцу небольшого сайта, что карта ему может быть не нужна. Зато в двух числа прямо неверные, и ниже я показываю, где именно.

01Что в 14 страницах топа есть

Выдачу Яндекса по запросу «карта сайта xml» удалось снять целиком. По вариантам «sitemap для сайта» и «файл sitemap для сайта» Яндекс отдал SmartCaptcha — позиции по ним я не мерил и выдавать за измеренные не буду; шесть страниц в нижней части таблицы добраны через Google и Bing по тем же запросам. Одну страницу из выдачи Яндекса (личный блог на Medium) закрыл Cloudflare — её в таблице нет, потому что объём и заголовки я не видел.

Что видно из таблицы. Половина страниц построена по одной схеме: что это такое — лимиты 50 000 и 50 МБ — как сгенерировать — куда отправить. То есть отвечает на вопрос «как сделать», ни разу не ответив на вопрос «надо ли мне это». Самая объёмная страница в выдаче — 5520 слов и 18 заголовков — написана для SEO-специалиста, а самая короткая содержательная, справка Рег.ру на 900 слов, не называет ни одного ограничения. Два первоисточника — Google и sitemaps.org — в топе есть, и именно у них лежит ответ на главный вопрос, но на русских страницах его не пересказывает никто.

02Два числа в топе прямо неверные

Это проверяется за минуту, и проверку стоит показать, потому что ошибка касается ровно того числа, вокруг которого топ строит статью.

Site-analyzer пишет: «не должен превышать 50 Мб для Google и 10 Мб для Яндекса». Apix-drive: «не должен быть больше 10 Мб или включать не более 50 000 url-адресов». Откройте справку Яндекса, раздел «Требования к файлу», и прочитайте дословно: «Максимальный размер файла в несжатом виде — 50 МБ». Там же: «Максимальное количество ссылок — 50 000. Вы можете разделить Sitemap на несколько отдельных файлов и указать их в файле индекса Sitemap». Никаких 10 МБ у Яндекса нет.

Цена этой ошибки для владельца сайта нулевая — вы всё равно не наберёте ни 10, ни 50 МБ. Но она хорошо показывает, как устроен этот топ: число переписывается из статьи в статью, и проверять его по справке никто не ходит.

03Нужна ли карта вашему сайту

Яндекс на вопрос «обязателен ли файл» не отвечает ни да, ни нет — такой формулировки в справке нет вовсе. Есть условия, при которых его стоит использовать: «Иногда робот может пропустить страницы. Используйте Sitemap, если на сайте: большое количество страниц; отдельные страницы без навигационных ссылок; глубокая вложенность».

Google формулирует обе стороны. Когда нужен: «У вас крупный сайт»; «Сайт создан недавно, и на него ведет мало внешних ссылок»; «Сайт содержит большой объем мультимедийного контента (видео и изображений) или представлен в Google Новостях». Когда не нужен — тот самый критерий с числом: «Сайт сравнительно невелик. Иными словами, на нем не больше 500 страниц, которые должны быть представлены в результатах поиска»; «На сайте реализована детальная система внутренних ссылок».

Переведу на язык решения. Сайт-визитка, лендинг, корпоративный сайт на 20–40 страниц с нормальным меню — карта ничего не изменит. Если такие страницы не попадают в поиск, причина другая, и искать её надо в Вебмастере: там видно, где смотреть, почему сайт не индексируется, и чаще всего дело в запрете в robots.txt, ответе сервера или дублях, а не в отсутствии карты. Карта нужна интернет-магазину с сотнями карточек, сайту с большим блогом, порталу с глубокой вложенностью и свежему сайту, на который ещё никто не ссылается.

И ещё одно, чего в топе нет ни в одной формулировке. Карта не обязывает поиск ни к чему. Яндекс: «Яндекс не гарантирует, что все указанные в файле URL попадут в результаты поиска». Google: «Помните, что файл Sitemap служит лишь подсказкой для поисковых систем. Его наличие не гарантирует, что система Google скачает этот файл или использует его для сканирования страниц на сайте». Топ вместо этого обещает «ускорение индексации» и «экономию краулингового бюджета».

04На Тильде и в WordPress файл уже есть

Это самый практичный вывод всего разбора, и именно он в выдаче отсутствует. Топ хором советует онлайн-генераторы — часть из них сканирует 500–1000 страниц бесплатно, остальное за деньги, — и предлагает загрузить полученный файл на хостинг. Владельцу сайта на конструкторе делать этого не нужно: файл у него уже сгенерирован и обновляется сам.

Тильда пишет прямо: «Оба файла генерируются Тильдой автоматически, ничего дополнительно делать не нужно» — и там же даёт свой предел, который наступает в семнадцать раз раньше протокольного: «Максимальный размер файла sitemap.xml — 3 МБ или 3000 записей». Если у вас подключён каталог, рядом появятся ещё файлы: «Помимо основного sitemap.xml у сайта могут быть другие файлы карты сайта: sitemap-store.xml и sitemap-feeds.xml».

WordPress умеет это с июля 2020 года. Анонс ядра: «With version 5.5., WordPress will expose a sitemap index at /wp-sitemap.xml», и по умолчанию в карту попадают «all public and publicly queryable post types and taxonomies, as well as for author archives and of course the homepage of the site». Лимит на один файл — 2000 записей. Если у вас стоит отдельный SEO-плагин со своей картой, карт станет две, и это повод оставить одну, а не повод радоваться.

Битрикс24.Сайты — исключение, о котором стоит знать заранее: «В Битрикс24.Сайты сам файл sitemap.xml создается автоматически при включении опции добавления страницы в карту сайта», и дальше прямым текстом — «Чтобы все страницы сайта попали в файл sitemap.xml, нужно в настройках каждой страницы включить опцию Добавить страницу в карту сайта». То есть файл есть, а половины страниц в нём может не быть, и узнать это можно только открыв его глазами.

Разница в поведении платформ — это ровно та вещь, из-за которой стоит понимать, где у конструктора и у WordPress проходит граница возможностей, до того как сайт собран и наполнен парой сотен страниц каталога. Если вы ещё на этапе выбора, стоит заказывать разработку сайта, в котором структура и внутренние ссылки собраны под поиск с первого дня, — тогда карта сайта не превращается в вопрос, который всплывает через полгода после запуска.

05Что внутри файла: три тега обязательны, три можно не писать

Протокол sitemaps.org разделяет теги жёстко. Обязательны <urlset>, <url> и <loc> — «URL-адрес страницы. Этот URL-адрес должен начинаться с префикса (например, HTTP)… Длина этого значения не должна превышать 2048 символов». Остальные три помечены «необязательно».

Главное в этой таблице — правый нижний угол. Google пишет одной строкой: «Значения в тегах <priority> и <changefreq> игнорируются». Сам протокол про changefreq говорит то же, только мягче: «Имейте в виду, что значение для этого тега рассматривается как подсказка, а не как команда». И про priority: «приоритет, который Вы назначили странице, не влияет на положение Ваших URL на страницах результатов той или иной поисковой системы», а «назначение высокого приоритета всем URL на Вашем сайте не имеет смысла».

Пять страниц из разобранных мной четырнадцати учат эти теги заполнять: объясняют, что «приоритет по умолчанию 0.5», советуют расставить важность страниц. Ни одна не упоминает, что одна из двух поисковых систем их не читает. Для владельца сайта вывод короткий: если платформа эти теги пишет — пусть пишет, если не пишет — не ищите, чем их добавить.

Единственный тег, за который стоит следить, — lastmod. Google его использует, но с условием и с прямым предупреждением, что считать изменением: «В значении <lastmod> должны быть приведены дата и время последнего значительного изменения страницы. Это может быть обновление основного контента, структурированных данных или ссылок. При этом изменение даты начала действия авторских прав значительным не считается». Проще говоря: бессмысленный бамп даты у страницы, в которой ничего не поменялось, не помогает.

06Как сообщить о файле Яндексу

Два способа, и они не исключают друг друга.

Первый — строка в robots.txt. Справка Яндекса: «Если вы используете описание структуры сайта с помощью файла Sitemap, укажите путь к файлу в качестве параметра директивы Sitemap (если файлов несколько, укажите все)». Важная деталь оттуда же: «Директива является межсекционной, поэтому будет использоваться роботом вне зависимости от места в файле robots.txt, где она указана». Если вы вообще не разбирались, что должно быть в этом файле, начните с того, что имеет смысл закрывать в robots.txt и что проверить в нём по пунктам — карта там одна из строк, а не главное.

Второй — раздел «Файлы Sitemap» в Вебмастере. Если сервис у вас ещё не подключён, там же есть вся процедура: как добавить сайт в Вебмастер и подтвердить права занимает от десяти минут до суток, и дольше всего ждёт подтверждение через запись в DNS.

И порядок действий до отправки, который справка Яндекса называет первым пунктом, а топ почти не упоминает: «Определите канонические URL для страниц, которые будут указаны в файле Sitemap. Это необходимо, если на сайте есть несколько страниц со схожей информацией». Карта со списком дублей не ускоряет ничего — она показывает роботу один и тот же текст по трём адресам.

Остальные требования Яндекса к файлу стоит прочитать один раз и забыть: кодировка UTF-8, адреса только того домена, на котором лежит файл, сам файл — на том же домене, и «При обращении к файлу сервер должен возвращать HTTP-код 200».

Разберём именно
ваш сайт бесплатно

Посмотрю страницу и рекламу, найду,
где теряются заявки, и пришлю план,
что поменять.

Что входит в разбор

• 1
  Где теряются заявкипуть от объявления до формы
• 2
  Что поправить на сайтепервый экран, оффер, формы
• 3
  Что поменять в рекламезапросы, объявления, бюджет

Михаил Лапошинразберу ваш проект лично

Ваше имяТелефонСайт

TelegramWhatsAppЗвонок

Согласен на обработку данных и политику конфиденциальностиПолучить бесплатный разбор

✓ Заявка принята — отвечу в течение часа

07Сколько ждать и что считать нормой

Числа тут есть, и все они из справки.

Обработка после добавления — «как правило, файл Sitemap обрабатывается роботом в течение двух недель после добавления его в Вебмастер». Повторная обработка — «в течение двух недель с момента последнего запроса роботом». Статус «OK» означает ровно то, что написано: «Файл сформирован правильно и загружен в базу робота», а «проиндексированные страницы появятся в результатах поиска в течение двух недель».

Ускорение есть, и у него измеримый лимит: «Робот загрузит данные в течение трех дней. Использовать функцию можно до 10 раз для одного хоста», а когда попытки кончатся — «следующая будет доступна через 30 дней после первой». Десять нажатий на хост в месяц — это не инструмент ежедневной работы, и тратить их на лендинг не стоит.

Отдельно — то, что экономит нервы. Правили файл? Ничего делать не нужно: «его не надо удалять и загружать снова — робот регулярно проверяет файл на обновления и ошибки». Увидели ошибку «Неизвестный тег»? Справка отвечает сама: «Неподдерживаемые элементы игнорируются роботом при обработке Sitemap, при этом данные из поддерживаемых элементов учитываются. Поэтому менять файл Sitemap необязательно».

08«Не проиндексирован» — это про ответ сервера

Это главный повод для паники у новичка и самый недоразобранный пункт в топе: только одна из четырнадцати страниц дала таблицу ошибок Вебмастера, и ни одна не расшифровала этот статус словами справки.

А справка расшифровывает его однозначно: «При обращении к Sitemap сервер возвращает HTTP-код, отличный от 200». Лечение там же: «Проверьте, доступен ли файл для робота с помощью инструмента Проверка ответа сервера, указав полный путь к файлу». Прочие причины — те же три: робот ещё не дошёл, сайт раньше был недоступен, доступ закрыт в robots.txt.

И два статуса, которые выглядят страшно, а ошибками не являются. Файл Sitemap в списке исключённых страниц: «Отображение файла Sitemap и других XML-файлов как исключенных страниц носит только информативный характер и никак не влияет на индексирование сайта или обработку Sitemap». Статус «Документ не содержит текст»: «На обработку Sitemap этот статус не влияет».

09Что сделать за десять минут

Порядок для владельца небольшого сайта, без генераторов и плагинов.

1. Откройте вашсайт.ру/sitemap.xml в браузере. Открылся список адресов — файл есть, и шаги 2–3 вам не нужны.
2. Не открылся, а сайт на Битрикс24 — проверьте галочку «Добавить страницу в карту сайта» в настройках каждой страницы. На WordPress старше 5.5 — обновите ядро или поставьте SEO-плагин.
3. Не открылся, а страниц на сайте меньше 500 и из меню доступны все разделы — ничего не делайте. Это тот случай, про который Google пишет «файл Sitemap вам не потребуется».
4. Файл есть — пробегите список адресов глазами. Служебных страниц, дублей с параметрами и адресов с другим доменом в нём быть не должно.
5. Проверьте, что в robots.txt есть строка Sitemap: с полным адресом файла.
6. Добавьте файл в Вебмастер, раздел «Файлы Sitemap», и прогоните через инструмент «Анализ файлов Sitemap».
7. Через две недели вернитесь и посмотрите статус. «OK» — всё. «Не проиндексирован» — идите в «Проверку ответа сервера», а не переделывайте файл.

Если после седьмого пункта статус «OK», а страниц в поиске всё равно нет, карта тут больше не при чём: дальше смотрят обход, ответы сервера и дубли. Это уже отдельный разговор, и его проще начать с конкретикой на руках: можно прислать адрес сайта и открыть его карту вместе, чтобы увидеть, что в неё попало и чего в ней не хватает, прежде чем менять на сайте хоть что-нибудь.

Михаил ЛапошинМаркетолог, руководитель Laposhin Agency

«Делаем сайты и запускаем Яндекс Директ так, чтобы
сайт приносил заявки, а не просто был»

Есть вопрос по статье?Задать вопрос в Telegram