Объявление директивы Sitemap в robots.txt

Файл robots.txt служит для объявления ссылки на XML-файл(ы) карты сайта. Данная директива предназначена для уведомления поисковых роботов о наличии карты сайта в специальном формате XML Sitemaps.

Когда следует объявлять директиву в файле robots.txt?

После того как Вы создали и загрузили XML-файл Sitemap на веб-сервер.

Когда следует обновлять директиву Sitemap?

Обновлять директиву следует только в том случае, когда действующий URL файла Sitemap изменился. В случае, если Sitemap обновился, но его URL остается прежним, никаких дополнительных действий производить не нужно.

Для того чтобы добавить директиву о наличии файла Sitemap в robots.txt следует добавить такую строку:

Sitemap: http://yourwebsite.tld/uri-файла-sitemap.xml

uri-файла-sitemap – это полный URI Вашего файла XML Sitemap (например: sitemap.xml).

В итоге, robots.txt у Вас должен получиться такого вида:

User-Agent: *
Sitemap: http://yourwebsite.tld/sitemap.xml

В случае если Вам нужно обновить директиву – достаточно заменить имеющуюся в robots.txt строку:

Sitemap: http://yourwebsite.tld/страрый-uri-sitemap

на новую:

Sitemap: http://yourwebsite.tld/новый-uri-sitemap

Что делать если robots.txt содержит несколько секций User-Agent?

Если Вы используете различные директивы для разных поисковых роботов, Вам следует добавить директиву Sitemap в каждую из них (либо в те из них, соответствующим поисковым роботам которых, Вы хотите передать информацию о Sitemap).

В итоге, robots.txt у Вас должен получиться такого вида:

# Для всех, кроме Google и Yandex
User-Agent: *
Sitemap: http://yourwebsite.tld/sitemap.xml

# будет использована роботами Яндекса
User-Agent: Yandex
Sitemap: http://yourwebsite.tld/sitemap-for-yandex.xml

# будет использована роботами Google
User-Agent: Googlebot
Sitemap: http://yourwebsite.tld/sitemap-for-googlebot.xml