Объявление директивы Sitemap в robots.txt
Файл robots.txt служит для объявления ссылки на XML-файл(ы) карты сайта. Данная директива предназначена для уведомления поисковых роботов о наличии карты сайта в специальном формате XML Sitemaps.
Когда следует объявлять директиву в файле robots.txt?
После того как Вы создали и загрузили XML-файл Sitemap на веб-сервер.
Когда следует обновлять директиву Sitemap?
Обновлять директиву следует только в том случае, когда действующий URL файла Sitemap изменился. В случае, если Sitemap обновился, но его URL остается прежним, никаких дополнительных действий производить не нужно.
Для того чтобы добавить директиву о наличии файла Sitemap в robots.txt следует добавить такую строку:
uri-файла-sitemap – это полный URI Вашего файла XML Sitemap (например: sitemap.xml).
В итоге, robots.txt у Вас должен получиться такого вида:
User-Agent: * Sitemap: http://yourwebsite.tld/sitemap.xml
В случае если Вам нужно обновить директиву – достаточно заменить имеющуюся в robots.txt строку:
Sitemap: http://yourwebsite.tld/страрый-uri-sitemap
на новую:
Sitemap: http://yourwebsite.tld/новый-uri-sitemap
Что делать если robots.txt содержит несколько секций User-Agent?
Если Вы используете различные директивы для разных поисковых роботов, Вам следует добавить директиву Sitemap в каждую из них (либо в те из них, соответствующим поисковым роботам которых, Вы хотите передать информацию о Sitemap).
В итоге, robots.txt у Вас должен получиться такого вида:
# Для всех, кроме Google и Yandex User-Agent: * Sitemap: http://yourwebsite.tld/sitemap.xml # будет использована роботами Яндекса User-Agent: Yandex Sitemap: http://yourwebsite.tld/sitemap-for-yandex.xml # будет использована роботами Google User-Agent: Googlebot Sitemap: http://yourwebsite.tld/sitemap-for-googlebot.xml