XML Generator Sitemap Генератор
(499) 403-12-81  Россия
  • (499) 403-12-81  Россия
  • (044) 362-20-12  Украина
Пн—Пт, 10:00—19:00
Индексация кириллических доменов

Будут ли учтены запреты индексации, прописанные в robots.txt?


Опционально. При отмеченной опции робот учитывает инструкции Allow и Disallow общей секции User-agent: *
Так же, Вы можете создать отдельную секцию для нашего робота:

    User-agent: Mysitemapgenerator

«Персональные» секции (User-agent: Googlebot или User-agent: Yandex) учитываются только при выборе соответствующего варианта идентификации краулера в качестве поискового робота.
Ниже приведен пример файла robots.txt с использованием различных секций:
    #Запрещает всем роботам индексацию директории
    User-agent: *
    Disallow: /noindex-directory/
    
    #Запрещает роботу Google индексацию отдельной страницы
    User-agent: Googlebot
    Disallow: /noindex-directory/disallow-google.html
    
    #Запрещает роботу Яндекса индексацию директории
    #Но разрешает индексацию отдельной страницы
    User-agent: Yandex
    Disallow: /noindex-directory/
    Allow: /noindex-directory/allow-yandex.html
    
    #Запрещает роботу Mysitemapgenerator индексацию директории
    #Но разрешает индексацию всех страниц из этой директории
    #с расширением .html
    User-agent: Mysitemapgenerator
    Disallow: /noindex-directory/
    Allow: /noindex-directory/*.html

Отзывы пользователей генератора SitemapОтзывы все отзывы →
добавить +
Назад
  • Oleg, domasterov.ru

    Огромное спасибо за ваш сайт!

  • Андрей, galtex37.ru

    Удобный сервис, спасибо!

Вперед

Подпишитесь на нашу страницу в Facebook, чтобы быть в курсе всех новостей!

Москва: +7 (499) 403-12-81     Киев: +38 (044) 362-20-12 Поделиться сервисом!
©Sitemap Generator - онлайн генератор
VisaMasterCard Secure
x
Этот веб-сайт использует cookies. Продолжая работу, вы соглашаетесь с этим. Подробнее Согласен