XML Generator Sitemap Генератор
(499) 403-36-10  Россия
  • (499) 403-36-10  Россия
  • (044) 362-20-12  Украина
Пн—Пт, 11:00—19:00
Индексация кириллических доменов

Будут ли учтены запреты индексации, прописанные в robots.txt?


Опционально. При отмеченной опции робот учитывает инструкции Allow и Disallow общей секции User-agent: *
Так же, Вы можете создать отдельную секцию для нашего робота:

    User-agent: Mysitemapgenerator

«Персональные» секции (User-agent: Googlebot или User-agent: Yandex) учитываются только при выборе соответствующего варианта идентификации краулера в качестве поискового робота.
Ниже приведен пример файла robots.txt с использованием различных секций:
    #Запрещает всем роботам индексацию директории
    User-agent: *
    Disallow: /noindex-directory/
    
    #Запрещает роботу Google индексацию отдельной страницы
    User-agent: Googlebot
    Disallow: /noindex-directory/disallow-google.html
    
    #Запрещает роботу Яндекса индексацию директории
    #Но разрешает индексацию отдельной страницы
    User-agent: Yandex
    Disallow: /noindex-directory/
    Allow: /noindex-directory/allow-yandex.html
    
    #Запрещает роботу Mysitemapgenerator индексацию директории
    #Но разрешает индексацию всех страниц из этой директории
    #с расширением .html
    User-agent: Mysitemapgenerator
    Disallow: /noindex-directory/
    Allow: /noindex-directory/*.html

Отзывы пользователей генератора SitemapОтзывы все отзывы →
добавить +
Назад
  • Nafis, tatled.ru

    Весьма неплохо, бесплатного функционала для простых задач вполне хватает. Для серьезных задач вполне реальные цены.

  • firuz, ib-store.net

    Спасибо, очень полезный сервис. После создания карты сайта, мой сайт появился в яндексе. Полезный сервис.

Вперед

Подпишитесь на нашу страницу в Facebook, чтобы быть в курсе всех новостей!

Москва: +7 (499) 403-36-10     Киев: +38 (044) 362-20-12 Поделиться сервисом!
©Sitemap Generator - онлайн генератор
VisaMasterCard Secure