Mysitemapgenerator / Справочный центр / Индексация сайта

Будут ли учтены запреты индексации, прописанные в robots.txt?

Опционально, по умолчанию эта опция активна. При отмеченной опции робот учитывает инструкции Allow и Disallow общей секции User-agent: *
Так же, Вы можете создать отдельную секцию для нашего робота:

    User-agent: Mysitemapgenerator

«Персональные» секции (User-agent: Googlebot или User-agent: Yandex) учитываются только при выборе соответствующего варианта идентификации краулера в качестве поискового робота.
Ниже приведен пример файла robots.txt с использованием различных секций:

    #Запрещает всем роботам индексацию директории
    User-agent: *
    Disallow: /noindex-directory/
    
    #Запрещает роботу Google индексацию отдельной страницы
    User-agent: Googlebot
    Disallow: /noindex-directory/disallow-google.html
    
    #Запрещает роботу Яндекса индексацию директории
    #Но разрешает индексацию отдельной страницы
    User-agent: Yandex
    Disallow: /noindex-directory/
    Allow: /noindex-directory/allow-yandex.html
    
    #Запрещает роботу Mysitemapgenerator индексацию директории
    #Но разрешает индексацию всех страниц из этой директории
    #с расширением .html
    User-agent: Mysitemapgenerator
    Disallow: /noindex-directory/
    Allow: /noindex-directory/*.html