XML Generator Sitemap Генератор
(499) 403-12-81  Россия
  • (499) 403-12-81  Россия
  • (044) 362-20-12  Украина
Пн—Пт, 09:00—18:00 MSK
Индексация кириллических доменов
Тарифы и цены Купить пин-код Помощь вебмастеру Служба поддержки

Как будут обработаны веб-страницы, на которых используються метатеги robots или заголовки X-Robots-Tag?


При активных соответствующих опциях страницы будут обработаны в соответствии с установленными значениями метатегов robots (noindex, nofollow).
При необходимости, Вы всегда можете применить обработку только noindex или только nofollow независимо друг от друга.
Теги, предназначенные для определенных поисковых роботов (Googlebot или Yandex) учитываются при выборе соответствующего варианта идентификации краулера в качестве поискового робота.
Так же, Вы можете использовать на веб-страницах метатеги для робота Mysitemapgenerator, которые будет учитываться при выборе прямой идентификации наших роботов.
Примеры использования метатегов robots:
    <meta name="robots" content="noindex" />
    /*для всех поисковых роботов сообщается, что страницу не следует
    индексировать, но разрешается следовать по размещенным на ней ссылкам*/
    
    <meta name="robots" content="nofollow" />
    /*для всех поисковых роботов запрещена только индексация ссылок,
    которые размещены на веб-странице*/
    
    <meta name="robots" content="noindex,nofollow" />
    /*для всех поисковых роботов запрещена индексация страницы и ссылок,
    которые на ней могут быть размещены*/

Примеры использования HTTP-заголовков X-Robots-Tag:
    X-Robots-Tag: noindex
    
    X-Robots-Tag: nofollow
    
    X-Robots-Tag: noindex, nofollow
Присоединяйтесь, чтобы быть в курсе всех новостей!
Поделиться сервисом!
©Sitemap Generator - онлайн генератор
VisaMasterCard Secure
x
Этот веб-сайт использует cookies. Продолжая работу, вы соглашаетесь с этим. Подробнее Согласен