XML Generator Sitemap Генератор
(499) 403-12-81  Россия
  • (499) 403-12-81  Россия
  • (044) 362-20-12  Украина
Пн—Пт, 09:00—18:00 MSK
Индексация кириллических доменов
Тарифы и цены Купить пин-код Помощь вебмастеру Служба поддержки

Индексация сайта глазами поискового робота


Вы можете выбрать один из вариантов идентификации нашего краулера, производящего индексацию сайта:
  • Стандартный браузер – данный способ используется по умолчанию и является рекомендуемым. Ваш сайт будет загружаться в том же виде, что и обычными посетителям
  • YandexBot – данный способ позволяет индексировать Ваш сайт «глазами поискового робота» Яндекс. Наш Краулер будет обозначен как основной индексирующий робот Яндекса (YandexBot/3.0)
  • Googlebot – данный способ позволяет индексировать Ваш сайт «глазами поискового робота» Google. Краулер будет обозначен как робот веб-поиска Google (Googlebot/2.1)
  • Mysitemapgenerator – используйте прямой способ идентификации нашего робота если Вам требуются особые настройки контроля и управления доступом к веб-сайту
Обратите внимание на особенности обработки файла robotx.txt при выборе различных способов идентификации:
  • При выборе опций «YandexBot», «GoogleBot» или «Mysitemapgenerator» в файле robots.txt производится поиск наиболее релевантной секции. Если в файле присутствует секция, предназначенная для определенного робота - учитываются только директивы, соответствующие конкретному роботу (User-agent: Yandex, User-agent: Googlebot или User-agent: Mysitemapgenerator – соответственно).
    Общие директивы секции User-agent: * будут использованы только в случае отсутствия «персональных».
  • Если Вы используете опцию «Стандартный браузер» - робот будет учитывать только инструкции секции Mysitemapgenerator, а при ее отсутствии - общей секции User-agent: *. «Персональные» секции User-agent: Yandex, User-agent: Googlebot и др. в этом случае не учитываются.
Присоединяйтесь, чтобы быть в курсе всех новостей!
Поделиться сервисом!
©Sitemap Generator - онлайн генератор
VisaMasterCard Secure
x
Этот веб-сайт использует cookies. Продолжая работу, вы соглашаетесь с этим. Подробнее Согласен