Индексация сайта глазами поискового робота

Вы можете выбрать один из вариантов идентификации нашего Веб-краулера* (поискового робота), производящего индексацию Вашего сайта:

• Стандартный браузер – данный способ используется Краулером по умолчанию и является рекомендуемым. Ваш сайт будет загружаться в том же виде, что и обычными посетителям
• YandexBot – данный способ позволяет индексировать Ваш сайт «глазами поискового робота» Яндекс. Наш Краулер будет подписан как основной индексирующий робот Яндекса (YandexBot/3.0)
• Googlebot – данный способ позволяет индексировать Ваш сайт «глазами поискового робота» Google. Краулер будет подписан как робот веб-поиска Google (Googlebot/2.1)
• mysitemapgenerator.com – используйте прямой способ идентификации нашего робота если Вам требуются особые настройки контроля и управления доступом к веб-сайту

• При выборе опций «YandexBot» или «Googlebot» учитываются только директивы, предназначенные для конкретного робота (User-agent: Yandex или User-agent: Googlebot – соответственно), общие директивы User-agent: * не используются.
• Если Вы используете опции «Стандартный браузер» или «mysitemapgenerator.com» - сканер будет учитывать только инструкции общей секции User-agent: * «Персональные» секции User-agent: Yandex или User-agent: Googlebot и др. не учитываются.