Частые вопросы по работе генератора Sitemap

Список Частых Вопросов и Ответов по работе генератора (Sitemap FAQ)

• Сравнение сервисов «Sitemap Pro» и «Обновляемый Sitemap»
• Рекомендации по настройкам генератора
• Индексация кириллических доменов и зоны РФ

Содержание справки

• Какие виды URL сайтов понимает генератор? | страница: →
• Какой лимит на кол-во индексируемых страниц в бесплатном генераторе? | страница: →
• Будут ли учтены запреты индексации, прописанные в robots.txt? | страница: →
• Индексация скрытых страниц (Deep Web) | страница: →
• Как сканер обрабатывает внутрихостовые серверные редиректы? | страница: →
• Обработка и удаление phpsessid (идентификаторы PHP-сессий) | страница: →
• Как происходит добавление изображений в Sitemap? | страница: →
• Как работает фильтрация разнородного содержимого? | страница: →
• Какую информацию содержит отчет, создаваемый при обходе веб-сайта сканером? | страница: →
• У меня очень большой сайт, что будет когда количество просканированных страниц перейдет максимально допустимый размер в 50 000 URL? | страница: →
• Как использовать маски? | страница: →
• Как работает функция «Получить на e-mail»? | страница: →
• Сколько времени созданные файлы Sitemaps доступны для скачивания по отправленным ссылкам? | страница: →
• Как проверить состояние индексации сайта? | страница: →
• От чего зависит скорость индексации моего сайта? | страница: →
• Могу ли я преждевременно остановить процесс индексации сайта? | страница: →
• Как сообщить поисковым системам о моем файле Sitemap? | страница: →
• Выбор оптимальной скорости индексации и уровня нагрузки на Ваш веб-сервер | страница: →
• Индексация сайта глазами поискового робота | страница: →

Каким требованиям должна отвечать главная страница домена, чтобы сканер мог проиндексировать мой сайт?
Страница должна быть доступна, возвращать HTML-код и содержать ссылки на внутренние страницы. Дальнейшее сканирование сайта происходит на основе ссылок, которые будут найдены на главной странице. Главная страница так же может содержать внутрихостовый серверный редирект, который будет обработан.

Какие виды URL сайтов понимает генератор?

• Международные домены (gTLD)
• Интернационализованные домены (IDN)
• Национальные домены (ccTLD)

• http://mydomain.com
• http://sub.mydomain.ru
• http://ваш-домен.рф

Какой лимит на кол-во индексируемых страниц в бесплатном генераторе?
В бесплатной версии генератора будет проиндексировано 500 страниц сайта.
Редиректы и "битые" ссылки не учитываются.

Будут ли учтены запреты индексации, прописанные в robots.txt?
Опционально. При отмеченной опции генератор учитывает инструкции Disallow общей секции User-agent: *
«Персональные» секции User-agent: Google или User-agent: Yandex и др. не учитываются.

Индексация скрытых страниц (Deep Web)
Deep Web («невидимая паутина» - рус.) – веб-страницы, неиндексируемые поисковыми системами по причине отсутствия на них гиперссылок с доступных страниц. Например – это страницы, генерируемые через интерфейсы HTML-форм или содержимое фреймов.
Если Вы хотите обнаружить и включить такие страницы в Sitemap, отметьте нужные опции:

• «индексировать формы» (сабмит происходит без заполнения);
• «индексировать фреймы» (содержимое <frameset> и <iframe>).

Что будет с ссылками, заключенными в блоки <noindex> или которые содержат атрибут nofollow?
При включенной опции учитываться не будут.
Кроме того, при необходимости, Вы всегда можете указать игнорирование только <noindex> или только nofollow независимо друг от друга.

Как сканер обрабатывает внутрихостовые серверные редиректы?
Обработка редиректов доступна, как в платной версии Sitemap Pro, так и при генерации Sitemap бесплатно.
Сканер распознает следующие стандартные коды состояния HTTP:

• 301 Moved Permanently (Перемещено окончательно)
• 302 Found (Временное перенаправление).
• 303 See Other (Смотрите другой ресурс).
• 307 (Временное перенаправление)

Обработка и удаление phpsessid (идентификаторы PHP-сессий)
В процессе индексации Ваш сайт может формировать идентификаторы сессий. Наш сканер обрабатывает и удаляет сессии при записи в Sitemap - ссылки будут занесены "чистыми", без идентификаторов phpsessid. Это позволяет избежать попадания в Sitemap дубликатов ссылок, когда робот получает одну и ту же страницу под различными URL.

Как происходит добавление изображений в Sitemap?
Генератор позволяет собрать и добавить в создаваемый файл Sitemap информацию об изображениях*, расположенных на страницах Вашего сайта. Для URL-секции каждой страницы, на которой будут обнаружены изображения, будет добавлена соответствующая информация, согласно протоколу Google Sitemap-Image.
Следующий пример показывает фрагмент записи в файле Sitemap для URL http://site.ru/sample.html, на котором имеется два изображения:

 <url>
   <loc>http://site.ru/sample.html</loc>
   <image:image>
     <image:loc>http://site.ru/logo.jpg</image:loc>
   </image:image>
   <image:image>
     <image:loc>http://site.ru/photo.jpg</image:loc>
   </image:image>
 </url>

Как работает фильтрация разнородного содержимого?
В отличие от бесплатной версии, где проверка доступности ссылок завершается одновременно с окончанием процесса индексации (до нахождения 500 URL), в платной версии генератора проверка продолжается до последней ссылки, даже если индексация завершена. Это гарантирует, что в Sitemap не попадут битые ссылки или редиректы.
Хотя это не противоречит протоколу Sitemaps и не является ошибкой, возможное наличие ссылок, например, на редирект может вызвать соответствующее замечание Google Webmaster Tools о наличии не прямых ссылок в карте сайта.

Какую информацию содержит отчет, создаваемый при обходе веб-сайта сканером?
В случае, если наш сканер столкнется с затруднениями или препятствиями в процессе индексации Вашего веб-сайта, для Вас будет сформирован подробный отчет. В отчете Вы сможете увидеть сгрупированные списки страниц с описанием ошибок, среди которых – «Страница не найдена», внутренние ошибки сервера и др.
Помимо ошибок, в отчете будут предоставлены сведения о всех обнаруженных серверных редиректах.
Формирование отчета доступно в платной версии генератора.

У меня очень большой сайт, что будет когда количество просканированных страниц перейдет максимально допустимый размер в 50 000 URL?
По умолчанию большой Сайтмап разбивается в соответствии с требованиями протокола Sitemap и поисковых систем – Вы получите несколько файлов Sitemap по 50 000 URL каждый.
Так же Вы можете выбрать удобное количество URL для одного файла самостоятельно.

Как использовать маски?
Маска – удобный инструмент в процессе создания карты сайта, который позволяет кроме URL страницы указать поисковым системам такие важные данные: приоритет определенных страниц относительно к другим страницам сайта и режим обновления.
Кроме того, маска позволяет исключать из индекса определенные страницы, которые не нужны в файле Sitemap.
Маски можно применять как к отдельным страницам (для этого нужно ввести URL страницы полностью), так и к группам страниц (для этого нужно ввести фрагмент URL, который соответствует всем подобным страницам. Например: «.php» или «/directory/files»).

Как работает функция «Получить на e-mail»?
Рекомендуем пользоваться этой опцией, в случае если у Вас большой сайт и его сканирование может занять продолжительное время. Данная опция позволяет Вам не дожидаться завершения работы сканера и получить результат работы генератора прямо на E-mail. Функция доступна как в платной (на указанный адрес Вы получаете готовый* файл Sitemap), так и в бесплатной версии генератора (Вы получаете ссылку на скачивание готового файла на нашем сервере).

* Если общий объем созданных файлов Sitemap превышает 10Мб - Вам будет отправлена ссылка на скачивание с нашего сервера.

Сколько времени созданные файлы Sitemaps доступны для скачивания по отправленным ссылкам?
Гарантированный срок хранения созданных файлов Sitemaps на нашем сервере составляет 2 дня.

Как проверить состояние индексации сайта?
У зарегистрированных пользователей информация о всех индексациях, а так же сайтах, которые в данный момент индексируються, доступна в персональном эккаунте, раздел «Сгенерированные карты».
Если Вы не регистрировались, то можете отслеживать состояние процесса индексации через форму экспресс-проверки, которая доступна в нижней части главной страницы mysitemapgenerator.com.

От чего зависит скорость индексации моего сайта?
Скоросоть индексации зависит от многих динамсически колебаемых факторов, как то скорость ответа Вашего сервера и размер загружаемых страниц. Именно по-этому вычеслить ее невозможно.
Кроме того, большое влияние на время обхода веб-сайта имеет структура перелинковки его внутренних страниц.

Могу ли я преждевременно остановить процесс индексации сайта?
Такая возможность есть у зарегистрированных пользователей. В персональном эккаунте зайдите в раздел «Сгенерированные карты». В таблице будет отображена информация обо всех Ваших созданных Sitemaps, а так же информация о веб-сайтах, которые индексируются в данный момент. Для того, чтобы прервать процесс индексации, не дожидаясь завершения обхода всего сайта, нажмите кнопку «Остановить». В этом случае Вы получите Sitemap, сгенерированный только на основе страниц, которые были проиндексированы на момент остановки.

Как сообщить поисковым системам о моем файле Sitemap?
Лучший способ сообщить о Вашей карте сайта поисковым системам - зарегистрировать сайт в сервисах вебмастеров, которые предоставляют поисковые системы (например: webmaster.yandex.ru у Яндекс или www.google.com/webmasters у Google). После регистрации Вы сможете отправить файлы Sitemap из своего экаунта.
Другой универсальный способ - в файле robots.txt допишите такую строку:

Выбор оптимальной скорости индексации и уровня нагрузки на Ваш веб-сервер
В опциях сканера доступны три уровня скорости индексации, создающие соответствующие уровни нагрузки на индексируемый сервер:

• Максимум - данный уровень нагрузки используется сканером по умолчанию. Если у Вас качественный платный хостинг, скорее всего, Вам незачем беспокоится о создаваемой нагрузке в процессе индексации Вашего сайта. Рекомендуем использовать именно это значение нагрузки, которое позволяет сканеру проиндексировать Ваш сайт на максимальной скорости.
• Средняя – выберите данный уровень нагрузки, если Ваш сервер требует щадящего режима индексации.
• Минимум – уровень ограничения нагрузки, который позволяет проиндексировать Ваш сайт, создавая минимальную нагрузку на сервер. Данный уровень нагрузки рекомендуем использовать для индексации сайтов, расположенных на бесплатном хостинге или для сайтов, требующих ограничения потоков входящего трафика.
  Рекомендуем выбирать данный режим при индексации сайтов, расположенных на хостинг-серверах UCOZ.
  Однако обратите внимание на то, что данный уровень значительно замедляет процесс индексации Вашего сайта.

Индексация сайта глазами поискового робота
Вы можете выбрать один из вариантов идентификации нашего Веб-краулера* (поискового робота), производящего индексацию Вашего сайта:

• Стандартный браузер – данный способ используется Краулером по умолчанию и является рекомендуемым. Ваш сайт будет загружаться в том же виде, что и обычными посетителям
• YandexBot – данный способ позволяет индексировать Ваш сайт «глазами поискового робота» Яндекс. Наш Краулер будет подписан как основной индексирующий робот Яндекса (YandexBot/3.0)
• Googlebot – данный способ позволяет индексировать Ваш сайт «глазами поискового робота» Google. Краулер будет подписан как робот веб-поиска Google (Googlebot/2.1)
• mysitemapgenerator.com – используйте прямой способ идентификации нашего робота если Вам требуются особые настройки контроля и управления доступом к веб-сайту

• При выборе опций «YandexBot» или «Googlebot» учитываются только директивы, предназначенные для конкретного робота (User-agent: Yandex или User-agent: Googlebot – соответственно), общие директивы User-agent: * не используются.
• Если Вы используете опции «Стандартный браузер» или «mysitemapgenerator.com» - сканер будет учитывать только инструкции общей секции User-agent: * «Персональные» секции User-agent: Yandex или User-agent: Googlebot и др. не учитываются.