Частые вопросы по работе генератора Sitemap

Список Частых Вопросов и Ответов по работе генератора (Sitemap FAQ)

Сравнение сервисов «Sitemap Pro» и «Обновляемый Sitemap»

Содержание справки

• Какие виды URL сайтов понимает генератор
• Какой лимит на кол-во индексируемых страниц в бесплатном генераторе
• Будут ли учтены запреты индексации, прописанные в robots.txt
• Индексация скрытых страниц (Deep Web)
• Как сканер обрабатывает внутрихостовые серверные редиректы
• Как происходит добавление изображений в Sitemap
• Как работает фильтрация разнородного содержимого
• Какую информацию содержит отчет, создаваемый при обходе веб-сайта сканером
• У меня очень большой сайт, что будет когда количество просканированных страниц перейдет максимально допустимый размер в 50 000 URL
• Как использовать маски
• Как работает функция «Получить на e-mail»
• Как сообщить поисковым системам о моем файле Sitemap

Каким требованиям должна отвечать главная страница домена, чтобы сканер мог проиндексировать мой сайт?
Страница должна быть доступна, возвращать HTML-код и содержать ссылки на внутренние страницы. Дальнейшее сканирование сайта происходит на основе ссылок, которые будут найдены на главной странице.

Какие виды URL сайтов понимает генератор?
Генератор понимает следующие формы URL веб-сайтов:

• http://mydomain.com
• http://sub.mydomain.ru

Какой лимит на кол-во индексируемых страниц в бесплатном генераторе?
В бесплатной версии генератора будет проиндексировано 500 страниц сайта.
Редиректы и "битые" ссылки не учитываются.

Будут ли учтены запреты индексации, прописанные в robots.txt?
Опционально. При отмеченной опции генератор учитывает инструкции Disallow общей секции User-agent: *
«Персональные» секции User-agent: Google или User-agent: Yandex и др. не учитываются.

Индексация скрытых страниц (Deep Web)
Deep Web («невидимая паутина» - рус.) – веб-страницы, неиндексируемые поисковыми системами по причине отсутствия на них гиперссылок с доступных страниц. Например – это страницы, генерируемые через интерфейсы HTML-форм или содержимое фреймов.
Если Вы хотите обнаружить и включить такие страницы в Sitemap, отметьте нужные опции:

• «индексировать формы» (сабмит происходит без заполнения);
• «индексировать фреймы» (содержимое <frameset> и <iframe>).

Что будет с ссылками, заключенными в блоки <noindex> или которые содержат атрибут nofollow?
При включенной опции учитываться не будут.
Кроме того, при необходимости, Вы всегда можете указать игнорирование только <noindex> или только nofollow независимо друг от друга.

Как сканер обрабатывает внутрихостовые серверные редиректы?
Обработка редиректов доступна только в платной версии Sitemap Pro.
Сканер распознает следующие стандартные коды состояния HTTP:

• 301 Moved Permanently (Перемещено окончательно)
• 302 Found (Временное перенаправление).
• 303 See Other (Смотрите другой ресурс).
• 307 (Временное перенаправление)

Как происходит добавление изображений в Sitemap?
Генератор позволяет собрать и добавить в создаваемый файл Sitemap информацию об изображениях*, расположенных на страницах Вашего сайта. Для URL-секции каждой страницы, на которой будут обнаружены изображения, будет добавлена соответствующая информация, согласно протоколу Google Sitemap-Image.
Следующий пример показывает фрагмент записи в файле Sitemap для URL http://site.ru/sample.html, на котором имеется два изображения:

 <url>
   <loc>http://site.ru/sample.html</loc>
   <image:image>
     <image:loc>http://site.ru/logo.jpg</image:loc>
   </image:image>
   <image:image>
     <image:loc>http://site.ru/photo.jpg</image:loc>
   </image:image>
 </url>

Как работает фильтрация разнородного содержимого?
В отличие от бесплатной версии, где проверка доступности ссылок завершается одновременно с окончанием процесса индексации (до нахождения 500 URL), в платной версии генератора проверка продолжается до последней ссылки, даже если индексация завершена. Это гарантирует, что в Sitemap не попадут битые ссылки или редиректы.
Хотя это не противоречит протоколу Sitemaps и не является ошибкой, возможное наличие ссылок, например, на редирект может вызвать соответствующее замечание Google Webmaster Tools о наличии не прямых ссылок в карте сайта.

Какую информацию содержит отчет, создаваемый при обходе веб-сайта сканером?
В случае, если наш сканер столкнется с затруднениями или препятствиями в процессе индексации Вашего веб-сайта, для Вас будет сформирован подробный отчет. В отчете Вы сможете увидеть сгрупированные списки страниц с описанием ошибок, среди которых – «Страница не найдена», внутренние ошибки сервера и др.
Помимо ошибок, в отчете будут предоставлены сведения о всех обнаруженных серверных редиректах.
Формирование отчета доступно в платной версии генератора.

У меня очень большой сайт, что будет когда количество просканированных страниц перейдет максимально допустимый размер в 50 000 URL?
По умолчанию большой Сайтмап разбивается в соответствии с требованиями протокола Sitemap и поисковых систем – Вы получите несколько файлов Sitemap по 50 000 URL каждый.
Так же Вы можете выбрать удобное количество URL для одного файла самостоятельно.

Как использовать маски?
Маска – удобный инструмент в процессе создания карты сайта, который позволяет кроме URL страницы указать поисковым системам такие важные данные: приоритет определенных страниц относительно к другим страницам сайта и режим обновления.
Кроме того, маска позволяет исключать из индекса определенные страницы, которые не нужны в файле Sitemap.
Маски можно применять как к отдельным страницам (для этого нужно ввести URL страницы полностью), так и к группам страниц (для этого нужно ввести фрагмент URL, который соответствует всем подобным страницам. Например: «.php» или «/directory/files»).

Как работает функция «Получить на e-mail»?
Рекомендуем пользоваться этой опцией, в случае если у Вас большой сайт и его сканирование может занять продолжительное время. Данная опция позволяет Вам не дожидаться завершения работы сканера и получить результат работы генератора прямо на E-mail. Функция доступна как в платной (на указанный адрес Вы получаете готовый* файл Sitemap), так и в бесплатной версии генератора (Вы получаете ссылку на скачивание готового файла на нашем сервере).

* Если общий объем созданных файлов Sitemap превышает 10Мб - Вам будет отправлена ссылка на скачивание с нашего сервера.

Как сообщить поисковым системам о моем файле Sitemap?
Лучший способ сообщить о Вашей карте сайта поисковым системам - зарегистрировать сайт в сервисах вебмастеров, которые предоставляют поисковые системы (например: webmaster.yandex.ru у Яндекс или www.google.com/webmasters у Google). После регистрации Вы сможете отправить файлы Sitemap из своего экаунта.
Другой универсальный способ - в файле robots.txt допишите такую строку: