Правила формирования карты сайта для больших каталогов и что делать, если раздел не индексируется месяцами.
Что должно быть в карте сайта
Только адреса, отдающие код 200, открытые к индексации и каноничные сами по себе. Любая другая страница в карте снижает доверие робота к файлу целиком.
- Никаких редиректов и удалённых страниц
- Никаких адресов, закрытых в robots.txt
- Дата последнего изменения — настоящая, а не дата генерации файла
- До 50 000 адресов в одном файле, дальше — индекс карт
Большие каталоги
Для магазинов удобно разбивать карту по типам страниц: категории, открытые фильтры, карточки, информационные материалы. Так в Вебмастере видно, какая группа индексируется хуже остальных.
Раздел не индексируется месяцами
Порядок разбора: проверяем ответ сервера и robots.txt, потом наличие внутренних ссылок на раздел, потом уникальность содержимого. Чаще всего проблема во втором пункте — страницы есть только в карте сайта, но ни с одной страницы на них не ведёт ссылка.
Отдельно смотрим отчёт «Страницы в поиске» с причинами исключения: он прямо называет, что робот решил про конкретный адрес.
Как ускорить обход
Помогают три вещи: переобход по списку в Вебмастере для приоритетных адресов, внутренние ссылки с часто обходимых страниц и снижение доли мусорных адресов, на которые робот тратит лимит.
Если по материалу остались вопросы по вашему проекту — напишите нам, разберём конкретную ситуацию. Другие материалы этой рубрики собраны на странице «Технический аудит».