Что такое Robots.txt

#Технический аудит #Индексация #продвижение
Павел Ершов

Павел Ершов

вебмастер, в поиске с 2018 года
Обновлено 10 сентября 2015 2 мин чтения
Поделиться
Что такое Robots.txt
Иллюстрация к материалу рубрики «Технический аудит»

Robots.txt — это текстовый файл в стандартном формате «.txt», который находится в корневой директории сайта.

robots.txt

Что такое Файл Robots.txt?

Поисковые машины («роботы», англ. crawler) изначально обращаются к файлу robots.txt. В нем хранится информация о страницах, которые необходимо скрыть от индексации роботом или наоборот обязательно учитывать при анализе документов сайта. Таким образом robots.txt — это инструкция для поискового робота по количеству страниц сайта, которые мы хотим видеть в выдаче и использовать в ранжировании (например страницы отвечающие за коммерческие факторы) и страниц, которые являются исключительно административными, техническими, дублями и т.д. и требуют скрытия.

Индексация и использование Robots.txt

Файл robots.txt начинает индексироваться в первую очередь, т.к. он по сути и задает дальнейший алгоритм следования робота по сайту, и именно для этого он и используется.

Директива HOST в Robots.txt

Директива HOST (команда) вставляется на последней строке в завершении файла и обозначает главное зеркало сайта, к которому необходимо обращаться поисковому роботу. Также в конце файла robots.txt размещается Sitemap (карта сайта).

Закрыть элементы сайта в Robots.txt

Для того, чтобы закрыть определенную страницу, документ или их часть, необходимо прописать в файле robots.txt директиву «Disallow» в формате:

Disallow: /

В таком формате Вы запретите к индексированию весь сайт. В случае необходимости закрыть отдельную страницу, после символа «/» необходимо указать требуемый Url-адрес.

Открыть элементы сайта в Robots.txt

Для того, чтобы открыть определенную страницу, документ или их часть, необходимо прописать в файле robots.txt директиву «Allow» в формате:

Allow: /

В таком формате Вы откроете к индексированию все страницы сайта. В случае необходимости открыть только отдельную страницу, после символа «/» необходимо указать требуемый Url-адрес.

Создать Robots.txt

  1. В стандартном текстовом редакторе (например «Блокнот» на OS Microsoft Windows) создайте файл с именем «robots.txt» и заполните его в соответствии с Вашими требованиями.
  2. Проверьте созданный файл на корректность в официальном сервисе Яндекс.Вебмастера.
  3. Загрузите готовый файл «robots.txt» в корневую директорию сайта.

Настроить файл Robots.txt

Для того, чтобы корректно настроить файл «robots.txt» отдельно для каждой поисковой системы, необходимо задать следующие директивы:

User-agent: Yandex
User-agent: Googlebot

И укажите для каждой свои адреса или части документа на сайте.

Проверить Robots.txt

Для того, чтобы проверить корректность и работоспособность файла robots.txt используйте соответствующий раздел системы Яндекс.

Наши рекомендации

Внимательно изучите свой файл «robots.txt» т.к. ошибки в нем могут существенно ухудшить присутствие сайта в поиске или совсем исключить его. Если Вы новичок и не готовы вникать во все тонкости продвижения сайтов, то можете просто открыть роботам поисковых систем все страницы своего сайта с помощью данного шаблона:

User-agent: *
Allow: /
Host: https://вашсайт.ру
Sitemap: https://вашсайт.ру/sitemap.xml

*Вместо «вашсайт.ру» - вставьте адрес вашего сайта.

Для ускорения индексации файла sitemap воспользуйтесь приоритетным переобходом в Яндекс.Вебмастере.

Рабочее место специалиста агентства во время разбора проекта
Разбор проекта: сверка данных Метрики с выгрузкой позиций.

Если по материалу остались вопросы по вашему проекту — напишите нам, разберём конкретную ситуацию. Другие материалы этой рубрики собраны на странице «Технический аудит».

Узнайте стоимость продвижения

Пришлём расчёт по вашей тематике и покажем, какая модель оплаты подойдёт вашему сайту. Обычно отвечаем в течение рабочего дня.