Что такое Robots.txt

Robots.txt — это текстовый файл в стандартном формате «.txt», который находится в корневой директории сайта.


robots.txt



Что такое Файл Robots.txt?


Поисковые машины («робот», англ. crawler) изначально обращаются к файлу robots.txt. В нем хранится информация о страницах, которые необходимо скрыть от индексации роботом или наоборот обязательно учитывать при анализе документов сайта. Таким образом robots.txt — это инструкция для поискового робота по количеству страниц сайта, которые мы хотим видеть в выдаче и использовать в ранжировании (например страницы отвечающие за коммерческие факторы) и страниц, которые являются исключительно административными, техническими, дублями и т.д. и требуют скрытия.


Индексация и использование Robots.txt


Файл robots.txt начинает индексироваться в первую очередь, т.к. он по сути и задает дальнейший алгоритм следования робота по сайту, и именно для этого он и используется.


Директива HOST в Robots.txt


Директива HOST (команда) вставляется на последней строке в завершении файла и обозначает главное зеркало сайта, к которому необходимо обращаться поисковому роботу. Также в конце файла robots.txt размещается Sitemap (карта сайта).


Закрыть элементы сайта в Robots.txt


Для того, чтобы закрыть определенную страницу, документ или их часть, необходимо прописать в файле robots.txt директиву «Disallow» в формате: 


Disallow: /


В таком формате Вы запретите к идексированию весь сайт. В случае необходимости закрыть отдельную страницу, после символа «/» необходимо указать требуемый Url-адрес.


Открыть элементы сайта в Robots.txt


Для того, чтобы открыть определенную страницу, документ или их часть, необходимо прописать в файле robots.txt директиву «Allow» в формате: 


Allow: /


В таком формате Вы откроете к идексированию все страницы сайта. В случае необходимости открыть только отдельную страницу, после символа «/» необходимо указать требуемый Url-адрес.


Создать Robots.txt


  1. В стандартном текстовом редакторе (например «Блокнот» на OS Microsoft Windows) создайте файл с именем «robots.txt» и заполните его в соответствии с Вашими требованиями.
  2. Проверьте созданный файл на корректность в официальном сервисе «Яндекс.Вебмастер».
  3. Загрузите готовый файл «robots.txt» в корневую директорию сайта.


Настроить файл Robots.txt


Для того, чтобы корректно настроить файл «robots.txt» отдельно для каждой поисковой системы, необходимо задать следующие директивы:


User-agent: Yandex

User-agent: Googlebot


И укажите для каждой свои адреса или части документа на сайте.


Проверить Robots.txt


Для того, чтобы проверить корректность и работоспособность файла robots.txt используйте соответствующий раздел Вебмастера системы Яндекс.


Наши рекомендации


Внимательно изучите свой файл «robot.txt» т.к. ошибки в нем могут существенно ухудшить присутствие сайта в поиске или совсем исключить его. Если Вы новичок и не готовы вникать во все тонкости продвижения сайтов, то можете просто открыть роботам поисковых систем все страницы своего сайта с помощью данного шаблона:


User-agent: *

Allow: /


Host: https://вашсайт.ру

Sitemap: https://вашсайт.ру/sitemap.xml


*Вместо «вашсайт.ру» - вставьте адрес вашего сайта.


Для ускорения индексации файла sitemap воспользуйтесь приоритетным переобходом

Нет комментариев
Добавить комментарий