Пользователей онлайн: 200
Последний заказ: 1 минута назад
Кворк.ру - магазин фриланс услуг по фиксированной цене

Прежде чем «скормить» новый сайт поисковым системам, нужна настройка robots.txt. Этот файл создают на основе рекомендаций популярных поисковиков и опыта в поисковом продвижении ресурсов. Вариантов составления этого файла множество, но каждый из них содержит несколько основных, обязательных директив.


Файл желательно разделить на три блока, в которых отдельно будут прописаны строки, предназначенные для Яндекса, Google и других поисковых систем. В robots.txt рекомендуется прописывать полный путь к расположению карты сайта. Этот параметр разрешается указывать где угодно.


Для поисковика Яндекс требуется прописать строку Host, в которой вебмастер должен выделить главное зеркало ресурса. Благодаря этой директиве робот определит, какое зеркало считать основным. Для поисковой системы Google этот параметр прописывать не требуется, но необходимо указать строки, разрешающие индексировать скрипты и CSS таблицы. Это даст возможность роботу просканировать фалы шаблонов ресурса.