Пользователей онлайн: 467
Последний заказ: 2 минуты назад
Кворк.ру - магазин фриланс услуг по фиксированной цене

Файл robots.txt содержит в себе информацию о настройках веб сайта, сведения о тех страничках, которые должны поисковыми системами индексироваться, а также тех папочках и веб-страницах, которые должны быть исключены из поиска по различным причинам. Поэтому этап создания robots.txt является важным с точки зрения SEO-оптимизации и настройки веб-сайта.


Для того чтобы создать robots.txt грамотно, необходимо знать его содержание. Первым и, пожалуй, самым главным моментом, который прописывается в данном файле, является строчка вида «User-Agent: *» - она рассказывает о том, что всё содержимое сайта, в том числе текстовая и графическая информация, должны полностью индексироваться поисковыми механизмами. При необходимости закрыть от индексации какую-то рубрику прописывается точный адрес после «Disallow:». Если оставить данный атрибут пустым, без указания запрещённых к индексации страниц, то весь контент будет учитываться поисковыми роботами. Рекомендуется закрывать лишь те рубрики, которые дублируются или не относятся к содержанию веб-проекта, являются системными.


В файле robots.txt важно прописывать такой параметр, как «Host:» - указывает на главное зеркало: будет оно с www или без. Немаловажным является также указание пути к карте сайта «Sitemap:», способствующей быстрой индексации контента.