Создам или перенастрою robots.txt и sitemap.xml

Создам или настрою robots.txt и sitemap.xml

Все поисковые роботы при заходе на сайт в первую очередь ищут файл robots.txt. Если вы – вебмастер, вы должны знать назначение и синтаксис robots.txt.

Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, указывать на правильное «зеркалирование» домена, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и т.д.

Но, что делать, если нужно сообщить поисковой системе, наоборот, какие страницы сайта индексировать в первую очередь, а какие страницы нужно индексировать второстепенно?

Сделать это с помощью файла Robots.txt не представляется возможным.

Специально для решения этой задачи была придумана так называемая XML Sitemap (карта сайта).