Создам или настрою robots.txt и sitemap.xml
Все поисковые роботы при заходе на сайт в первую очередь ищут файл robots.txt. Если вы – вебмастер, вы должны знать назначение и синтаксис robots.txt.
Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и т. д.
Но, что делать, если нужно сообщить поисковой системе, наоборот, какие страницы сайта индексировать в первую очередь, а какие страницы нужно индексировать второстепенно?
Сделать это с помощью файла Robots.txt не представляется возможным.
Специально для решения этой задачи была придумана так называемая XML Sitemap (карта сайта).
Внимательный и, главное, быстрый как Флеш исполнитель
спасибо за оперативную работу.
Спасибо за отзыв.