Необходимо
Настроить файл sitemap
•Обновить файл robot.txt
составить список страниц и удалить их
для сайта kvazar-KZ.com
1. файл sitemap формируется через модуль "Карта сайта для Yandex и Google" (верхняя панель Модули - Управление модулями). Карта должна содержать только актуальные ссылки, поэтому его необходимо регулярно обновлять.
2. файл robots нужно сформировать самостоятельно, в зависимости какие ссылки закрыть/открыть. Редактируется в блоке, указанном на присланном скрине.
Как правильно должен выглядеть порядок User-agent в robots.txt:
User-Agent: Yandex
User-Agent: Googlebot
User-agent: *
Т.е. должны присутствовать отдельные блоки директив для основных поисковых роботов (Яндекс и Google) и отдельный блок User-agent*.
Например, часть роботса
User-Agent: Yandex
Disallow: *&s=
Disallow: */embed
Disallow: */feed
Disallow: */rss
Disallow: */trackback
Disallow: */wlwmanifest.xml
Disallow: */xmlrpc.php
Disallow: *?s=
Disallow: *openstat=
