В рамках данного Kwork'а я досконально настрою ваш robots.txt.
За что отвечают данный файл?
robots.txt - текстовый файл в формате .txt, который размещается в корневой папке сайта и дает инструкции поисковым роботам в формате разрешить/запретить индексирование той или иной страницы/раздела сайта.
Что именно будет сделано в рамках Kwork'a?
- Закрыты все дубли и технические страницы
- Удалена, нерабочая на данный момент, директива «host»
- Указана рабочая карта(ы) сайта
- Закрыты страницы отдающие код 404 (страница не найдена)
- Проведена проверка на валидность (отсутствие ошибок)
+ БОНУС!
Бесплатно загружу robots.txt на ваш сайт (потребуется FTP доступ).
Также я могу просто предоставить файл robots.txt, которые Вы загрузите самостоятельно в корневую директорию сайта.
Какой результат в конечном итоге Вы получите?
– Будет проверена возможность индексирования всех важных страниц сайта
– Вырастет скорость индексации сайта
– Из индекса будут убраны все дубли и технические страницы