Файлы robots.txt и и sitemap.xml обязательно должен быть на вашем сайте.
Для чего нужен robots.txt?
Это файл находится в корневой директории сайта, в котором прописаны специальные указания (директивы) для роботов-поисковиков. Именно к нему в первую очередь обращается робот при заходе на веб-ресурс. Данный файл подсказывает поисковым системам, по каким подкатегориям им индексировать сайт, по каким не нужно. Это позволит избавиться от дублей страниц.
Для чего нужен sitemap.xml?
Карта сайта – это своеобразный каталог, состоящий из перечня ссылок, ведущих на все разделы и страницы сайта. Файл Sitemap помогает поисковым системам более быстро и качественно индексировать ваш сайт.
Профессионально настрою robots.txt и и sitemap.xml для разных движков сайта.
Пример созданных robots.txt и и sitemap.xml для сайта osnovnoy-element.ru находится в прикрепленном файле.