Настройка и исправление robots.txt для drupal

Проверю и исправлю robots. txt на Вашем сайте drupal. В нем будут следующие правила:

1. Разрешаем все CSS, JS, Images.
2. Разрешаем индексацию минифицированных файлов скриптов и изображений-стилей в папке files.
3. Запрещаем директории.
4. Запрещаем файлы.
5. Запрещаем пути (чистые URLs).
6. Пагинация и дубли страниц.
7. Очищаем UTM метки.

Что входит в услугу:

1. Директивы Yandex, Google, Mail и для других роботов отдельная директива.
2. Правила индексации с учетом структуры сайта.
3. Disallow.
4. Allow.
5. Sitemap URL.
6. Адаптация под стандарты 2024 года.