Создать правильный robot txt

Требуется создать робот для сайта на cs-cart. Обязательно поставить запрет на всё ненужное, что превышает нагрузку CPU , т.к. мешает работе сайта. Нужен профессиональный подход к решению этой задачи