Требуется консольное приложение на C# .NET для парсинга данных о товарах с категорийных страниц e-commerce сайта. Приложение должно принимать URL категорий в качестве входных данных и извлекать ключевую информацию о товарах (прямо с каталожных страниц, без перехода на страницы товаров), включая:
Бренд
Категорию
Цену
Доступные размеры
Ссылку на товар
Рейтинг
Количество отзывов
Ссылки на изображения
Сохранение: в CSV-файл.
Объем: 100k - 1 млн товаров (суммарно по всем ссылкам).
Особенности:
Использование прокси с ротацией. Настройка прокси через appsettings.json.
Каждому прокси должен соответствовать свой файл cookies.
Кеширование запросов в файлы (ключ кеша – текущий URL).
Вопрос пагинации: возможно, URL следующей страницы можно сгенерировать, исходя из количества товаров на странице и общего числа страниц.
Если у вас есть опыт в веб-скрапинге на C# или Node.js и вы можете реализовать это эффективно, отправьте заявку! Укажите в отклике примеры ваших проектов по веб-скрапингу.
