Цель проекта - разработка многопоточного парсера интернет-магазина Lenta, который будет собирать...
Показать полностью Цель проекта - разработка многопоточного парсера интернет-магазина Lenta, который будет собирать данные обо всех категориях товаров, сохранять их в базу данных и отправлять уведомления в Telegram-чат
Функциональные требования
- Парсинг данных
- Получение списка категорий товаров
- Сбор информации о товарах: наименование, цена, описание, характеристики, наличие, изображения, остатки
- Учет ограничений магазина, управление частотой запросов и обход блокировок
- Обработка и хранение данных
- Очистка и нормализация перед сохранением
- Сохранение в реляционную базу данных PostgreSQL/MySQL
- Обновление данных при повторном парсинге
- Многопоточность и асинхронность
- Использование Task Parallel Library (TPL) для параллельного выполнения
- Контроль количества запросов во избежание блокировки
- Гибкая настройка потоков
- Логирование и уведомления
- Запись всех процессов в лог-файл
- Отправка ошибок и критических событий в Telegram
- Оповещение о завершении парсинга
Стек технологий
- Язык программирования C#
- Фреймворки .NET 7/8, HttpClient, Task Parallel Library (TPL)
- База данных PostgreSQL/MySQL
- Логирование Serilog
- Уведомления через Telegram API
Скрыть