Цель:
Автоматический и регулярный сбор данных о закупках с [zakupki.gov.ru], сохранение в базу данных PostgreSQL, загрузка связанных документов в хранилище S3.
Функциональность:
Источники данных:
Разделы: 44-ФЗ, 223-ФЗ, 615-ПП
Поиск:
https://zakupki.gov.ru/epz/order/extendedsearch/results.html
Парсятся поля:
Номер закупки
Дата размещения и окончания подачи
Способ закупки
Название и описание
Начальная цена
Статус
Заказчик (название, ИНН, КПП)
Победитель, сумма контракта (если есть)
Ссылки на документы и протоколы
Скачивание документов:
Все связанные файлы (документы закупки, протоколы, контракты)
Загружаются в S3 по структуре: zakupki/{year}/{zakupka_id}/filename.*
Технологии:
Язык: Python
Библиотеки: requests, BeautifulSoup, Selenium (если нужно), boto3
Хранилище:
PostgreSQL — для структурированных данных
S3 — для документов
*** Если предложите настроить какой то один из готовых парсеров - тоже ок.
Обновление:
Регулярность: каждый час / раз в день (по cron)
Фильтрация: по дате публикации / изменения
Повторное обновление при изменении статуса закупки
Логирование действий и ошибок
