Александр Немировнезависимый разработчик

Данные

Сбор данных и агрегаторы

Разрабатываю системы, которые ежедневно собирают данные из открытых источников, сопоставляют однотипные позиции и передают готовый результат сайту или вашей учётной системе.

Сбор данных обычно заказывают как разовую выгрузку. Через месяц данные теряют актуальность, и работу приходится повторять.

Работающий сбор — это система: расписание, повторные попытки, сопоставление позиций из разных источников, хранение истории и оповещение при остановке. Именно её я и разрабатываю.

Виды данных

  • Товары и цены интернет-магазинов
  • Карточки организаций и отзывы
  • Тарифы и ставки компаний, меняющиеся ежедневно
  • Новости и события из открытых лент
  • Справочники: характеристики, совместимость, соответствия артикулов

Обработка собранного

  • Сопоставление одинаковых позиций у разных поставщиков
  • История значений для анализа динамики
  • Обработка языковыми моделями там, где требуется смысл: перевод, классификация, описания
  • Витрина: сайт-агрегатор с карточками, фильтрами и сравнением
  • Передача данных в вашу систему через программный интерфейс или файлы

Надёжность и правовая сторона

Собираю только общедоступные данные, с разумной нагрузкой на источник и без доступа к закрытым разделам. Система устроена так, чтобы переживать изменения на стороне источника: при сбое приходит оповещение, а не молчание с пустыми значениями.

Подходит, если

  • Требуется постоянно отслеживать цены или предложения рынка
  • Есть замысел агрегатора, а нужные данные нигде не публикуются в готовом виде
  • Сбор уже настроен, но регулярно останавливается незамеченным

Не подходит, если

  • Требуются персональные данные или доступ к закрытым разделам
  • Нужна разовая выгрузка: такую задачу дешевле решить через биржу исполнителей

Частые вопросы

Как долго система работает без вмешательства?
Источники меняются постоянно, поэтому сбор без наблюдения рано или поздно останавливается. Я закладываю оповещения о сбоях и беру систему на сопровождение — иначе её ценность быстро теряется.
Что если источник ограничивает доступ?
Как правило, решается изменением расписания и режима обращения. Иногда данные приходится брать из другого источника. Если задача не решается, скажу об этом прямо.
Где хранятся данные?
Там, где удобно вам: на вашем сервере, в облачном хранилище или в файлах. Данные принадлежат вам, доступ передаётся полностью.

Смотрите также

Подбор формата

Не хочется писать? Ответьте на четыре вопроса

Минута на ответы. Я посмотрю, что у вас за задача, и напишу, берусь ли и с чего бы начал.

  • Без звонков и менеджеров
  • Ответ по существу, а не прайс
  • Данные никуда не передаются
Шаг 1 из 5

Что у вас сейчас?

Выберите самое близкое.

Расскажите, что у вас происходит

Два-три абзаца своими словами и ссылка на сайт. Отвечу честно: интересно мне это или нет и с чего бы я начал.