Данные
Сбор данных и агрегаторы
Разрабатываю системы, которые ежедневно собирают данные из открытых источников, сопоставляют однотипные позиции и передают готовый результат сайту или вашей учётной системе.
Сбор данных обычно заказывают как разовую выгрузку. Через месяц данные теряют актуальность, и работу приходится повторять.
Работающий сбор — это система: расписание, повторные попытки, сопоставление позиций из разных источников, хранение истории и оповещение при остановке. Именно её я и разрабатываю.
Виды данных
- Товары и цены интернет-магазинов
- Карточки организаций и отзывы
- Тарифы и ставки компаний, меняющиеся ежедневно
- Новости и события из открытых лент
- Справочники: характеристики, совместимость, соответствия артикулов
Обработка собранного
- Сопоставление одинаковых позиций у разных поставщиков
- История значений для анализа динамики
- Обработка языковыми моделями там, где требуется смысл: перевод, классификация, описания
- Витрина: сайт-агрегатор с карточками, фильтрами и сравнением
- Передача данных в вашу систему через программный интерфейс или файлы
Надёжность и правовая сторона
Собираю только общедоступные данные, с разумной нагрузкой на источник и без доступа к закрытым разделам. Система устроена так, чтобы переживать изменения на стороне источника: при сбое приходит оповещение, а не молчание с пустыми значениями.
Подходит, если
- Требуется постоянно отслеживать цены или предложения рынка
- Есть замысел агрегатора, а нужные данные нигде не публикуются в готовом виде
- Сбор уже настроен, но регулярно останавливается незамеченным
Не подходит, если
- Требуются персональные данные или доступ к закрытым разделам
- Нужна разовая выгрузка: такую задачу дешевле решить через биржу исполнителей
Как это выглядело
Живые проекты, а не описание услуги
Частые вопросы
- Как долго система работает без вмешательства?
- Источники меняются постоянно, поэтому сбор без наблюдения рано или поздно останавливается. Я закладываю оповещения о сбоях и беру систему на сопровождение — иначе её ценность быстро теряется.
- Что если источник ограничивает доступ?
- Как правило, решается изменением расписания и режима обращения. Иногда данные приходится брать из другого источника. Если задача не решается, скажу об этом прямо.
- Где хранятся данные?
- Там, где удобно вам: на вашем сервере, в облачном хранилище или в файлах. Данные принадлежат вам, доступ передаётся полностью.
Смотрите также
Подбор формата
Не хочется писать? Ответьте на четыре вопроса
Минута на ответы. Я посмотрю, что у вас за задача, и напишу, берусь ли и с чего бы начал.
- Без звонков и менеджеров
- Ответ по существу, а не прайс
- Данные никуда не передаются
Что у вас сейчас?
Выберите самое близкое.
Расскажите, что у вас происходит
Два-три абзаца своими словами и ссылка на сайт. Отвечу честно: интересно мне это или нет и с чего бы я начал.