Александр Немировнезависимый разработчик

Готовый интерфейс обмена или сбор данных: что выбрать

Когда проекту нужны внешние данные — цены, каталог, справочник, — есть два пути: получить их через предоставленный поставщиком интерфейс обмена или собирать со страниц сайта.

Первый путь почти всегда предпочтительнее, но доступен не всегда. Разберу, как выбирать.

Официальный обмен

Сильные стороны. Данные приходят в структурированном виде, без разбора разметки. Поставщик предупреждает об изменениях заранее. Есть документация и понятные ограничения. Правовая сторона определена условиями использования.

Слабые стороны. Доступен не всем и не всегда бесплатно. Объём данных бывает урезан по сравнению с тем, что видно на сайте. Ограничения по количеству обращений могут не подходить под задачу.

Когда использовать. Всегда, когда он есть и покрывает потребность. Это не обсуждается: надёжность несопоставима.

Сбор со страниц

Сильные стороны. Доступен для любого открытого источника. Даёт ровно то, что видит посетитель, — без урезания. Не требует договорённостей.

Слабые стороны. Ломается при изменении разметки сайта, а происходит это без предупреждения. Требует постоянного сопровождения. Нагружает чужой сервер, поэтому нуждается в разумных ограничениях с вашей стороны.

Когда использовать. Когда официального обмена нет, а данные общедоступны и нужны регулярно.

Промежуточные варианты

Между этими крайностями есть решения, о которых часто забывают.

Выгрузки для торговых площадок. Многие магазины публикуют файл с каталогом для сравнительных сервисов. Это фактически готовый структурированный источник, доступный открыто.

Внутренние интерфейсы сайта. Современные сайты подгружают данные отдельными запросами, и эти данные приходят в структурированном виде. Формально это не публичный интерфейс, но и не обход защиты: используется то же, чем пользуется браузер посетителя.

Партнёрские программы. Если вы отправляете поставщику покупателей, доступ к данным часто предоставляется официально по запросу. Этот вариант почему-то пробуют последним, хотя начинать стоит с него.

Как выбирать

Порядок действий, который экономит время: сначала спросить поставщика об официальном доступе, затем поискать открытые выгрузки, затем посмотреть, как данные подгружаются на самом сайте, и только потом разбирать разметку страниц.

В моей практике первые три шага закрывают большинство задач, а самый трудоёмкий путь остаётся для меньшинства источников.

О стоимости владения

Разработка сбора со страниц обходится дешевле подключения платного интерфейса, но сопровождение — дороже. На горизонте года платный официальный доступ часто оказывается выгоднее, и это стоит считать заранее, а не после третьей поломки.

Подробнее — сбор данных и агрегаторы, смежная тема — что законно при сборе данных.