Готовый интерфейс обмена или сбор данных: что выбрать
Когда проекту нужны внешние данные — цены, каталог, справочник, — есть два пути: получить их через предоставленный поставщиком интерфейс обмена или собирать со страниц сайта.
Первый путь почти всегда предпочтительнее, но доступен не всегда. Разберу, как выбирать.
Официальный обмен
Сильные стороны. Данные приходят в структурированном виде, без разбора разметки. Поставщик предупреждает об изменениях заранее. Есть документация и понятные ограничения. Правовая сторона определена условиями использования.
Слабые стороны. Доступен не всем и не всегда бесплатно. Объём данных бывает урезан по сравнению с тем, что видно на сайте. Ограничения по количеству обращений могут не подходить под задачу.
Когда использовать. Всегда, когда он есть и покрывает потребность. Это не обсуждается: надёжность несопоставима.
Сбор со страниц
Сильные стороны. Доступен для любого открытого источника. Даёт ровно то, что видит посетитель, — без урезания. Не требует договорённостей.
Слабые стороны. Ломается при изменении разметки сайта, а происходит это без предупреждения. Требует постоянного сопровождения. Нагружает чужой сервер, поэтому нуждается в разумных ограничениях с вашей стороны.
Когда использовать. Когда официального обмена нет, а данные общедоступны и нужны регулярно.
Промежуточные варианты
Между этими крайностями есть решения, о которых часто забывают.
Выгрузки для торговых площадок. Многие магазины публикуют файл с каталогом для сравнительных сервисов. Это фактически готовый структурированный источник, доступный открыто.
Внутренние интерфейсы сайта. Современные сайты подгружают данные отдельными запросами, и эти данные приходят в структурированном виде. Формально это не публичный интерфейс, но и не обход защиты: используется то же, чем пользуется браузер посетителя.
Партнёрские программы. Если вы отправляете поставщику покупателей, доступ к данным часто предоставляется официально по запросу. Этот вариант почему-то пробуют последним, хотя начинать стоит с него.
Как выбирать
Порядок действий, который экономит время: сначала спросить поставщика об официальном доступе, затем поискать открытые выгрузки, затем посмотреть, как данные подгружаются на самом сайте, и только потом разбирать разметку страниц.
В моей практике первые три шага закрывают большинство задач, а самый трудоёмкий путь остаётся для меньшинства источников.
О стоимости владения
Разработка сбора со страниц обходится дешевле подключения платного интерфейса, но сопровождение — дороже. На горизонте года платный официальный доступ часто оказывается выгоднее, и это стоит считать заранее, а не после третьей поломки.
Подробнее — сбор данных и агрегаторы, смежная тема — что законно при сборе данных.