Александр Немировнезависимый разработчик

Как устроен агрегатор цен: от сбора данных до карточки товара

Со стороны агрегатор цен выглядит несложно: собрать предложения магазинов и показать посетителю, где товар стоит дешевле. Техническая сложность прячется в одном месте — в ответе на вопрос, одинаковые ли это товары.

Четыре слоя системы

Сбор. Обход источников по расписанию, получение позиций с ценами и наличием. Самый понятный и самый хрупкий слой: он ломается каждый раз, когда источник меняет разметку.

Сопоставление. Сведение одинаковых товаров разных продавцов в одну позицию. Здесь определяется качество всего сервиса.

Хранение. Текущие цены и история. История важнее, чем кажется: без неё невозможно показать динамику и заметить ложные скидки.

Витрина. Карточка товара, поиск, категории, сравнение. Здесь решается, вернётся ли посетитель.

Сопоставление: почему это сложно

Один и тот же товар у трёх продавцов может называться по-разному: с указанием цвета и без, с моделью в начале или в конце, с сокращениями и опечатками.

Способы сопоставления в порядке надёжности.

Штрихкод. Самый надёжный признак: он один для товара во всём мире. Проблема в том, что магазины публикуют его далеко не всегда.

Артикул производителя. Почти так же надёжен, но встречаются расхождения в написании: дефисы, пробелы, регистр. Приводится к единому виду перед сравнением.

Название и характеристики. Применяется, когда первых двух признаков нет. Требует обязательной проверки: ошибка здесь приводит к тому, что посетитель видит цену на другой товар, и доверие к сервису теряется.

Практический подход: сопоставлять по надёжным признакам автоматически, а спорные случаи откладывать в отдельную очередь на проверку, а не склеивать наугад.

Карточка товара

Основная страница агрегатора. Что на ней должно быть.

Предложения всех продавцов, отсортированные по цене, с указанием наличия. Отдельно стоит показывать продавцов без указанной цены: их предложение может быть выгодным, и скрывать их — значит обеднять выбор.

История цены. Отвечает на вопрос, действительно ли сейчас выгодный момент, и защищает посетителя от ложных скидок.

Характеристики, сведённые из разных источников. У одного продавца указано одно, у другого другое — вместе получается полная картина.

Чего не стоит делать

Показывать устаревшие цены как актуальные. Если данные собраны неделю назад, об этом нужно сообщать. Посетитель, пришедший в магазин с неверной ценой, больше не вернётся.

Склеивать товары по приблизительному совпадению. Лучше показать два отдельных предложения, чем одно неверное.

Заполнять каталог автоматически созданными описаниями. Тысячи однотипных текстов не приносят посетителей из поиска и создают риск санкций поисковых систем.

С чего начинать

С одной категории и нескольких источников. На небольшом объёме отлаживается сопоставление — самая сложная часть, — и становится понятна реальная трудоёмкость.

Расширение на новые категории после этого идёт быстро: механика уже работает, добавляются источники и правила.

Подробнее — на странице сбор данных и агрегаторы, пример — Cá Buồm.