Александр Немировнезависимый разработчик

Сбор данных с сайтов: что законно и как это устроено

Запрос на сбор данных звучит одинаково у всех: нужно видеть цены конкурентов, или собрать каталог для агрегатора, или следить за ассортиментом поставщиков. Первый вопрос, который возникает у заказчика, — законно ли это.

Где проходит граница

Общедоступные данные — те, которые сайт показывает любому посетителю без регистрации, — собирать можно. Это цены в открытом каталоге, описания товаров, опубликованные отзывы, контактная информация организаций.

За границей допустимого остаются: персональные данные, доступ к закрытым разделам в обход авторизации, обход технических мер защиты, нагрузка, мешающая работе чужого сайта. За этим начинается не серая зона, а нарушение.

Отдельно стоит вопрос авторского права на содержание. Факт цены не охраняется, а описание товара — объект авторского права. Поэтому в агрегаторе описания либо переписываются, либо приводятся в виде цитаты со ссылкой на источник.

Практический вывод: сбор открытых данных с разумной нагрузкой и с уважением к правилам сайта — обычная практика, на которой построены все агрегаторы и сервисы сравнения цен.

Почему разовая выгрузка бесполезна

Заказывают обычно её: выгрузите каталог конкурента в таблицу. Через месяц цены изменились, ассортимент обновился, и данные нужно собирать заново.

Ценность появляется, когда сбор регулярный: тогда видна динамика, можно заметить изменение раньше конкурентов и построить на этом решения. Разница в стоимости между разовой выгрузкой и работающей системой не так велика, как кажется, а разница в пользе — принципиальная.

Из чего состоит надёжная система

Расписание. Частота определяется тем, как быстро меняются данные. Цены в рознице — раз в сутки, ставки банков — раз в день, каталог товаров — раз в неделю. Более частый обход не даёт пользы, но увеличивает нагрузку и риск блокировки.

Повторные попытки. Сеть подводит, источник иногда не отвечает. Система должна отличать временный сбой от изменения на стороне источника.

Сопоставление. Главная сложность агрегатора. Один и тот же товар у разных продавцов называется по-разному. Надёжное сопоставление строится на штрихкоде или артикуле производителя, а сравнение по названию оставляют на крайний случай и обязательно с проверкой.

История значений. Хранить только текущее состояние — значит лишить себя главного: возможности видеть динамику.

Оповещения. Самое важное и самое часто забываемое. Источник меняет разметку, сбор останавливается, а в базе остаются вчерашние данные. Без оповещения это обнаруживается через недели.

Что делать при ограничении доступа

Источники защищаются от избыточной нагрузки, и это нормально. В большинстве случаев вопрос решается снижением частоты обращений и соблюдением интервалов — то есть тем, что и следовало делать изначально.

Если источник принципиально закрыт, честный ответ заказчику — искать другой источник тех же данных, а не пытаться обойти защиту. Часто те же сведения есть в открытых выгрузках или у агрегаторов, которые предоставляют доступ официально.

Сколько стоит и сколько живёт

Разработка системы сбора для одного источника — несколько дней. Для агрегатора с сопоставлением позиций из нескольких источников — недели.

Важнее другое: такая система требует сопровождения. Источники меняются постоянно, и сбор без присмотра рано или поздно останавливается. Поэтому разработку и сопровождение имеет смысл рассматривать вместе.

Подробнее — на странице сбор данных и агрегаторы.