Сбор данных с сайтов: что законно и как это устроено
Запрос на сбор данных звучит одинаково у всех: нужно видеть цены конкурентов, или собрать каталог для агрегатора, или следить за ассортиментом поставщиков. Первый вопрос, который возникает у заказчика, — законно ли это.
Где проходит граница
Общедоступные данные — те, которые сайт показывает любому посетителю без регистрации, — собирать можно. Это цены в открытом каталоге, описания товаров, опубликованные отзывы, контактная информация организаций.
За границей допустимого остаются: персональные данные, доступ к закрытым разделам в обход авторизации, обход технических мер защиты, нагрузка, мешающая работе чужого сайта. За этим начинается не серая зона, а нарушение.
Отдельно стоит вопрос авторского права на содержание. Факт цены не охраняется, а описание товара — объект авторского права. Поэтому в агрегаторе описания либо переписываются, либо приводятся в виде цитаты со ссылкой на источник.
Практический вывод: сбор открытых данных с разумной нагрузкой и с уважением к правилам сайта — обычная практика, на которой построены все агрегаторы и сервисы сравнения цен.
Почему разовая выгрузка бесполезна
Заказывают обычно её: выгрузите каталог конкурента в таблицу. Через месяц цены изменились, ассортимент обновился, и данные нужно собирать заново.
Ценность появляется, когда сбор регулярный: тогда видна динамика, можно заметить изменение раньше конкурентов и построить на этом решения. Разница в стоимости между разовой выгрузкой и работающей системой не так велика, как кажется, а разница в пользе — принципиальная.
Из чего состоит надёжная система
Расписание. Частота определяется тем, как быстро меняются данные. Цены в рознице — раз в сутки, ставки банков — раз в день, каталог товаров — раз в неделю. Более частый обход не даёт пользы, но увеличивает нагрузку и риск блокировки.
Повторные попытки. Сеть подводит, источник иногда не отвечает. Система должна отличать временный сбой от изменения на стороне источника.
Сопоставление. Главная сложность агрегатора. Один и тот же товар у разных продавцов называется по-разному. Надёжное сопоставление строится на штрихкоде или артикуле производителя, а сравнение по названию оставляют на крайний случай и обязательно с проверкой.
История значений. Хранить только текущее состояние — значит лишить себя главного: возможности видеть динамику.
Оповещения. Самое важное и самое часто забываемое. Источник меняет разметку, сбор останавливается, а в базе остаются вчерашние данные. Без оповещения это обнаруживается через недели.
Что делать при ограничении доступа
Источники защищаются от избыточной нагрузки, и это нормально. В большинстве случаев вопрос решается снижением частоты обращений и соблюдением интервалов — то есть тем, что и следовало делать изначально.
Если источник принципиально закрыт, честный ответ заказчику — искать другой источник тех же данных, а не пытаться обойти защиту. Часто те же сведения есть в открытых выгрузках или у агрегаторов, которые предоставляют доступ официально.
Сколько стоит и сколько живёт
Разработка системы сбора для одного источника — несколько дней. Для агрегатора с сопоставлением позиций из нескольких источников — недели.
Важнее другое: такая система требует сопровождения. Источники меняются постоянно, и сбор без присмотра рано или поздно останавливается. Поэтому разработку и сопровождение имеет смысл рассматривать вместе.
Подробнее — на странице сбор данных и агрегаторы.