Защита от скрапинга: честные пределы Colly

Robots.txt — текстовый файл в корне сайта: https://site.example/robots.txt. Его читают роботы, чтобы понять, куда ходить нельзя. Синтаксис элементарный: блоки User-agent задают, к кому относится правило, строки Disallow перечисляют запрещённые префиксы путей, Allow — исключения из запрета, Crawl-delay просит держать паузу между запросами, звёздочка в пути означает любой фрагмент. Детали сопоставления правил у разных роботов различаются, поэтому не усложняйте: увидели свой путь в Disallow — этот путь не трогаем, и всё. Crawl-delay — не пожелание, а условие доступа: если сайт просит пять секунд паузы, LimitRule с Delay из урока про лимиты и параллелизм — минимальная цена входа. Отдельный честный вопрос: robots.txt — это закон или конвенция? Юридически — не закон, технически — просьба, этически — публичное заявление владельца о том, куда он автоматический трафик не пускает. Для поисковых роботов документ обязателен де-факто, для скрапера это самый дешёвый способ не оказаться в списке врагов.

Colly — HTTP-клиент с колбеками, и ничего о правилах она не знает: за robots.txt не ходит, пути с ним не сверяет, при нарушении не ругается. Решение остаётся за вами, и это не недоработка, а разделение ответственности: что считать запрещённым, библиотека решить не может. Минимальная дисциплина — руками: отдельным Visit забрать файл из корня, прочитать строки, собрать префиксы Disallow и проверять их перед каждым Visit и перед каждой ссылкой из AbsoluteURL. Это пара десятков строк и один слайс, а экономит оно и нервы, и репутацию. Дальше по цепочке — обычные механизмы курса: AllowedDomains не выпускает за чужие домены, MaxDepth не даёт обходу разбегаться вглубь, LimitRule держит темп — всё это разбирали в уроке про URL-фильтры и глубину. Проверить поведение можно только локально: песочница сети не умеет, а живой сайт — лучший инспектор.

Часть вежливости не про обход защиты, а про экономию чужих ресурсов. CacheDir кэширует ответы на диск — повторный запуск разработки не дёргает сайт второй раз, механика в уроке про кэш и офлайн-режим. SetRequestTimeout не вешает соединение на минуты, если сайт притворяется медленным. Delay и RandomDelay в LimitRule размазывают запросы, чтобы профиль вашего трафика не выглядел как очередь роботов. Ничего из этого не даёт «невидимость» — и не ставит такой цели: это гигиена, которая делает обход дешевле и для сайта, и для вас. Забавно, что те же настройки косвенно снижают и шанс попасть под лимиты по IP: меньше запросов в секунду — меньше поводов для реакции.

Colly работает с тем, что прислал сервер, и не исполняет JavaScript — это её главный предел. Для сайтов, отрисованных на JS, это значит конкретное: HTML-ответ содержит пару тегов и пустой контейнер вроде <div id='root'></div>, а товары рисует браузер уже после загрузки скриптов. OnHTML('.product') в такой ситуации молчит — элементов в ответе нет. Типичная ошибка новичка — диагностика через инспектор: открыть браузер, увидеть в инспекторе карточки и решить, что селектор рабочий. Инспектор показывает DOM после исполнения скриптов; colly же получает исходник. Проверяйте через просмотр исходного кода страницы (Ctrl+U): если карточек в исходнике нет, colly их не увидит. Здесь часто спасает приём из прошлого урока про JSON вместо HTML — данные, которые рисует скрипт, кто-то же ему отдал.

Когда без JavaScript никак, Go-разработчик берёт браузерный движок: chromedp или Rod. Оба управляют настоящим Chrome через DevTools Protocol: открывают страницу, ждут появления элементов, скроллят, кликают и отдают DOM уже после исполнения скриптов. Цена ясна: процесс браузера в памяти, время загрузки в разы больше, зависимости тяжелее, а скрапер превращается в управление браузером со всеми его капризами — версиями, ожиданиями, таймаутами. Поэтому правило такое: сначала эндпоинт, потом colly, и только затем браузер — как последний аргумент, а не первый инструмент. В этом курсе мы остаёмся на colly: связка с браузерным движком — отдельный мир со своими ошибками и стоит отдельных недель, смешивать слои стоит осознанно и по одному. И заметьте асимметрию: colly управляется одной строкой NewCollector, браузеру нужен отдельный процесс и ритуал запуска — разница в цене поддержки примерно такая же.

Правовая часть складывается из трёх вопросов, и ни один не отменяется тем, что «данные же публичные». Первый: условия использования сайта — ToS. Многие прямо запрещают автоматический сбор; нарушение — риск для отношений с площадкой, а иногда и для дела в целом. Второй: персональные данные. Имена, телефоны, отзывы пользователей, содержимое личных кабинетов — собирать их скрапером самая сомнительная затея из возможных; законодательство о персональных данных различается по странам и везде строже, чем правила про цены. Третий: объём копируемого. Список цен и названий для сравнения — обычная практика; копирование статей, фотографий и каталогов целиком — уже использование чужого контента со всеми последствиями. Это не юридическая консультация: законы и судебная практика меняются, а при серьёзных объёмах вопрос стоит задать юристу, а не поисковику.

Соберём позицию курса вместе. Обход капчи и технических блокировок — красная линия, за которой мы не заходим: ни в этом уроке, ни в итоговом проекте. Повторы с задержкой после единичной ошибки — это вежливость, и ей занимается урок про ошибки и повторы; прокси для честного распределения нагрузки обсуждались в уроке про прокси — но всё это про темп, а не про взлом замка. Если же сайт ставит капчи, банит адреса и прячет данные за браузерными проверками, он ответил: здесь автоматическому сбору не рады. Законный ход — спросить данные у владельца: партнёрские программы, выгрузки и официальные API существуют у большинства площадок, и письмо с внятным описанием задачи работает чаще, чем любой обход. Следующий урок — про тестирование скрапера на фикстурах: вернёмся к коду, который не зависит от чужой обороны.