URL-фильтры: AllowedDomains, URLFilters, Depth

colly.AllowedDomains принимает список хостов и превращает его в жёсткое правило: перед каждым запросом colly сверяет хост адреса с этим списком, и если хоста в нём нет, Visit возвращает ошибку Forbidden domain, а запрос не уходит в сеть — ни одного байта на чужой домен не полетит. По умолчанию список пуст, и пустой список означает «разрешено всё» — самый дорогой дефолт в библиотеке. Сравнение точное, по строке: shop.example.com не покрывает ни www.shop.example.com, ни cdn.shop.example.com — все реальные варианты хостов перечисляйте явно. Схема роли не играет: http и https одного хоста для AllowedDomains — один и тот же домен, ограничения по протоколу эта опция не задаёт. И есть второй выключатель, DisallowedDomains: чёрный список, который работает всегда, даже когда AllowedDomains пуст; домен, попавший в оба списка, считается запрещённым — запрет сильнее разрешения. Разрешений обычно два-три, зато они покрывают весь ландшафт: витрину, блог, поддомен со статикой — что не перечислено, для скрапера не существует.

Все отклонения периметра происходят до сети: проверка срабатывает при Visit, до того как colly соберёт и отправит HTTP-запрос. Отсюда два следствия, которые экономят часы отладки. Первое: ошибку вы получаете как возвращаемое значение Visit, а не через OnError — OnError вызывается на сетевые и HTTP-сбои уже ушедших запросов, а здесь до сети дело просто не дошло; OnRequest тоже молчит. Второе: ошибка таится, если результат Visit из колбэка не проверять — в половине примеров на GitHub пишут вызов без присваивания, и обходчик вежливо игнорирует каждый запрет без единого сообщения в лог. Ошибки навигации однотипны и легко узнаются по тексту, а в пакете colly они вынесены в именованные константы: ErrForbiddenDomain для чужого домена, ErrForbiddenURL для ссылки, отклонённой регуляркой, ErrMaxDepth при превышении глубины, ErrAlreadyVisited при повторном адресе. Логируйте их всегда, а игнорируйте осознанно — сверяя с этими константами, а не со строками. Практичная привычка — один журнал навигации на весь обход: адрес, глубина и результат Visit. Такой журнал превращает отладку периметра из гадания в чтение: видно, где маршрут пошёл не туда, где упёрся в глубину и где чужой домен отклонён честно. Заодно он станет аргументом в разговоре с владельцем сайта, если тот спросит, что это за трафик и по каким адресам вы ходили.

Типовой ландшафт магазина: витрина на shop.example.com, контент-блог на blog.example.com, внутренние ссылки ходят между ними туда и обратно. Периметр задаётся одним списком: оба поддомена в AllowedDomains — и обход свободно гуляет из каталога в статью и назад, собирая и товары, и тексты. Как только список сужается до одного хоста, вторая половина маршрута перестаёт существовать: ссылки на блог начинают возвращать Forbidden domain, и это не сбой, а ровно то, что вы просили. Отсюда рабочий приём отладки: журнал отклонений — карта вашего маршрута. Если в нём масса отклонённых адресов нужного раздела, расширяйте список; если там только соцсети и партнёрские баннеры, периметр подобран верно. И ещё раз про поддомены: shop и blog принадлежат одному владельцу, но для colly это два разных хоста — один не покрывает другой, пишите оба. Тот же список стоит пополнить хостом стейджинга, если витрина ссылается на него из превью: лучше держать обход на тестовом контуре под явным контролем, чем однажды обнаружить полстейджинга в своей выборке.

Домены отвечают на вопрос «куда», но не «по каким путям»: AllowedDomains впустит и каталог, и корзину, и поиск — всё на своём хосте. За пути отвечает второй слой: colly.URLFilters принимает набор регулярных выражений, и посетятся только те адреса, которые совпали хотя бы с одной из них. Регулярка применяется к полному адресу — со схемой и хостом, поэтому шаблон пишут целиком, например со строки https:// и до конца пути. colly.DisallowedURLFilters — зеркало: адрес, совпавший с запретной регуляркой, не посетится вовсе. Когда заданы и тот и другой набор, запрет побеждает разрешение — так удобно вырезать точечный мусор вроде сортировок и UTM-меток изнутри разрешённого раздела, не переписывая весь белый список. Регулярки компилируются один раз при старте, а сверяются с каждым кандидатом в очередь — на тысячах адресов это работает незаметно, поэтому усложнять шаблоны предостережением о производительности не стоит: усложнение оправдано только точностью. Типовой сетап каталога: URLFilters пропускает только пути, начинающиеся с раздела каталога, а DisallowedURLFilters отсекает страницы с параметром сортировки — обход перестаёт гонять один и тот же список в десяти вариантах.

Механику глубины разбирали в уроке про навигацию по ссылкам, здесь — то, что важно для периметра. colly.MaxDepth(n) ограничивает рекурсию обхода: стартовый Visit имеет глубину 1, каждый вложенный — на единицу глубже, и адрес, чья глубина превысила n, отклоняется с ошибкой Max depth limit reached. Дефолт — ноль, то есть без ограничений. Глубина и доменные фильтры решают разные задачи и не заменяют друг друга: AllowedDomains не даст уйти на чужой хост, но на своём позволит забрести в архив трёхлетней давности; MaxDepth ограничивает вглубь, но на каждом уровне разрешены все пути. Текущую глубину видно в колбэках через e.Request.Depth — удобно логировать её рядом с адресом, чтобы маршрут читался как лестница, а неожиданный скачок глубины сразу бросался в глаза. Пагинация — отдельная ловушка: она идёт цепочкой, и при MaxDepth(2) третья страница каталога не загрузится, хотя домен и путь в полном порядке; для сквозной пагинации нужен стоп-крючок из урока про пагинацию каталога, а не фиксированная глубина. Практический ориентир для каталога: категории и детальные карточки укладываются в глубину 2-3, и этого обычно достаточно — как только маршрут начинает требовать глубины 5+, это повод пересмотреть не цифру, а маршрут.

По умолчанию повторный Visit того же адреса не отправляет запрос в сеть и возвращает ошибку URL already visited: colly ведёт список посещённых и отклоняет дубли. Это встроенная защита от циклов — без неё две страницы, ссылающиеся друг на друга, закольцевали бы обход насовсем. Обратное включается опцией colly.AllowURLRevisit() или присваиванием полю AllowURLRevisit = true, и нужно это в трёх сценариях: адрес-эндпоинт возвращает разные данные при повторных запросах, страницу надо собрать заново после действия формы, тесты сверяют поведение на одних и тех же URL. Для монотонного обхода каталога дедупликацию не выключают: она экономит и трафик, и чужое терпение, и место в вашем же журнале. Нюанс на стыке: список посещённых живёт внутри одного коллектора и умирает вместе с процессом, поэтому повторные Visit — норма между запусками программы; внутри одного обхода дубли отсекаются сами, и это ровно то поведение, которое хочется по умолчанию.

Периметр — техника; за её границей остаются правила игры: что сайт просит не собирать и где colly останавливается перед капчами и JS-рендерингом. Об этом следующий урок — про защиту от скрапинга и честные пределы Colly: там robots.txt, лимиты по IP и альтернативы для сайтов, которые не отдают HTML без браузера. А если нужна карта всего маршрута — от первого Visit до итогового проекта с монитором цен — она на странице курса Colly. Фильтры из этого урока лягут в основу каждого следующего скрапера курса, поэтому стоит дойти до домашнего задания руками: четыре строки конфигурации экономят ночи, а иногда и репутацию вашего IP.