Пагинация: обходим все страницы каталога

Каноничный паттерн colly пагинация держится на двух методах объекта e.Request: AbsoluteURL разворачивает относительный href в полный адрес от текущей страницы, а Visit ставит её в очередь того же коллектора. Схема: один OnHTML снимает данные со страницы, второй следит за ссылкой «next». Когда обходчик долистывает каталог до последней страницы, ссылки «следующая» там нет — колбэк рулевого не срабатывает, очередь пустеет, и c.Visit в main спокойно возвращается. Стоп-условие здесь не пишется: оно получается само из разметки. За это паттерн и любят: минимум кода, ноль арифметики с номерами страниц, устойчивость к росту — каталог вырос с пятидесяти страниц до восьмидесяти, код не заметил. Плата — зависимость от вёрстки: класс li.next — договорённость с конкретным сайтом, и смена вёрстки молча обрывает обход на первой странице.

Второй подход не смотрит в разметку вовсе: адреса страниц выводятся циклом. Он работает, когда пагинация вшита в URL: /catalogue/page-2.html, ?page=3, /page/7/ — закономерность видна на второй странице, дальше ничего не меняется. Такой вариант короче, не зависит от классов вёрстки и честно идёт до конца диапазона. Стоп-условие здесь — конец цикла или ошибка Visit: несуществующий page-51.html возвращает 404, Visit вернёт ошибку, цикл обрывается. Плата за простоту — молчаливые пропуски. Если шаг нумерации иной — скажем, страницы идут десятками или адреса построены от идентификаторов, — цикл будет стучаться в пустоту или пропустит середину, и вы узнаете об этом по дырявым данным, а не по сообщению об ошибке.

Break в цикле останавливает обход на первой же ошибке, и это не всегда то, чего вы хотите. Кратковременный сбой сети на page-7 обрывает сбор, хотя page-8 и все следующие живы: отчёт соберётся до середины, дыру найдёт читатель, а не скрипт. Разумнее различать ошибки по смыслу. 404 на несуществующей странице — законный конец диапазона: каталог кончился, и остановка здесь корректна. Таймаут или обрыв соединения — сигнал, что страницу стоит повторить, а не прекращать обход. Практичная схема: ошибки не прерывают цикл, а копят счётчик подряд идущих неудач; одиночная неудача — продолжаем, три подряд — останавливаемся, каталог, скорее всего, кончился или лёг. Страницы, на которых собрать данные не удалось, запоминаются отдельным списком — их прогоняют вторым заходом после окончания основного. Что положено в OnError и как строить повторы руками — урок про ошибки и таймауты; здесь достаточно принять, что break на каждой ошибке — решение для учебного скрапера, а не для боевого.

Теперь живое место — самое важное в уроке. Пагинация, которая ходит по ссылкам «следующая», однажды встретит каталог без конца: календарь, где next переводит на следующий месяц вечно; бесконечная лента, где сервер генерирует страницу от параметра смещения; каталог с багом, где ссылка «next» указывает на ту же страницу. Скрапер честно ходит по кругу часами: очередь не пустеет, диски заполняются дублями, источник получает тысячи запросов. Лимит страниц — страховка, которая должна стоять всегда, даже когда кажется, что каталог конечен: заранее посчитать «сколько страниц ожидаем» и завести счётчик с полем max. Пятёрка в примере ниже — не про скромность, а про демонстрацию; в рабочем скрапере лимит выносится в конфиг или флаг командной строки, а его срабатывание логируется отдельно: если каталог внезапно вырос, вы хотите знать, что лимит отработал, а не молча потерять страницы.

Разберу, как вечная пагинация выглядит на практике, чтобы её было проще узнать. Календарные страницы: у события «следующий месяц» всегда есть ссылка «следующий» — обход по ссылкам генерирует URL бесконечно, потому что следующего месяца не бывает только в маркетинге. Смещения вместо номеров: ?offset=50, ?before=2024-01-01 — сервер берёт параметр и строит следующую страницу от него; адресов всегда ровно столько, на сколько хватит терпения генерировать. Луп на самом себе: баг вёрстки или шаблона, где next указывает на текущую страницу; colly тут спасает дедупликация, но ?page=2 и ?page=2&sort=asc — уже разные адреса, и круг замыкается. Общий знаменатель один: заранее неизвестный конец. Поэтому лимит — не опция, а гигиена, как ремень в машине: пристёгиваются не потому, что сегодня авария, а потому что цена забывания несоразмерна.

Пагинация — мост к масштабу: пятьдесят страниц по одной скучны, а параллельный обход каталога — тема урока про Async и WaitGroup: поставьте Parallelism, и каталог соберётся в разы быстрее. Ошибки на полпути — 404 посреди диапазона, обрыв связи — живут в уроке про OnError и повторы. А правила «куда вообще можно ходить» — URL-фильтры, которые для пагинации почти обязательны.