Знакомство с Colly: зачем скрапить на Go

Веб-скрапинг — автоматическое скачивание страниц сайта и извлечение из них данных: программа делает то же самое, что браузер и человек, только быстрее и без усталости. По устройству это три шага: скачать HTML-ответ, найти в разметке нужные узлы и вытащить из них значения, затем перейти по ссылке на следующую страницу и повторить. Всё усложнение живёт в деталях: сайт может прятать данные за формой входа, отдавать разные страницы под разными адресами, ограничивать темп запросов, а разметка может менять классы при каждом релизе. Границы темы тоже лежат здесь. Скрапят публичные данные — каталоги, карточки товаров, рейтинги, цены; это обычная практика, от агрегаторов до исследовательских проектов. Но обходить авторизацию под чужими учётками, собирать персональные данные или тянуть защищённый контент — уже не технический, а правовой вопрос, и colly тут не помощник. Отдельная строчка — вежливость: скрипт, лупящий сто запросов в секунду, для сайта ничем не отличается от атаки, и нагрузки стоит держать под контролем всегда. В курсе этому посвящён отдельный урок про пределы библиотеки и защиту от скрапинга.

Скрапер на Go можно написать и без всяких фреймворков, на голой стандартной библиотеке. Схема известная: http.Get или клиент с настройками из урока про HTTP-клиент, чтение тела ответа, а дальше — разбор HTML. Для разбора в Go-мире используют goquery: библиотеку с jQuery-подобными выборками, которая превращает HTML-строку в дерево и позволяет искать узлы CSS-селекторами. Для одной страницы этого хватает с запасом: двадцать строк, и данные на экране. Проблемы начинаются с масштабом. Очередь адресов — ваша, лимит частоты запросов — ваш, повтор при таймауте — ваш, кэш, чтобы не качать одно и то же при отладке, — тоже ваш, cookies между страницами — снова ваши. Каждая из этих вещей по отдельности пишется за час, но вместе это получается второй проект рядом с первым, и в нём столько же ошибок, сколько в самом парсинге. Именно эту обвязку colly и берёт на себя — тем и ценна.

colly golang — это фреймворк для обхода сайтов: центральный объект, который называется коллектором, скачивает страницы, разбирает их в DOM и вызывает ваши функции-колбэки на каждом элементе, найденном по CSS-селектору. Вы описываете, на что реагировать — colly делает остальное: держит очередь посещённых адресов, следит за глубиной обхода, умеет ограничивать частоту правилами LimitRule, кэшировать ответы на диск, ходить через прокси, таскать cookies между запросами и отправлять формы. При этом фреймворк остаётся тонкой обвязкой: под капотом всё тот же net/http и goquery, поэтому ничего экзотического внутри нет, а из колбэка доступен и запрос, и ответ целиком. Плата за удобство — абстракция: часть поведения скрыта внутри коллектора, и в редких случаях её приходится вскрывать. На практике это выглядит так: типовой сборщик каталога с пагинацией на colly — несколько десятков строк, а та же программа на голом net/http и goquery — пара сотен, и большую часть из них составляет не парсинг, а обвязка.

У colly есть жёсткий предел, о котором стоит знать в первый же день: она работает с HTML-ответом сервера и не исполняет JavaScript. Для классических серверных страниц этого достаточно — разметка уже содержит данные. Но если сайт собран на фреймворке вроде React или Vue и карточки товаров рисуются в браузере, в исходном ответе будет пустой каркас из пары div-ов, и селекторам нечего ловить. Диагностика простая: откройте исходный код страницы через меню браузера, а не вкладку Elements — инспектор показывает DOM после выполнения скриптов и врёт о том, что реально приехало по сети. Если данных в исходнике нет, берут браузерный движок: chromedp управляет настоящим Chrome, умеет ждать элементы, кликать и забирать результат после рендера, но стоит дороже — тяжёлый процесс, медленный обход, больше памяти. Умная стратегия часто гибридная: браузер один раз вытаскивает адреса реальных запросов данных, а дальше по ним ходит быстрый colly-обходчик. Этой границе посвящён отдельный урок курса — про то, где заканчивается colly.

Двадцать пять уроков идут по нарастанию сложности, и каждый опирается на предыдущие. Сначала фундамент: во втором уроке — установка и первый скрапер, в третьем и четвёртом — HTML и CSS-селекторы, в пятом — механика колбэков OnHTML. Дальше данные: извлечение значений и структуры Go для них. Потом движение по сайту: обход ссылок, перехват запросов через OnRequest и OnResponse, темп через LimitRule, параллельный режим. Отдельная линия — капризные сайты: пагинация, формы и вход по cookies, заголовки и User-Agent, прокси. Затем устойчивость: обработка ошибок и повторы, кэш на диске, URL-фильтры, чтобы обходчик не разбежался по всему интернету. И склад: JSON, CSV, SQLite — спарсенное должно переживать перезапуск. Финал — итоговый проект: монитор цен, где обходчик пишёт историю в базу, логирует ход через zap и управляется из командной строки через Cobra — если вы проходили курс Cobra, тот материал ляжет сюда напрямую. К этому моменту каждый блок пайплайна вы соберёте руками в уроках, проект только склеит их.

В следующем уроке появится первая работающая программа: установка через go get, коллектор, правило OnHTML и десять цитат в терминале — первый скрапер на colly разбирается построчно. Если разметка для вас тёмный лес, третий урок даст необходимый минимум: HTML для скрапера — дерево документа, классы и атрибуты. А если уже хочется понять, зачем нужны все двадцать пять тем, карта курса из блока выше — это она и есть.