OnRequest и OnResponse: запросы под контролем

Регистрируется обработчик методом OnRequest с сигнатурой func(r colly.Request), и вызывается colly в последний момент перед уходом запроса в сеть — когда адрес уже разобран, глубина посчитана, очередь дала добро. В руках у вас весь запрос целиком. r.URL — это url.URL с хостом, путём и query-параметрами: от проверки префикса пути до разбора расширения файла доступно без строковых фокусов. r.Method говорит, что предстоит — GET или POST. r.Depth — та самая глубина обхода из восьмого урока, по которой colly отсекает рекурсию; в журнале она подсказывает, откуда пришёл запрос. У объекта есть и номер: r.ID уникален в пределах коллектора, и по нему удобно склеивать запрос с ответом в общем журнале. Самое ценное — r.Headers: это указатель на реальные заголовки запроса, и всё, что здесь выставить методом Set, отправится на сервер как есть. Именно в OnRequest живут User-Agent, Referer и Accept-Language — механике и границам этих манипуляций посвящён отдельный урок про заголовки и User-Agent. И последнее: OnRequest — последняя точка, где запрос ещё можно отменить, об этом ниже.

OnResponse с сигнатурой func(r *colly.Response) вызывается, когда тело ответа целиком лежит в памяти. Что внутри: r.StatusCode — число, а не строка; r.Body — срез байт, тот самый HTML или JSON; r.Headers — заголовки ответа, из них r.Headers.Get("Content-Type") достаёт тип содержимого; r.Request — связанный объект запроса с адресом и глубиной. Обратите внимание: отдельного поля ContentType у Response нет — тип берётся из заголовков, и запомнить это стоит заранее, чтобы не искать несуществующее поле по советам старых статей. Тело — сырые байты, и это удобно: string(r.Body) позволяет поискать подстроку по сырой разметке ещё до селекторов, len(r.Body) — посчитать размер, а сравнение размеров между прогонами — заметить, что сайт начал отдавать заглушку вместо каталога. На этот колбэк приходят и не-HTML ответы: JSON-эндпоинты, файлы, заглушки — всё, что вернул сервер с успешным кодом. Тело можно отправить в свой парсер или сохранить на диск методом r.Save("page.html") — быстрый снапшот страницы для отладки селекторов без браузера и curl. Имя файла, если сервер передал его в Content-Disposition, подскажет r.FileName().

Колбэки colly срабатывают в строгом порядке, и он одинаков для каждой страницы, сколько бы обработчиков вы ни зарегистрировали. Знать конвейер наизусть полезно по двум причинам: сразу видно, на каком этапе пропала строка лога, и ясно, где ставить проверку — раньше значит дешевле. Выглядит конвейер так: OnRequest, затем сеть, затем OnResponseHeaders, OnResponse, все OnHTML по порядку регистрации — и финальный OnScraped, который замыкает страницу целиком. Разберём шаги по одному.

Между заголовками и телом есть отдельный колбэк — OnResponseHeaders(func(r *colly.Response)). Тело в этот момент ещё не скачивалось: доступен r.StatusCode, доступны r.Headers, а r.Body пуст. Это идеальное место для решений, которым хватает заголовков. Видали Content-Type text/html — отдаём страницу парсеру; увидели application/json — это эндпоинт, и данные достаются без разбора DOM; заметили image/ — можно сразу отказаться от ответа. То же с размером из заголовков: огромный файл виден в очереди до того, как съест трафик. Тонкость, о которой молчат туториалы: OnResponseHeaders срабатывает у всех дошедших ответов, включая 403 и 404 — заголовки-то уже приехали, и вы успеете залогировать код раньше, чем colly решит судьбу ответа. Abort работает и здесь: вызванный в этом колбэке, он обрывает докачку тела, а в OnError приходит ошибка ErrAbortedAfterHeaders — так экономят трафик на тяжёлых ответах, которые заведомо не нужны. Разница с OnResponse только в моменте, но момент дорогой: после заголовков тело ещё можно не качать, после — уже поздно.

Успешные ответы проходят конвейер целиком и заканчиваются в OnHTML и OnScraped. Всё остальное colly проводит по другой ветке: ответы с кодами ошибок — 403, 404, 500 — попадают в OnError, и OnResponse с OnHTML их не видят; подробно эту ветку и повтор запросов мы разбирали в уроке про OnError и повторы. Разделение логичное: страница с 404 обычно не несёт данных, и гонять её в DOM — только тратить память, а вот журнал ошибок обязан знать о каждом провале. Редиректы — отдельная история: перенаправления с заголовком Location HTTP-транспорт проходит сам, colly даже не узнаёт о промежуточных адресах — в OnResponse прилетает уже финальная страница с кодом 200, а r.Request.URL показывает её итоговый адрес. Поэтому «проверить статус 301 в OnResponse» не получится: до вас дойдёт только конец цепочки, и это к лучшему — бегать за редиректами вручную не нужно. Тело ответа с ошибкой по умолчанию не разбирается вовсе — опция ParseHTTPErrorResponse меняет это поведение, если страницы ошибок несут данные.

В восьмом уроке мы фильтровали ссылки до Visit — это санитария очереди. Но запрос может оказаться мусорным и позже: пагинация ведёт на страницы-приложения в PDF, каталог раздаёт картинки прямыми ссылками, а вы по ошибке собрали их в очередь. Для таких случаев в OnRequest есть рубильник r.Abort(): запрос, помеченный aborted, в сеть не уходит вообще. Причём это не ошибка — OnError не вызовется, Visit завершится тихо, очередь продолжит работу со следующим адресом. Связка получается двухуровневой: фильтр ссылок держит очередь чистой на этапе планирования, Abort — последняя проверка на этапе исполнения, когда URL уже поставлен в очередь и до сети остался один шаг. Разницу видно в журнале: провал попадает в OnError, а отмена — тишина, поэтому отмены стоит логировать прямо в OnRequest, печатая адрес перед Abort-ом. Мой рабочий минимум: Abort на расширения статики и архивные форматы, которые точно не несут данных, — трафик экономится заметнее всего именно здесь, потому что отменённый запрос не отправляется вовсе.

Конвейер виден, каждый запрос подписан — остался вопрос темпа: обходчик ставит запросы в очередь так быстро, как успевает сеть, и без ограничителей это подозрительно похоже на DDoS. Успокоим его в следующем уроке про LimitRule: там появятся Delay, RandomDelay и лимит одновременных запросов на домен. Примеры этого урока, как и весь сетевой код курса, запускаются локальным Go — в браузерной песочнице сети нет. Соберите журнал запроса и ответа, прогоните его по books.toscrape.com и полистайте терминал: каталог из пары страниц прочитывается как диалог, и каждая стрелка в нём — вызов одного из колбэков этого урока. Полный маршрут по курсу — на странице коли-курса.