User-Agent и заголовки: когда сайт капризничает

По умолчанию каждый запрос colly подписывает собственным User-Agent — строкой со ссылкой на репозиторий библиотеки. Честно, но с последствиями: парсинг User-Agent — древний приём фильтрации, и «коллекторские» подписи режут охотно и массово, от CDN до самодельных middleware. Меняется подпись одной опцией: colly.UserAgent("строка") в NewCollector задаёт заголовок всем запросам коллектора. Строку берут из реального браузера — откройте devtools, вкладку Network, скопируйте значение из заголовков любого запроса; у многих разработчиков рядом с проектом давно лежит проверенная константа. Второй путь — заголовки на каждый запрос: в OnRequest у r.Headers вызывается обычный Set из http.Header, и там же ставится всё остальное, что не хочется вшивать в конструктор. Два механизма не спорят, а дополняют: опция задаёт личность, OnRequest — манеру каждого захода.

Прежде чем менять заголовки, посмотрите на них глазами сервера: httpbin.org/headers возвращает JSON со всем, что дошло до него. Сравните вывод двух прогонов — от colly по умолчанию и от настроенного скрапера — и разница станет наглядной: подпись библиотеки, отсутствие Accept-Language, пустой Referer. Сервер судит по совокупности: браузерный User-Agent при полном отсутствии других заголовков — уже подозрение; идеальный набор заголовков при странном поведении — второе; и так до полного профиля клиента. Для подавляющего большинства задач до глубокого анализа дело не доходит: достаточно правдоподобного набора заголовков и вежливого темпа, чтобы сервер отличил вас от дешёвых ботов и отдал обычную страницу.

Контринтуитивный совет напоследок: браузерная строка — не всегда лучший выбор. Если вы скрапите источники с публичной политикой — открытые данные, каталоги для партнёров, сайты, где роботы приветствуются, — честное имя с контактом работает лучше. Во-первых, белый список: админы видят GoMasterBot/1.0 в логах, понимают, что это не дешёвый скрипт, и в случае проблем знают, кому написать, прежде чем бить блокировкой. Во-вторых, диагностика от обратной стороны: по внятному UA вам могут точнее настроить лимиты, а по анонимному браузерному — нет. Практика выглядит как строка вида имя-версии-контакт в одном заголовке. Но у подхода есть условие применимости, и оно жёсткое: он живёт только там, где владелец сайта в курсе и не против. На остальных ресурсах честность подписи выливается в мгновенный 403 — и тогда остаётся совместимость, о которой шла речь выше.

Referer — заголовок с историей перехода. Некоторые сайты отдают контент только «изнутри»: прямая ссылка на карточку без Referer получает редирект на каталог или заглушку. Лечится в OnRequest: r.Headers.Set("Referer", адрес каталога) — и запрос выглядит пришедшим с внутренней страницы. Accept-Language решает другой вопрос: у мультиязычных сайтов версия контента выбирается по этому заголовку, и скрапер без него получает язык по умолчанию, который не всегда тот, что нужен. Оба заголовка честные: реальный браузер шлёт и то, и другое — вы не врёте, вы приводите запрос к общепринятому виду. Разница с cookie-сессией из урока про формы простая: cookies — личность, заголовки — манера речи; и то и другое нужно, чтобы сайт узнавал клиента.

Кроме значений, сервер видит и порядок заголовков — и это тоже почерк. Браузеры шлют набор в устоявшемся порядке, HTTP-клиенты — в своём; расхождение не фатально для большинства сайтов, но входит в профиль клиента у продвинутых фильтров. Colly порядок штатно не перетасовывает, и гнаться за этим не нужно: если источник фильтрует по порядку заголовков, вы это узнаете после того, как остальные признаки уже выправлены. Практический порядок работы с капризным сайтом такой: снять запрос браузера, воспроизвести значения в OnRequest, проверить зеркалом httpbin — и только если не помогло, идти дальше по списку: cookies из урока про формы, затем прокси из следующего урока. Чаще всего до конца списка не доходит: одна подпись и один Referer решают девять историй из десяти.

Особый случай — Accept-Encoding, и у него правило противоположное: не менять. Браузер шлёт список форматов сжатия — gzip, deflate, br, zstd. Транспорт Go при отсутствии этого заголовка сам добавляет gzip и сам его расжимает: в OnResponse приходит уже читаемый HTML, и селекторы работают. Если же поставить Set("Accept-Encoding", "br") руками, сервер добросовестно отдаст brotli, который стандартный транспорт не расжимает, — и в r.Body окажутся байты, на которых парсинг молча даст ноль результатов. Такие поломки коварны: код ответа 200, тело есть, ошибок нет — а данных нет. Если подозреваете сжатие, смотрите на тело в OnResponse глазами: начало внятного HTML или россыпь нечитаемых байтов. Заголовок, который вы не понимаете до конца, лучше не отправлять вовсе — это правило распространяется на весь набор, а не только на сжатие.

Честное слово про нижний этаж. Под заголовками лежит TLS-рукопожатие, и у каждого стека оно своё: Go из коробки даёт узнаваемый отпечаток, по которому продвинутые антибот-системы отличают клиента на Go от настоящего Chrome — даже когда заголовки идеальны. Colly это не маскирует: под капотом net/http, и подменить рукопожатие опцией нельзя. Практический вывод двоякий. Если сайт отдаёт контент по заголовкам — вы уже всё решили, и TLS никого не волнует. Если же сервер классифицирует клиентов по отпечатку, colly упрётся в потолок: дальше либо честный отказ от скрапинга этого источника, либо браузерный движок — это территория урока про антибот-защиту, где про chromedp и JavaScript-рендеринг отдельный разговор.

Спорное место урока: менять User-Agent — нормально или нет? Моё мнение — менять можно и нужно, когда речь о совместимости. Браузерные строки — де-факто стандарт, который понимают серверы, а «коллекторская» подпись отсекается даже там, где скрапинг разрешён; вы не обходите запрет, вы делаете запрос понятным. Другое дело — подставлять браузерный UA, чтобы пролезть туда, где роботам прямо сказано «нельзя»: в robots.txt, в письме от владельца, в условиях использования. На этом месте заканчивается техническая задача и начинается решение о правилах — правовых и этических, и оно принимается не в терминале. Урок про защиту от скрапинга разложит эту границу по полочкам: robots.txt, капчи, что colly не умеет и что делают вместо неё. Мой рабочий ориентир: настраивай заголовки так, как настроил бы их для публичного API, о котором можно сказать владельцу вслух.

Заголовки — половина внешности скрапера; вторая половина — адрес, с которого сервер видит запросы: урок про прокси добавит пул адресов и ротацию. А если заголовки настроены, а сайт всё равно неприветлив — это уже не настройка, а защита: честные пределы colly и что делают вместо неё.