Установка и первый скрапер на Colly

Начало стандартное для любого Go-проекта со внешними зависимостями. В пустой папке создаём модуль: go mod init example.com/scraper — имя модуля может быть любым, для локальных упражнений хватает домена-заглушки. Затем добавляем зависимость: go get github.com/gocolly/colly/v2 — и go подкачивает библиотеку, записывая её в go.mod. Обратите внимание на хвост /v2: в Go-модулях второй мажор версии обязан жить в пути импорта, это не украшение, а часть адреса пакета. В коде импорт будет выглядеть как import "github.com/gocolly/colly/v2", и всё, что вы объявляете дальше, — colly.NewCollector, colly.HTMLElement — приходит именно оттуда. Команда go get сама выберет свежий релиз второй версии; первая версия с путём без /v2 существует отдельно, заморожена в прошлом и мы её не касаемся. Если после установки открыть go.mod, там появится строка require github.com/gocolly/colly/v2 с номером версии — это и есть фиксация зависимости, которую видят все, кто соберёт ваш проект. Рядом появится go.sum с контрольными суммами: благодаря ей сборка на другой машине получит ровно те же байты библиотеки, что и у вас, а не что-то похожее по названию.

Три вызова — три разных роли. colly.NewCollector создаёт коллектор: объект, который ведёт очередь адресов, держит настройки — домены, глубину, лимиты — и хранит зарегистрированные правила. Пока он создан с нулём аргументов: дефолтов для тренировочной страницы хватает. c.OnHTML("span.text", функция) — главное правило скрапера: когда ответ скачан и разобран, colly ищет в DOM все элементы, подходящие под селектор span.text, и для каждого вызывает вашу функцию, передавая элемент обёрткой *colly.HTMLElement. У обёртки есть всё, что нужно для извлечения данных: e.Text отдаёт текст узла уже без тегов, e.Attr достаёт атрибут, а вложенные поиски мы разберём в уроках про извлечение данных. Наконец, c.Visit(url) — точка запуска: синхронный запрос, загрузка ответа, разбор в DOM и прогон всех правил. Пока Visit выполняется, программа занята; закончится обход — закончится и работа. Такая синхронность — удобный дефолт для отладки: вывод появляется предсказуемо, и рассуждать о нём легко. Кавычки, в которые обёрнута каждая цитата, — часть текста на сайте, поэтому в выводе они приедут вместе с содержимым.

Правил у одного коллектора может быть сколько угодно, и каждое смотрит в свой селектор. Добавим второе: рядом с каждой цитатой на странице стоит small.author с именем автора, и селектор .author ловит его по классу. Регистрируем по тому же образцу — c.OnHTML(".author", ...) и внутри печатаем e.Text — и получаем вывод, где после каждой цитаты стоит её автор. Здесь важно не спешить со следующим шагом: два независимых правила дают два независимых потока значений, и связать конкретную цитату с конкретным автором по номеру вызова — ненадёжная идея. Правильный приём — вложенный обход от контейнера цитаты, который мы разберём в уроке про механику OnHTML, а все способы достать значение из элемента собраны в уроке про Text, Attr и ChildText. Сейчас достаточно того, что вы поняли сам механизм: правило — это пара «селектор плюс функция», и функций может быть столько, сколько полей вы собираете. Попробуйте сразу добавить третье правило для a.tag — тегов цитаты, — и убедитесь, что третьим потоком всё работает точно так же: это займёт минуту и закрепит регистрацию правил лучше любого перечитывания.

Полезно остановиться и рассмотреть вывод, потому что он показывает работу всей цепочки. Десять строк — по числу цитат на странице, причём порядок строк повторяет порядок цитат в разметке: colly идёт по DOM сверху вниз, и колбэк получает элементы в том же порядке. Каждая строка — чистый текст узла span.text: никаких HTML-тегов внутри, потому что e.Text возвращает текстовое содержимое, а не сырую разметку. Зато кавычки в начале и конце строки — часть данных: сайт оборачивает каждую цитату в кавычки прямо в тексте, и скрапер честно привозит их вместе со смыслом; обрезать их при желании можно обычным strings.Trim, но это уже вопрос парсинга, а не скачивания. Если вы вместо цитат увидели пустоту — программа всё равно сработала правильно: значит, промахнулся селектор, и следующая пара уроков про HTML и селекторы создана ровно для этого случая. И последнее: одна страница — это десять цитат из сорока, которые есть на сайте; до остальных мы доберёмся, когда научимся ходить по пагинации, а пока навык зафиксирован на компактном материале.

c.Visit(url) возвращает error, и это не формальность: сеть обрывается, домен опечатан, сервер отдаёт 404 или таймаут. В минимальном примере достаточно напечатать ошибку и выйти — как в программе выше. Но у ошибки есть и второй потребители: colly регистрирует колбэк OnError, который получает ответ и ошибку для каждого неудавшегося запроса, — туда переезжает логирование и решение, что делать дальше: повторить, пропустить адрес или остановить сбор. Полная обработка ошибок — тема отдельного урока про OnError и повторы; здесь зафиксируем привычку: любой Visit в коде курса сопровождается проверкой возвращаемого значения, потому что скрапер без неё молча рапортует об успехе на пустом выводе. Да и в бытовом смысле сообщение не удалось открыть сайт: dial tcp: no such host сэкономит вам десять минут взгляда в терминал вместо допроса селекторов, которые тут ни при чём.

Первый скрапер работает, но пока мы знаем про разметку ровно то, что подсказала задача со стороны: span.text и .author. Следующий урок закрывает пробел — HTML для скрапера: как читать дерево документа и находить селекторы самому. Потом — CSS-селекторы в colly во всей красе: классы, вложенность, атрибуты. А если хочется сразу к механике — пятый урок разбирает, как именно OnHTML обходит страницу и почему правил у коллектора может быть много.