Структуры для спарсенного: модели и слайсы

Модель данных скрапера — это ответ на вопрос «что именно мы собираем», записанный типами Go. Для карточки каталога минимальный набор — три поля: Title string — название товара, Price int — цена в копейках, URL string — абсолютная ссылка на страницу товара. Каждое решение здесь осознанное. Price — целое число, а не строка и не float64: строку нельзя сравнить и отсортировать честно, дроби в double неточны, а копейки сравниваются обычным меньше-больше. URL — уже абсолютный: относительные ссылки достраивались через AbsoluteURL в месте извлечения, модель получает готовый адрес. Title — строка с обрезанными краями, потому что ChildText сам сделал TrimSpace. Модель фиксирует договорённости сразу: тот, кто заполнит Product грязными значениями, нарушит контракт ещё до сохранения.

Колбэки colly вызываются изнутри библиотеки: у них нет доступа к локальным переменным main — кроме тех, которые они захватили. Анонимная функция, переданная в OnHTML, видит всё из окружающей области видимости, поэтому слайс объявляют в main прямо перед колбэком: products := []Product{}. Внутри колбэка каждая карточка добавляется привычным products = append(products, newProduct(e)) — переменная из внешней области мутируется, и это обычное замыкание, а не фокус. В синхронном режиме, который мы используем пока, Visit возвращает управление только после того, как все колбэки страницы отработали: сразу после Visit слайс полон, и его можно печатать, считать и сохранять. Схема минимальна и честна: объявили аккумулятор рядом с коллектором, наполнили в колбэке, использовали после Visit. Единственное, чего схема не прощает, — объявить слайс внутри колбэка: тогда каждый вызов получит собственную пустую переменную, и к концу страницы соберётся не список товаров, а двадцать однэлементных слайсов, из которых виден последний.

Вот ловушка, которая проявляется не в момент написания, а через два урока. В Go поле структуры с маленькой буквы — неэкспортируемое: снаружи пакета оно не видно. encoding/json и csv-писатель из урока про сохранение работают с полями через рефлексию и читают только экспортируемые. Модель product с полями title, price и url компилируется без предупреждений, парсится без ошибок, а на выходе у json.Marshal — пустые объекты {}, а в CSV — колонки без содержимого. Программа нигде не падает, данные просто тихо исчезают на последнем шаге. Модель данных скрапера поэтому всегда пишется с заглавных букв: Title, Price, URL. Теги вроде json:"title" прибавим, когда дойдём до экспорта, но заглавные буквы нужны уже сейчас — привычка переносить модели «как есть» с маленькими полями обходится в вечер отладки, который не вернёшь.

newProduct(e) — не стилистическая прихоть, а подготовка к уроку про тестирование скрапера. Конструктор — чистая функция от HTMLElement: подал карточку из фикстуры — получил Product, который сравнил с ожидаемым. Никакой сети, никакого sleep, никакого мока всего коллектора. Колбэк при этом остаётся тонким: достал элемент, сконвертировал, дописал в слайс — три строки, которые читаются с одного взгляда. Внутри конструктора место каждой проверке из прошлого урока: пустой ChildText превратится в пустой Title, и модель честно покажет дыру, а не разроет её по коду. Такой подход ещё и масштабируется без боли: добавили в модель поле Weight — правка живёт в одном конструкторе, а не в каждом колбэке каталога. А запускать примеры всё равно понадобится локально — colly работает по сети, песочница курса такие программы не исполняет, о чём уже говорилось и что честно повторим в выводах.

Модель есть, данные лежат в слайсе — дальше их можно везти двумя маршрутами. Первый — расширить территорию: в уроке про навигацию по ссылкам скрапер научится ходить с каталога на детальные страницы, и Product наполнится с каждой из них. Второй — выгрузить: в уроке про JSON и CSV те же структуры превратятся в файлы, и заглавные буквы полей начнут работать на вас. А перед тем как слайс поедет в файлы, стоит увидеть, где он сломается: урок про параллельный скрапинг разберёт Async и синхронизацию на тех же продуктах.