Сохраняем результат: JSON и CSV

Данные собираются так, как разбирали в уроке про структуры для спарсенного: колбэк OnHTML создаёт структуру Product и добавляет её в общий слайс, а запись в файл — один раз в конце main, когда Visit отработал и слайс наполнен. json.MarshalIndent(v, "", " ") превращает слайс в []byte с отступами — такой файл читается глазами, открывается в редакторе и красиво смотрится в diff при отладке схемы. Ошибка маршалинга проверяется честно: Marshal не справляется с каналами, функциями и циклическими ссылками, но модель скрапера из строк и чисел в эту категорию не попадает — если только в структуру не попало поле-функция от какой-нибудь рефлексии. os.WriteFile кладёт байты на диск одним вызовом; права 0644 означают rw-r--r-- — владелец пишет, остальные читают. Имя файла — не мелочь: одна и та же выгрузка каждый день в один products.json затирает вчерашнюю, а вам потом захочется сравнить. Дата в имени решает это за секунду. Третий вариант — json.Marshal без отступов: компактный документ для пайплайна, где читает его программа, а не человек. Для сценария «собрал — сохранил — вышел» MarshalIndent — самый быстрый путь от слайса к файлу, и именно с него стоит начинать каждый новый скрапер.

MarshalIndent собирает весь документ в памяти как []byte — для отчёта это норма, для больших объёмов расточительно. Второй путь — json.NewEncoder(w).Encode(v): кодировщик пишет прямо в io.Writer, без промежуточного слайса байтов. Два отличия, о которых полезно знать заранее. Encode завершает документ переводом строки: файл, собранный энкодером, заканчивается \n, а маршал-дамп — нет, и на этой черте, забегая вперёд, держится весь JSONL. Encoder работает с любым писателем — os.File, os.Stdout, сетевым соединением, буфером в тесте — поэтому один и тот же код выгрузки живёт и в скрапере, и в его тестах. Отступы включаются отдельным вызовом SetIndent("", " ") — без него JSON выйдет компактным, в одну строку, что для пайплайна даже дешевле: меньше байт, тот же смысл. Ещё одна настройка, о которой узнают по странному выводу: по умолчанию энкодер экранирует символы HTML — угловые скобки и амперсанд в тексте товара превратятся в \u003c и \u003e; отключается вызовом SetEscapeHTML(false), если выгрузка читается человеком. Практическое правило такое: одна выгрузка в конец программы — что угодно из двух, разница вкусовая; данные, которые текут мимо уже открытого писателя, — энкодер, потому что ему не нужен весь документ сразу.

Когда записей десятки тысяч, единый JSON-документ становится обузой: его надо целиком держать в памяти, целиком перечитывать, и докинуть в него запись означает пересобрать весь файл заново. Альтернатива — JSONL, он же NDJSON: один JSON-объект на строку. Файл открывается один раз с флагами os.O_APPEND|os.O_CREATE|os.O_WRONLY и правами 0o644 — дописываем без затирания; создаётся json.NewEncoder(f), и на каждую запись вызывается Encode(item): энкодер сам ставит \n в конец, и ровно эта черта превращает поток объектов в валидный JSONL. Такой файл можно читать построчно любым инструментом — grep, wc -l, awk — и докидывать записи в существующий выгрузкой другого дня, не пересобирая старое: файл с вчерашними строками и сегодня — это корректный JSONL, а не полусборка. Читающая программа разбирает его тем же энкодером наоборот: bufio.Scanner построчно плюс json.Unmarshal на каждую строку — память расходуется на одну запись, а не на весь файл. Цена формата — вложенность: объект с многострочной структурой внутри сломает построчную модель, поэтому в JSONL пишут плоские записи, а глубину оставляют единому JSON. Для действительно больших выгрузок файл разделяют по дате в имени — prices-2025-03-01.jsonl — и при желании жмут gzip-ом: построчный формат прекрасно переживает архивацию, а строка-дата в имени превращает ротацию в вопрос переименования.

CSV — формат для читателя-человека: Excel, Google Sheets, да просто глаза. Пакет encoding/csv: csv.NewWriter(out) оборачивает писателя буфером, w.Write([]string{...}) кладёт строку-запись, w.Flush() выталкивает буфер на диск, err := w.Error() возвращает первую накопившуюся ошибку записи. Три нюанса. Flush обязателен: внутри NewWriter сидит буфер, и без него файл останется пустым или обрезанным ровно на середине. Write возвращает error, но ошибки он накапливает до Flush — надёжнее проверять w.Error() после него. И квотирование автоматическое: поле с запятой, кавычкой или переводом строки само обернётся кавычками, а кавычки внутри удвоятся — руками экранировать ничего не нужно, и в этом главное отличие пакета от склейки строк через strings.Join, которая ломается на первом же названии с запятой. Если Excel показывает кракозябры, допишите в начало файла BOM — три байта EF BB BF, подсказку о кодировке UTF-8. И последнее: числа пишите с точкой, а не с запятой, — ячейка «89,90» в русской локали превратится в дату или текст, и таблица перестанет считаться. У читателя есть и своя страховка: по умолчанию он ждёт в каждой строке столько колонок, сколько в первой, и возвращает ошибку на смещённой записи — тихо съехавших колонок в правильном CSV не бывает.

Выгрузка хороша настолько, насколько легко читается обратно. JSONL разбирается построчно: bufio.Scanner поверх файла плюс json.Unmarshal на каждую строку — память занимает одна запись, и файл на миллион строк обрабатывается так же спокойно, как на десять. Единый JSON-документ читается целиком: os.ReadFile плюс json.Unmarshal в []Product — просто, но память пропорциональна файлу. CSV возвращается пакетом же encoding/csv: csv.NewReader(f), затем r.ReadAll() даёт [][]string, где первая строка — заголовок; для больших файлов вместо ReadAll берут r.Read() в цикле — построчно, без всего файла в памяти. Типов в CSV нет: всё текст, и число с запятой в качестве десятичного разделителя придётся чистить strconv-ом — ещё один довод писать числа с точкой и хранить их в отдельной колонке. Из этого следует рабочий вывод: данные отдаются в том формате, в котором их будут есть, — не заставляйте аналитика распаковывать ваш любимый бинарник. И проверяйте обратную сторону до боевого запуска: собранный файл читается второй программой, заголовки сходятся с ожидаемыми, даты парсятся — выгрузка, которую нельзя прочитать обратно, это просто способ потерять данные с лишним шагом.

Файлы хороши, пока вопросы звучат как «выгрузи каталог». Как только появляется «сколько товар стоил первого числа», файлы начинают складываться в папки, а папки — в беспорядок. Ответ — база: следующий урок складывает спарсенное в SQLite через database/sql — с upsert вместо дублей и append-only историей цен вместо разовых дамп-файлов; смежный разбор — в уроке про сохранение в базу. Сырьё для неё — ровно те структуры, что вы собирали здесь. А когда выгрузка станет частью пайплайна, ей понадобятся тесты: фикстуры и локальный тест-сервер разбираются в уроке про тестирование скрапера. Карта маршрута курса — на странице Colly.