Извлечение текста и атрибутов

chromedp.Text возвращает innerText — то, что посетитель видит на экране, со всеми переносами и регистром, как это отрисовал браузер. Внутри действия лежит маленький JavaScript-сниппет, и у него есть условие: у узла должны быть ненулевые offsetWidth, offsetHeight или непустые клиентские прямоугольники. Если элемент скрыт, сниппет возвращает пустую строку — и действие завершается успешно, без ошибки. Это решение библиотеки ломает ожидания у половины новичков: ошибка сигнализирует о неточном селекторе или истёкшем дедлайне, а про скрытый элемент текст молчит. Вторая особенность innerText — зависимость от рендера: содержимое display:none-детей в результат не попадёт, текст из script и style тоже, а строки перенесутся примерно так, как они выглядят на экране. Для витрин и карточек это ровно то, что нужно: заголовок, цена, статус — всё это текст, который пользователь реально видит. Для скрытых заглушек и аккордеонов нужен TextContent, о котором ниже.

Три действия снимают зависимость от рендера и отдают сырьё. TextContent читает textContent поддерева: весь текст всех потомков подряд, независимо от видимости — включая содержимое скрытых блоков и тегов script и style. Плата за полноту — отсутствие форматирования: колонки таблицы слипнутся в одну строку, и разбирать их придётся вручную, зато ничего не потеряется. InnerHTML возвращает разметку поддерева без самого узла, OuterHTML — узел целиком вместе с открывающим и закрывающим тегом. Практика простая: текст на экране — Text; данные из скрытых областей — TextContent; вложенная структура вроде таблицы позиций, которую хочется разобрать дома, — InnerHTML, а дальше goquery или стандартная библиотека encoding/html, те же приёмы, что и в HTTP-скрапинге. Разбор разметки у себя дешевле, чем десять чтений по ячейкам: один обмен с браузером — и таблица у вас в строке, дальше она режется без участия Chrome. OuterHTML в продакшен-извлечении редкость, зато незаменим при отладке: сохранили узел в файл, открыли глазами, увидели, что селектор ловит не тот узел, который вы имели в виду. Так находят и вторую половину багов чтения: не «узел не нашёлся», а «узел нашёлся не тот» — класс, который встречается четыре раза, и первый из них не карточка.

AttributeValue читает один атрибут из карты атрибутов узла — той, что собрана из HTML-разметки. Сигнатура с двумя указателями выглядит непривычно: chromedp.AttributeValue(sel, "href", &href, &ok), но именно ok несёт смысл: атрибут есть — true, атрибута нет — false, и ошибки в обоих случаях не будет. Отсутствие атрибута — нормальный ответ, а не авария: у большинства ссылок не бывает title, у картинок без описания нет alt. Проверяйте ok, а не стройте догадки. Когда нужны сразу все атрибуты узла — витрины часто держат в data-свойствах идентификатор товара, цену в копейках и флаги наличия — есть Attributes, заполняющая map[string]string одним обменом с браузером. Для коллекций то же самое делает AttributesAll с опцией ByQueryAll: на выходе срез карт, по одной на узел, порядок совпадает с порядком совпадений селектора. Это первый инструмент экономии, когда карточек много: одна команда вместо дюжины. Один нюанс расфасовки: карта в Go не сохраняет порядок атрибутов, поэтому для отчётов, где колонки важны, значения вынимают по ключам явно, а не перебирают карту.

Тонкое место, на котором спотыкаются даже опытные скраперы: у полей ввода value существует в двух лицах. Атрибут value — это снимок из разметки, начальное значение, которое браузер подставил при отрисовке. Свойство value — текущее содержимое поля, живущее в JavaScript-объекте элемента и меняющееся с каждым вводом. chromedp.Value читает именно свойство: универсальный механизм JavascriptAttribute исполняет на узле функцию this[n] и возвращает то, что лежит в свойстве n. AttributeValue с именем value читает атрибут, и после того, как программа или пользователь что-то напечатали, эти два значения расходятся. То же касается checked у чекбоксов и disabled у кнопок и почти любого состояния, которое страница меняет на лету: атрибут в разметке мог остаться прежним, а свойство уже новое. Типовой сценарий — фильтр каталога: страница загрузилась с дефолтным регионом в поле, скрипт региональной переустановки тут же подменил его на ваш город, и атрибут остался со старым значением. Правило выбора короткое: актуальное состояние — свойство, декларация из HTML — атрибут. Стоимость проверки — один обмен с браузером, дешевле обойтись без неё не получится.

Каждое читающее действие — это обмен с браузером: селектор уехал, узел найден, функция исполнена, результат вернулся. На десятке полей это незаметно, но цикл по двумстам карточкам, где на каждую читается пять значений, превращается в тысячу обменов, и время обхода растёт линейно. Первый уровень экономии — группировать: AttributesAll вынимает атрибуты всех карточек одним действием, InnerHTML карточки снимает сразу всё поддерево, и разбор идёт уже без браузера, чистым Go. Второй уровень — JavaScript: одно выражение chromedp.Evaluate соберёт массив значений со всей страницы за один обмен — об этом десятый урок. Третий — работа с таблицами целиком: когда страница и есть большая таблица, приёмы из урока про скрапинг таблиц сокращают число действий на порядок. Экономить стоит тогда, когда обход реально медленный: переписывать чтение двух полей ради двух миллисекунд — работа в минус. И не путайте группировку с халтурой: InnerHTML вместо пяти Text — это не «сложнее», это другая точка разбора, переносимая в тесты, где браузера нет вовсе.