Service discovery: Consul

У прокси из урока 11 есть скрытый долг: список localhost:8081,localhost:8082 живёт ровно до первого нормального деплоя. Автоскейлинг добавил пятый под — он молча простаивает; под с аварией заменён оркестратором — его адрес в списке мёртв, и retry добросовестно долбит в стену; IP в Kubernetes меняются при каждом рестарте — руками вести такой список бессмысленно. Ответ микросервисной индустрии — service discovery: реестр, где каждый инстанс сообщает «я жив, вот мой адрес», а вызывающие сервисы подписываются на актуальный список. go-kit реализует client-side discovery: реестр используется и серверами (зарегистрироваться), и клиентами (узнать список), а выбор инстанса остаётся в твоём процессе — тот же lb.Balancer из урока 11, только теперь под ним живой список. Роль реестра может сыграть Consul с его health checks и blocking queries, etcd с lease и watch, Kubernetes API, ZooKeeper или даже DNS — и в этом сила подхода go-kit: готовый go kit consul-адаптер живёт в пакете sd/consul, рядом sd/etcdv3, и оба адаптируют каждый бэкенд к ОДНИМ И ТЕМ ЖЕ трём интерфейсам. Сменишь реестр — сменится конструктор в main, фабрика и прокси-middleware из прошлого урока не заметят. Именно поэтому в курсе мы учим интерфейсы, а не кнопки конкретного продукта.

Открой kit/sd — там три маленьких типа, и это весь язык discovery. sd.Registrar — интерфейс из двух методов Register() и Deregister(): жизненный цикл одного инстанса; реализация знает, куда и что именно писать в конкретный реестр. sd.Instancer — подписчик на изменения: Register(ch chan<- sd.Event), Deregister(ch) и Stop(); он постоянно следит за реестром и рассылает подписчикам sd.Event{Instances []string, Err error} — ПОЛНЫЙ текущий набор инстансов или ошибку связи, а не дифф. Подписка даёт и режим «слушателя обновлений»: любой твой компонент может зарегистрировать канал и получать срезы инстансов на каждое изменение — в старых версиях go-kit для этого существовал отдельный UpdateListener, сегодня его роль честно выполняет канал sd.Event. sd.Factory — func(instance string) (endpoint.Endpoint, io.Closer, error): превращает строку-инстанс в endpoint, а io.Closer нужен, когда endpoint держит соединение, которое надо закрыть, когда инстанс уходит. Замыкает тройку sd.NewEndpointer(instancer, factory, logger): он регистрирует внутренний канал у Instancer и является каноническим слушателем обновлений — каждый sd.Event превращается в пересобранный список endpoint'ов через factory; ошибочные события он переживает, продолжая отдавать последние живые endpoints, пока опцией sd.InvalidateOnError(timeout) не скажешь иначе. Запомни потоки данных: Registrar — сервер вверх в реестр, Instancer — вниз к клиенту, Factory — строка в endpoint, Endpointer — их склейка.

Первая половина круга — серверная: инстанс должен появиться в реестре и вычеркнуться сам. Пакет sd/consul оборачивает официальный github.com/hashicorp/consul/api: consulsd.NewClient(apiClient) даёт Client с тремя методами Register, Deregister и Service; конструктор принимает consul.Client, созданный api.NewClient(api.DefaultConfig()) — тот же клиент, что и весь остальной код против Consul, никакого параллельного протокола. Регистрация описывается структурой api.AgentServiceRegistration: ID — уникальное имя инстанса (конвенция: сервис-хост-порт, иначе два пода перезапишут друг друга), Name — имя сервиса, по которому его будут искать, Address и Port — куда ходить, Tags — фильтры вроде version=v2. Сердце discovery — Check api.AgentServiceCheck: Consul сам ходит по адресу, чтобы убедиться, что инстанс жив. HTTP-check пингует http://host:port/healthz каждые Interval=10s с Timeout=1s; для TCP-сервисов есть TCP-check. Добавь DeregisterCriticalServiceAfter (например, 1m): инстанс, чей check красный дольше минуты, вычёркивается из каталога совсем — иначе в реестре накопятся зомби. Обёртка над всей этой структурой — consulsd.NewRegistrar(client, registration, logger): он реализует sd.Registrar, логирует Register и Deregister в структурный лог из урока 06, а ошибки не паникует. В main: registrar.Register() сразу после поднятия слушателя и defer registrar.Deregister() — при graceful shutdown из урока 19 инстанс исчезнет из ротации до того, как процесс умрёт.

Вторая половина круга — клиентская: узнать живых. consulsd.NewInstancer(client, logger, service, tags []string, passingOnly bool) создаёт Instancer для сервиса по имени. Внутри — blocking queries, фирменная механика Consul: клиент спрашивает «что изменилось с индекса N?» и сервер ДЕРЖИТ соединение открытым, пока в каталоге что-то не поменяется, — long polling вместо опроса по таймеру, минимальная латентность при почти нулевом трафике. Аргумент tags фильтрует инстансы по всем тегам сразу, а passingOnly=true — самый важный переключатель: true значит «только инстансы с зелёными health checks», и это дефолт для продакшена, потому что под красным check инстанс жив физически, но слать туда запросы нельзя. При изменении каталога Instancer рассылает подписчикам sd.Event с полным списком адресов; при сбое связи с Consul уходит sd.Event{Err: ...}, и Instancer переходит в exponential backoff — в исходнике интервал растёт от 10 мс через conn.Exponential. Слушателем событий по умолчанию служит Endpointer из sd.NewEndpointer: он держит endpoint-кеш и на каждое обновление пересоздаёт endpoint'ы через фабрику — новорождённые добавляются, вычеркнутые закрываются через их io.Closer. А если реестр умер целиком? Endpointer по умолчанию продолжает отдавать последние известные endpoints — лучше работать по вчерашней карте, чем лечь целиком; если для твоего сервиса наоборот, включи sd.InvalidateOnError(timeout): после таймаута без свежих данных Endpointer начнёт возвращать ошибку, и lb.Balancer честно ответит ErrNoEndpoints из урока 11.

etcd — тот же класс реестра с другой философией: вместо активных health checks — TTL-lease, вместо blocking queries — watch по префиксу. Пакет sd/etcdv3 оборачивает go.etcd.io/etcd/client/v3: etcdv3.NewClient(ctx, machines []string, etcdv3.ClientOptions{}) строит соединение с опциями DialTimeout и DialKeepAlive (дефолт по три секунды). Регистрация описывается структурой etcdv3.Service{Key, Value, TTL *TTLOption}: Key — уникальный путь вроде /services/stringsvc/127.0.0.1:8081, Value — строка-инстанс, которую получит фабрика (обычно host:port или URL). TTL создаётся NewTTLOption(heartbeat, ttl) с рекомендованными тремя и десятью секундами: Registrar заводит lease, горутина-heartbeat освежает его каждые heartbeat, и пока процесс жив, ключ существует; процесс умер — lease истёк, etcd сам удалил ключ, и через ttl инстанс исчез из списков. Это и есть живость без HTTP-check: реестр узнаёт о смерти по отсутствию пульса, а не по неответу на пинг. etcdv3.NewRegistrar(client, service, logger) реализует тот же sd.Registrar, а etcdv3.NewInstancer(client, prefix, logger) подписывается watch'ем на префикс и рассылает sd.Event при любом добавлении или удалении ключа — клиентская цепочка с sd.NewEndpointer и lb не меняется ни на символ. Что выбрать: Consul силён health checks, тегами и UI, etcd — простотой модели «ключ-значение» и тем, что уже стоит в кластере Kubernetes; в пакете sd есть также адаптеры kubernetes, dnssrv и zookeeper — все с теми же тремя интерфейсами.

Discovery ломается не в коде, а в данных, поэтому пройдём по полям регистрации как по контракту. ID должен быть уникальным на весь реестр: сервис-хост-порт — рабочая конвенция, и рестарт на том же хосту перезапишет свою же запись вместо плодления дублей. Name — имя сервиса, под которым его ищут клиенты; договоритесь о едином стилистическом регистре, потому что поиск чувствителен к строке. Address — адрес, ДОСТУПНЫЙ вызывающим: IP пода, а не localhost, иначе инстанс зарегистрируется и ни один сосед не достучится — классическая ошибка первого запуска. Tags — это твои срезы трафика: version=v2 для канареек, dc=east для географии, env=prod как страховка; фильтр на клиенте обязан совпадать по всем тегам инстанса. В Meta можно положить пары ключ-значение — но помни урок кардинальности из 07: в реестре место для идентификации, а не для показаний счётчиков. Interval health check выбирай из цены: проверка каждые 10 секунд — это до 10 секунд, пока мёртвый инстанс числится живым; интервальные check'и — компромисс между скоростью реакции и нагрузкой на Consul. И последнее: healthz из урока 20 будет отдавать осмысленный readiness — сейчас достаточно 200 OK, но держи эндпоинт честным: 200 должен значить «я реально могу обработать запрос», иначе discovery превратится в театр.

Круг замкнулся: сервер регистрируется с health check, клиент подписывается через Instancer, Factory превращает адреса в endpoint'ы, а балансировочная цепочка из урока 11 теперь питается живым списком — и вся эта конструкция переживает деплои, автоскейлинг и падения соседей. Освежить фундамент можно в уроке 02-endpoint, клиентский транспорт — в уроке 04-http-transport; карта курса — на странице курса. Один штрих остался: фабрика пока строит HTTP-ноги, а индустрия для service-to-service выбирает gRPC — бинарный протокол с контрактом в .proto и кодогенерацией. Дальше — урок 13-grpc-transport: grpctrans.NewServer, биндинг proto-сервиса и gRPC-клиент, который встаёт в нашу фабрику одной функцией.