Как спроектировать log collector типа Fluentd?

Middle
94 просмотров
AFK Offer AI

Архитектура: input plugins (tail файлов, syslog, HTTP), buffer (in-memory + WAL на диске), output plugins (Elasticsearch, S3, Kafka). Parsing: regex/JSON, добавление metadata (host, timestamp). Backpressure: если output медленный — буфер растёт, при переполнении — drop или block. Go: fsnotify для tail, горутина на файл, channel pipeline.

Следующий вопрос

Что такое backward compatible migration?