Как спроектировать analytics pipeline на Go?

Senior
80 просмотров
AFK Offer AI

Ingestion: HTTP/gRPC endpoint принимает события, кладёт в Kafka. Processing: consumer group читает, обогащает (GeoIP, user agent parsing), записывает в ClickHouse/BigQuery. Batch layer: ежедневные агрегации. Real-time: materialized views в ClickHouse. API: SQL-like запросы через ClickHouse HTTP interface. Go: high-throughput event collector, batch writer для storage.

Следующий вопрос

Как работать с distributed transactions в Go?