Как спроектировать data warehouse на Go?

Senior
57 просмотров
AFK Offer AI

ETL pipeline: extract из sources (PostgreSQL, APIs), transform (cleaning, joining, aggregation), load в columnar storage (ClickHouse, Parquet в S3). Schema: star/snowflake schema, fact и dimension tables. Go: orchestrator запускает DAG задач, каждая задача — горутина с context. Incremental loads по watermark (last_updated). Data quality checks после каждого load.

Следующий вопрос

Как реализовать Valuer interface?