Как спроектировать ETL pipeline на Go?

Middle
109 просмотров
AFK Offer AI

DAG (направленный ациклический граф) задач. Каждая задача: extract, transform или load. Scheduler запускает задачи по зависимостям. Worker pool выполняет. Состояние в PostgreSQL (task, status, last_run, next_run). Retry с backoff. Idempotent задачи (перезапуск безопасен). Go: горутина на задачу, errgroup для параллелизма, context для отмены всего DAG при ошибке.

Следующий вопрос

Что такое migration versioning?