DAG (направленный ациклический граф) задач. Каждая задача: extract, transform или load. Scheduler запускает задачи по зависимостям. Worker pool выполняет. Состояние в PostgreSQL (task, status, last_run, next_run). Retry с backoff. Idempotent задачи (перезапуск безопасен). Go: горутина на задачу, errgroup для параллелизма, context для отмены всего DAG при ошибке.
Как спроектировать ETL pipeline на Go?
Middle
109 просмотровAFK Offer AI
Что такое migration versioning?