Data pipeline — цепочка обработки данных от источника к получателю. Каждый этап делает одну вещь: чтение, валидация, трансформация, обогащение, запись. В Go идеально ложится на горутины и каналы — каждый этап как горутина, данные текут через каналы. Преимущества: легко добавлять этапы, параллельность из коробки, backpressure через буферизированные каналы. Фреймворки: Benthos, go-streams. Для простых случаев достаточно самописного pipeline.

Что такое data pipeline?