Что такое качество CI pipeline и как его измерять?

Senior
231 просмотров
AFK Offer AI

Метрики здорового pipeline: Build time (цель < 10 мин для быстрой обратной связи), Flakiness rate (% тестов которые иногда падают без причины, цель < 1%), Recovery time (как быстро чиним сломанный pipeline), Failure detection rate (% багов найденных в CI, а не production). Sигналы проблем: pipeline игнорируют ("сломан — буду ждать пока кто-то починит"), отключают тесты без объяснения, pipeline 2+ часа. QA automation engineer следит за здоровьем pipeline как за продуктом.

Следующий вопрос

Что такое performance budgets в тестировании?