Как спроектировать canary deployment system?

Два набора подов: stable (95%) и canary (5%). Load balancer распределяет трафик по весам. Мониторинг canary: error rate, latency P99, business metrics. Автоматический rollback если метрики degraded. Постепенное увеличение: 5% → 25% → 50% → 100%. Go: controller проверяет метрики через Prometheus API, управляет весами в Nginx/Istio через API. Бывает и manual promote.