Как работает Gradient Boosting?

Gradient Boosting — последовательное добавление слабых моделей (деревьев), каждая исправляет ошибки предыдущих. Каждое новое дерево обучается на градиенте loss функции (остатках). learning_rate — шаг обучения, меньше = стабильнее, но нужно больше деревьев. GradientBoostingClassifier(n_estimators=100, learning_rate=0.1, max_depth=3). Boosting vs Bagging: boosting — последовательно, bagging (RF) — параллельно. Чувствителен к overfitting: контролируй max_depth, learning_rate, n_estimators. Обычно точнее RF, но дольше обучается и требует тюнинга.