Как работает Random Forest?

Random Forest — ансамбль деревьев решений. Каждое дерево обучается на bootstrap выборке (с возвращением). На каждом split — случайное подмножество признаков (max_features=sqrt(n)). Предсказание: голосование (classification) или среднее (regression). Bagging + random features = разнообразие деревьев. RandomForestClassifier(n_estimators=100). Плюсы: устойчив к overfitting, не нужно масштабирование, feature_importances_, OOB score (out-of-bag). Минусы: медленнее одного дерева, менее интерпретируемо. n_estimators — больше лучше (до точки насыщения). Один из лучших "из коробки" алгоритмов.