Что такое XGBoost и чем отличается от обычного градиентного бустинга?

XGBoost — оптимизированная реализация gradient boosting. Быстрее sklearn GBM в 10+ раз. Особенности: L1/L2 регуляризация встроена, обработка пропусков (автоматически), early stopping, parallel tree building, histogram-based splitting. xgb.XGBClassifier(n_estimators=100, max_depth=6, learning_rate=0.1). eval_set + early_stopping_rounds — автоматическая остановка при переобучении. GPU поддержка: tree_method="gpu_hist". feature_importances_ — gain, weight, cover. Альтернативы: LightGBM (быстрее на больших данных), CatBoost (лучше с категориальными).