Что такое регуляризация L1 и L2?

Middle
290 просмотров
AFK Offer AI

Регуляризация — штраф за сложность модели, борется с overfitting. L1 (Lasso): добавляет |w| к loss. Обнуляет малые коэффициенты — feature selection. L2 (Ridge): добавляет w² к loss. Уменьшает все коэффициенты, не обнуляет. ElasticNet: L1 + L2 комбинация. В sklearn: Lasso(alpha=0.1), Ridge(alpha=1.0). Для LogisticRegression: penalty="l1", penalty="l2". C = 1/alpha — обратная сила регуляризации. L1 хорош когда много неважных признаков. L2 — когда все признаки потенциально важны. alpha — гиперпараметр, подбирается через CV.

Следующий вопрос

Что такое EAFP и LBYL?