Что такое regression testing в контексте ML/AI фич?

Senior
246 просмотров
AFK Offer AI

ML тестирование специфично: нет детерминированных ответов. Подходы: golden set testing (фиксированный набор примеров с эталонными ответами, метрики точности), A/B тестирование моделей, shadow mode (новая модель работает параллельно без влияния на пользователей). Drift detection: модель деградирует на новых данных со временем. QA роль: определять метрики качества (precision, recall, F1), проверять что production данные соответствуют training distribution, тестировать граничные случаи (adversarial inputs), проверять fairness (нет дискриминации по защищённым атрибутам).

Следующий вопрос

Что такое capacity planning и роль QA?