Как развернуть ML модель через FastAPI?

Senior
268 просмотров
AFK Offer AI

FastAPI идеален для ML serving — async, быстрый, типизированный. Загружаешь модель при старте: model = joblib.load("model.pkl"). Endpoint: @app.post("/predict") def predict(data: PredictRequest): features = preprocess(data); return {"prediction": model.predict(features).tolist()}. Pydantic для валидации входных данных. Batch prediction: принимаешь список. Health check: /health. Dockerfile: python + requirements + model file. Масштабирование: несколько workers (uvicorn --workers 4). Для тяжёлых моделей: background tasks или Celery. Мониторинг: Prometheus + response time + prediction drift.

Следующий вопрос

Как работают HTTP headers?