Как настроить concurrency в Celery workers?

Senior
199 просмотров
AFK Offer AI

Worker concurrency — количество параллельных задач. celery -A app worker --concurrency=4. Пулы: prefork (default) — multiprocessing, для CPU-bound. gevent/eventlet — greenlets, для I/O-bound (сотни параллельных). solo — один процесс, для отладки. --pool=gevent --concurrency=100 — 100 greenlets. Autoscale: --autoscale=10,3 — от 3 до 10 воркеров по нагрузке. Для prefork: concurrency = CPU cores. Для gevent: concurrency может быть 100-1000. -Q queue1,queue2 — воркер слушает конкретные очереди. Разные пулы для разных задач.

Следующий вопрос

Что такое async context manager?