Load balancer — штука, которая распределяет входящий трафик между несколькими экземплярами сервиса. Если у тебя три сервера с приложением, балансировщик решает, какой из них обработает очередной запрос. Самые простые алгоритмы — round robin (по очереди) и least connections (на наименее загруженный). Балансировщики бывают L4 (TCP уровень, быстрее) и L7 (HTTP уровень, умнее — может смотреть заголовки и URL). В облаках это обычно управляемый сервис, а для своих серверов — nginx или HAProxy.