Как обрабатывать 1 млн записей?

Главное — не загружай всё в память. Читай батчами по 1000-10000 из БД (LIMIT/OFFSET или cursor). Обрабатывай параллельно через worker pool с 5-20 воркерами. Пиши результат тоже батчами. Логируй прогресс каждые N записей. Используй контекст для отмены. Для идемпотентности сохраняй checkpoint — последний обработанный ID, чтобы при падении продолжить с него. При 1 млн это обычно минуты, не часы — если дольше, оптимизируй.