Как работать с large datasets?

Не загружай всё в память. Используй курсоры (DECLARE CURSOR) или пагинацию через LIMIT/OFFSET (лучше keyset pagination). В pgx — rows итератор уже стримит, но для миллионов строк лучше явный курсор в транзакции. Для вставки — CopyFrom. Для агрегации — делай в SQL, не в Go. Батчи обработки по 1000-10000 строк.