Что такое deduplication?

Удаление дубликатов — на уровне данных, событий или запросов. Для событий: каждое имеет уникальный ID, получатель хранит обработанные ID и пропускает повторы. Для данных: unique constraint в БД, bloom filter для быстрой проверки. В Go часто используют map[string]struct{} для in-memory дедупликации. Для распределённых систем — Redis SET или БД с upsert.