Каким образом технически реализована проверка дублей — отдельный процесс проверки перед вставкой или что-то другое?

Проверка дублей обычно реализуется на уровне базы данных с помощью уникальных ограничений (unique constraints) или уникальных индексов. Это позволяет гарантировать уникальность данных без необходимости отдельного процесса перед вставкой.

Если проверка реализуется на уровне приложения, то часто это делается в рамках транзакции: сначала выполняется запрос на поиск существующей записи с такими же ключами, затем — вставка, если дубликат не найден. Однако такой подход подвержен состоянию гонки (race condition) в многопоточной среде.

Поэтому оптимальным считается:

• Использовать уникальные индексы в базе данных для автоматической проверки.
• Обрабатывать ошибки уникальности (например, SQLException с кодом нарушения уникального ограничения) в приложении.

Пример на Java с использованием JDBC:

try {
    // попытка вставки
    insertIntoTable(data);
} catch (SQLException e) {
    if (e.getSQLState().equals("23505")) { // код ошибки уникального ограничения в PostgreSQL
        System.out.println("Дубликат найден, вставка отменена");
    } else {
        throw e;
    }
}