Règles d'unicité
Dans un flux continu, le même enregistrement peut se présenter plusieurs fois : rejeu, double émission, fusion de sources. iD4Connect reconnaît ces doublons pendant le transit et n'en laisse passer qu'un exemplaire.
Les doublons faussent vos traitements
Un même événement émis deux fois gonfle un chiffre d'affaires, déclenche un double envoi ou crée deux comptes pour un seul client. Garantir l'unicité suppose de se souvenir de ce qui est déjà passé, ce qu'un traitement sans état ne fait pas nativement. Le défi est de détecter le doublon sans accumuler indéfiniment tout l'historique.
De la source à la destination, en un seul passage
Définition de la clé d'unicité
Vous déclarez ce qui rend un enregistrement unique : une clé simple, une clé composite (client + date + montant) ou une empreinte calculée sur plusieurs champs. Cette signature sert de référence tout au long du flux.
Détection dans une fenêtre glissante
iD4Connect maintient en mémoire les empreintes récentes sur une fenêtre temporelle ou volumétrique que vous paramétrez. Chaque nouvel enregistrement est comparé à cette empreinte sans qu'aucune base tampon ne soit constituée.
Sortie dédoublonnée
Le premier exemplaire poursuit sa route ; les occurrences suivantes sont écartées ou signalées. Vos systèmes cibles reçoivent un flux propre, sans réconciliation a posteriori.
Ce que cette fonctionnalité vous apporte
Clés composites
Combinaison de plusieurs champs pour définir l'unicité métier, au-delà d'un simple identifiant technique.
Empreintes de contenu
Calcul d'une signature (hachage) sur le contenu pour repérer des doublons même sans identifiant stable.
Fenêtres paramétrables
Détection sur une fenêtre de temps ou de volume, dimensionnée selon votre débit et votre tolérance mémoire.
Idempotence des rejeux
Un même message rejoué après incident n'est traité qu'une fois, ce qui rend vos pipelines rejouables sans risque.
Bénéfices
- Chiffres et compteurs justes, sans double comptage.
- Rejeux de flux sûrs grâce à l'idempotence.
- Empreinte mémoire maîtrisée par la fenêtre glissante.
- Aucune table de déduplication à héberger ni maintenir.
En pratique
Votre plateforme de paiement réémet parfois le même événement de transaction lorsqu'un accusé de réception se perd. Comptés deux fois, ces événements faussent le rapprochement comptable. Vous définissez une clé composite (identifiant de transaction + horodatage) et une fenêtre glissante de quelques minutes. iD4Connect écarte les réémissions en vol, et votre système comptable n'enregistre chaque transaction qu'une seule fois.
Questions fréquentes
Comment détecter un doublon sans tout stocker ?
iD4Connect ne conserve que les empreintes de la fenêtre courante, pas les enregistrements complets ni l'historique entier ; la mémoire reste bornée par la taille de fenêtre que vous fixez.
Que se passe-t-il si un doublon arrive après la fenêtre ?
Au-delà de la fenêtre, l'empreinte n'est plus en mémoire et le doublon ne peut plus être détecté ; vous dimensionnez donc la fenêtre selon le délai maximal de réémission attendu.
Puis-je dédoublonner sur autre chose qu'un identifiant ?
Oui : une empreinte calculée sur le contenu permet de repérer des enregistrements identiques même en l'absence de clé technique fiable.
Orchestrez vos données en transit, sans stockage
iD4Connect connecte, transforme et distribue vos flux en temps réel. Souverain, on-premise, cloud ou edge.
Demandez une démo