Suppression des doublons
Un même événement livré deux fois, une fiche client saisie en double : les doublons gonflent vos volumes et faussent vos comptages. iD4Connect les repère dans le flux et n'en laisse passer qu'un seul exemplaire, sans base tampon intermédiaire.
Le même enregistrement, plusieurs fois
Les rejeux de messages, les reprises réseau et les saisies multiples produisent des copies qui se propagent partout en aval. Un dédoublonnage de nuit dans l'entrepôt laisse ces copies fausser les traitements toute la journée. La déduplication gagne à s'opérer au fil de l'eau, avant distribution.
De la source à la destination, en un seul passage
Définir la clé d'unicité
Vous déclarez ce qui rend un enregistrement unique : une clé exacte (identifiant, hash) ou un ensemble de champs comparés par similarité. iD4Connect applique cette définition dès l'ingestion.
Comparer sur une fenêtre glissante
Chaque enregistrement entrant est confronté aux précédents sur une fenêtre temporelle ou volumétrique que vous fixez. La comparaison se fait en mémoire, sans réplication du flux dans une base de travail.
Ne transmettre que l'original
Le premier exemplaire poursuit sa route, les copies sont écartées ou journalisées. Vos systèmes cibles reçoivent un flux dédoublonné, propre à compter et à agréger.
Ce que cette fonctionnalité vous apporte
Correspondance exacte ou floue
Déduplication par clé stricte (hash, identifiant) ou par similarité approchée sur des champs texte, pour rattraper les variantes de saisie.
Fenêtre configurable
Comparaison sur une fenêtre de temps ou de nombre d'enregistrements, adaptée au débit et à la nature du doublon.
Idempotence des flux
Un événement rejoué n'est traité qu'une fois, ce qui rend vos chaînes tolérantes aux reprises réseau.
Journal des copies
Chaque doublon retiré peut être tracé, pour audit ou analyse des sources de duplication.
Bénéfices
- Des comptages et agrégats justes en aval.
- Des volumes allégés dès l'entrée du flux.
- Des chaînes tolérantes aux rejeux et reprises.
- Aucune base tampon à maintenir pour dédoublonner.
En pratique
Une plateforme de paiement reçoit des notifications de transaction qui peuvent être émises plusieurs fois en cas de reprise réseau. Comptées en double, elles fausseraient la réconciliation. iD4Connect déduplique les notifications en vol sur leur identifiant, dans une fenêtre de quelques minutes, avant de les transmettre au système comptable. Chaque transaction n'est enregistrée qu'une fois, sans intervention manuelle de rapprochement.
Questions fréquentes
Comment gérer les doublons non identiques ?
Au-delà de la clé exacte, iD4Connect compare des champs par similarité (distance textuelle) pour rapprocher des variantes, comme une adresse orthographiée différemment.
Sur quelle fenêtre s'effectue la comparaison ?
Vous fixez une fenêtre temporelle ou volumétrique. Elle borne la mémoire nécessaire et s'ajuste selon le débit et le délai attendu entre deux copies.
Que deviennent les doublons retirés ?
Ils sont écartés du flux principal et, si vous le souhaitez, journalisés pour analyser l'origine des duplications.
Orchestrez vos données en transit, sans stockage
iD4Connect connecte, transforme et distribue vos flux en temps réel. Souverain, on-premise, cloud ou edge.
Demandez une démo