Opérations unitaires
Les opérations unitaires regroupent les transformations simples et atomiques que vous appliquez à un flux : filtrer, nettoyer, normaliser un champ. Chacune fait une chose, au fil de l'eau.
Nettoyer sans usine à gaz
Beaucoup de besoins se résument à retirer un champ, corriger un format ou écarter des enregistrements vides. Mobiliser un traitement lourd pour ces gestes simples est disproportionné. L'opération unitaire couvre ces cas avec un seul geste, sans code.
De la source à la destination, en un seul passage
Sélectionner le champ ou l'objet
Vous désignez l'élément à traiter dans le flux entrant. La sélection reste simple et lisible, sans configuration lourde.
Transformer à la volée
L'opération s'applique pendant que la donnée passe : suppression, formatage, mise en minuscules, retrait des blancs. La donnée n'est pas dupliquée pour être nettoyée.
Laisser passer le résultat
L'enregistrement nettoyé continue vers l'étape suivante immédiatement. Rien n'est stocké entre l'entrée et la sortie de l'opération.
Ce que cette fonctionnalité vous apporte
Filtrage simple
Vous écartez les enregistrements qui ne remplissent pas une condition élémentaire, avant qu'ils ne poursuivent.
Nettoyage de champs
Suppression des espaces superflus, normalisation de casse et correction de format s'appliquent en une opération.
Atomique et lisible
Chaque opération fait une seule chose, ce qui rend le pipeline facile à relire et à maintenir.
Bénéfices
- Gestes de nettoyage sans écrire de code.
- Pipeline lisible, une opération par intention.
- Application au fil de l'eau, sans copie de travail.
- Mise en place rapide pour les besoins simples.
En pratique
Un responsable data reçoit un flux dont certains champs texte contiennent des espaces parasites et des casses incohérentes. Plutôt que d'écrire un script, il chaîne quelques opérations unitaires de nettoyage et de normalisation. Elles s'appliquent à chaque enregistrement pendant son passage, sans copie de travail sur disque. Le flux ressort propre et homogène, prêt pour l'étape suivante.
Questions fréquentes
Quelle différence entre une opération unitaire et un job ?
Une opération unitaire est un geste élémentaire (filtrer, nettoyer un champ) ; un job peut regrouper une action plus structurée ciblant un type d'objet.
Faut-il coder pour utiliser une opération unitaire ?
Non : les opérations simples se configurent de façon déclarative, sans écrire de script.
Les données nettoyées sont-elles conservées ?
Non. Le nettoyage s'opère en transit et l'enregistrement repart aussitôt, sans version intermédiaire persistée.
Orchestrez vos données en transit, sans stockage
iD4Connect connecte, transforme et distribue vos flux en temps réel. Souverain, on-premise, cloud ou edge.
Demandez une démo