Principe
Le nettoyage harmonise les formats (unités, majuscules, espaces), corrige les valeurs aberrantes, complète les manques et identifie les doublons (recherche approximative sur les désignations). Il précède toute migration de système et tout projet d'analyse.
Comprendre pas à pas
1. La situation
Un analyste prépare une étude de consommation. L'export contient des mois à zéro (arrêts de saisie), une valeur à 1 800 (erreur de saisie), des codes avec espaces et des dates au format texte. Question : comment nettoyer des données avant analyse ?
2. La consommation brute d'un article
| Mois | M1 | M2 | M3 | M4 | M5 | M6 | M7 | M8 | M9 | M10 | M11 | M12 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Consommation | 210 | 205 | 0 | 215 | 220 | 1800 | 212 | 208 | 218 | 0 | 222 | 216 |
3. L'idée
Le nettoyage des données traite les valeurs manquantes, les valeurs aberrantes, les doublons, les formats incohérents (dates, nombres, espaces) et les erreurs d'unité. Chaque correction est justifiée et tracée. Sans nettoyage, moyennes, prévisions et stocks de sécurité sont faux.
Manquant
Zéro réel ou absence de saisie ? Vérifier avant de remplacer.
Aberrant
Écart très grand à la médiane : erreur d'unité, saisie, événement exceptionnel ?
Formats
Dates et nombres typés, espaces supprimés, codes harmonisés.
4. Le nettoyage
Mois 3 et 10 (0). Arrêt de saisie confirmé (inventaire) : remplacés par la médiane (215), et marqués.
Mois 6 (1 800). Le bon de sortie montre 180 : un zéro de trop à la saisie. Valeur corrigée à 180.
Formats. Codes sans espaces, dates converties.
Résultat. Moyenne de 311 (brute) à 211 (nettoyée) : le stock de sécurité calculé sur la donnée brute aurait été très surdimensionné.
5. À vous de jouer : réglez le seuil de détection
Le seuil est exprimé en écarts-types robustes autour de la médiane : les valeurs corrigées sont entourées.
6. Ce qu'il faut retenir
- Manquants, aberrants, doublons, formats, unités.
- Vérifier avant de corriger, et tracer chaque correction.
- Une donnée sale fausse toutes les analyses.
Mise en œuvre
- Acteurs
- Analystes, métiers
- Durée
- —
- Livrables
- Données nettoyées et validées
- ProfilerValeurs, formats, vides, doublons.
- Définir les règles de correctionAvec les métiers.
- DédoublonnerRecherche approximative sur les désignations.
- ValiderPar échantillonnage avec les métiers.
Exemple d'application
Avant la migration ERP, 18 000 articles dont 2 300 sans mouvement depuis 5 ans et 600 doublons : seuls 15 100 articles sont migrés.
Points de vigilance
- Migrer les données sans nettoyage