Comment nettoyer les doublons accumulés au fil des années ?

Quand une liste de clients ou un catalogue de produits est utilisé pendant des années, la même fiche est saisie à nouveau par différentes personnes à différents moments. « ABC SARL », « A.B.C. S.A.R.L. », « Abc Sarl » et « ABC SOCIÉTÉ À RESPONSABILITÉ LIMITÉE » sont la même entreprise, mais pour le système ce sont quatre clients distincts. Résultat : les rapports comptent plusieurs fois le même client, l'historique des ventes est morcelé et la même entreprise reçoit deux devis différents. Dans cet article, nous expliquons comment nettoyer une telle liste étape par étape, de façon réversible.

Pourquoi les doublons apparaissent-ils ?

Prises une à une, la plupart des causes semblent anodines. On ne cherche pas avant de créer une fiche, ou la recherche ne trouve pas l'ancienne à cause d'une différence d'orthographe. L'un abrège, l'autre écrit la raison sociale complète. Les accents sont tantôt saisis, tantôt non. Deux listes venant de systèmes différents sont réunies sans rapprochement. Lors d'un import en masse depuis Excel, le même fichier est chargé deux fois. Au fil des ans, ces petits écarts s'accumulent et la liste paraît bien plus fournie qu'elle ne l'est.

Étape 1 : définir la règle de rapprochement

Ce qui permet de dire que deux fiches sont identiques doit être écrit dès le départ. Le critère le plus fiable est un identifiant qui ne change pas : numéro fiscal, code produit ou adresse e-mail. Si ce champ est rempli partout, le rapprochement se règle presque tout seul.

S'il n'existe pas ou s'il est incomplet, il faut regarder la ressemblance des noms. On supprime d'abord les différences d'écriture : majuscules et minuscules, ponctuation, espaces et suffixes comme « SARL », « SA » ou « SAS » sont uniformisés avant la comparaison. Les noms proches sont ensuite confirmés par une seconde information : téléphone, ville ou adresse. Se fier uniquement à la ressemblance du nom est risqué : deux entreprises ou deux personnes différentes peuvent porter le même nom.

Étape 2 : décider quelle fiche reste dans chaque groupe

Les fiches reconnues identiques forment un groupe. Dans chaque groupe, une fiche reste « fiche principale » et les autres y sont fusionnées. Une règle simple suffit pour choisir : la fiche qui porte le plus d'opérations, la plus récemment mise à jour ou la plus complète. Le téléphone ou l'adresse absents de la fiche principale peuvent être complétés à partir des autres.

Le point de vigilance est de ne pas perdre l'historique rattaché au doublon. Si les anciennes commandes, factures ou échanges d'un client sont liés à la fiche qui sera supprimée, ils doivent d'abord être déplacés vers la fiche principale. Sinon, le nettoyage simplifie la liste mais efface aussi l'historique.

Étape 3 : obtenir une validation avant de supprimer

Aussi bien réglé soit-il, le rapprochement laisse toujours des fiches douteuses. C'est pourquoi le nettoyage se fait en deux temps. D'abord, l'outil ou une personne prépare une liste de propositions indiquant les fiches à fusionner. Les correspondances certaines peuvent être validées en bloc ; les douteuses sont revues une par une par la personne qui connaît le mieux la liste. La fusion n'a lieu qu'après validation.

Cette étape paraît longue, mais c'est elle qui fait vraiment gagner du temps. Au lieu d'examiner des milliers de fiches une à une, on ne regarde que les quelques centaines pour lesquelles on ne peut pas trancher.

Étape 4 : prévoir un retour arrière

Une sauvegarde complète de la liste doit être faite avant de commencer. Pour chaque fusion, il faut consigner dans un rapport quelle fiche a été rattachée à quelle autre et quel champ a changé. Ainsi, si quelques semaines plus tard on constate que « ces deux entreprises étaient en fait différentes », seule cette fusion est annulée, sans refaire tout le nettoyage.

Nous présentons l'outil qui remet ainsi de l'ordre dans des fiches accumulées pendant des années sur la page nettoyage des doublons : il repère les fiches semblables, propose celle à conserver, fusionne en bloc après validation et récapitule tous les changements dans un seul rapport.

Comment garder la liste propre ensuite ?

Une liste nettoyée une fois se dégrade à nouveau en quelques mois si aucune règle de saisie n'est posée. Une alerte signalant qu'une fiche proche existe déjà lors d'une création, des champs obligatoires et une règle d'écriture unique l'évitent en grande partie. En cas d'import en masse, il faut vérifier avec la même règle avant le chargement ; nous l'avons traité dans l'article injecter une liste Excel en masse.

Points de vigilance

Le nettoyage des doublons est souvent la première étape d'un projet d'automatisation ; un outil construit sur des données désordonnées multiplie les erreurs plus vite. Il faut donc le planifier comme un chantier à part et répondre d'emblée à ces questions : sur quels champs décide-t-on que deux fiches sont identiques ? Quelle fiche reste dans chaque groupe ? Qui valide les correspondances douteuses ? Où est la sauvegarde et comment annule-t-on une fusion ? Nous expliquons pourquoi les données freinent l'automatisation dans l'article pourquoi les projets d'automatisation échouent.

Questions fréquentes

Comment repère-t-on les doublons ?

On cherche d'abord un champ qui ne change pas, comme le numéro fiscal, le code produit ou l'e-mail. À défaut, on compare les noms après avoir supprimé casse, ponctuation et formes juridiques, puis on confirme les fiches proches par une seconde information : téléphone, ville ou adresse.

Faut-il supprimer les doublons directement ?

Non. On prépare d'abord une liste de propositions de fusion, on vérifie les correspondances douteuses et on déplace l'historique de la fiche à supprimer vers la fiche principale. Une sauvegarde complète est faite avant le nettoyage.

Peut-on restaurer une fiche fusionnée par erreur ?

Si chaque fusion est consignée dans un rapport indiquant quelle fiche a été rattachée à quelle autre, on peut annuler cette seule fusion. C'est pourquoi la sauvegarde et le rapport de modifications doivent être prêts avant de commencer.