Wie bereinigt man über Jahre angesammelte doppelte Datensätze?

Wird eine Kundenliste oder ein Produktkatalog jahrelang genutzt, wird derselbe Datensatz von verschiedenen Personen zu verschiedenen Zeiten erneut angelegt. „ABC GmbH“, „A.B.C. G.m.b.H.“, „Abc Gmbh“ und „ABC GESELLSCHAFT MBH“ sind dieselbe Firma, für das System aber vier verschiedene Kunden. Die Folge: Berichte zählen denselben Kunden mehrfach, die Verkaufshistorie zerfällt in Teile, und dieselbe Firma erhält zwei getrennte Angebote. In diesem Beitrag zeigen wir, wie eine solche Liste Schritt für Schritt und umkehrbar bereinigt wird.

Warum entstehen doppelte Datensätze?

Einzeln betrachtet sind die meisten Ursachen harmlos. Vor dem Anlegen wird nicht gesucht, oder die Suche findet den alten Datensatz wegen einer abweichenden Schreibweise nicht. Eine Person kürzt ab, eine andere schreibt den vollen Firmennamen. Sonderzeichen werden mal eingegeben, mal nicht. Listen aus zwei Systemen werden zusammengelegt, ohne dass jemand sie abgleicht. Beim Massenimport aus Excel wird dieselbe Datei zweimal hochgeladen. Über die Jahre summieren sich diese kleinen Unterschiede, und die Liste wirkt viel voller, als sie ist.

Schritt 1: Die Abgleichregel festlegen

Woran erkannt wird, dass zwei Datensätze gleich sind, sollte zu Beginn schriftlich festgehalten werden. Das zuverlässigste Kriterium ist eine unveränderliche Kennung: Steuernummer, Artikelnummer oder E-Mail-Adresse. Ist dieses Feld in jedem Datensatz gefüllt, löst sich der Abgleich weitgehend von selbst.

Fehlt ein solches Feld oder ist es lückenhaft, muss die Namensähnlichkeit betrachtet werden. Dazu werden zuerst Schreibunterschiede beseitigt: Groß- und Kleinschreibung, Satzzeichen, Leerzeichen und Zusätze wie „GmbH“, „AG“ oder „KG“ werden vor dem Vergleich vereinheitlicht. Ähnliche Namen werden dann mit einer zweiten Angabe wie Telefon, Ort oder Adresse bestätigt. Sich nur auf Namensähnlichkeit zu verlassen, ist riskant: Zwei verschiedene Firmen oder Personen können denselben Namen tragen.

Schritt 2: Entscheiden, welcher Datensatz je Gruppe bleibt

Als gleich erkannte Datensätze bilden eine Gruppe. In jeder Gruppe bleibt ein Datensatz als „Hauptdatensatz“, die anderen werden in ihn zusammengeführt. Für die Auswahl genügt eine einfache Regel: der Datensatz mit den meisten verknüpften Vorgängen, der zuletzt aktualisierte oder der vollständigste. Fehlende Telefonnummern oder Adressen im Hauptdatensatz lassen sich aus den anderen ergänzen.

Wichtig ist, dass die mit einem Duplikat verknüpfte Historie nicht verloren geht. Hängen alte Bestellungen, Rechnungen oder Korrespondenz eines Kunden am Datensatz, der gelöscht werden soll, müssen sie zuerst zum Hauptdatensatz verschoben werden. Sonst vereinfacht die Bereinigung die Liste, löscht aber zugleich die Historie.

Schritt 3: Vor dem Löschen Freigabe einholen

So gut der Abgleich auch eingerichtet ist, einige Datensätze bleiben zweifelhaft. Deshalb erfolgt die Bereinigung in zwei Stufen. Zuerst erstellt das Werkzeug oder eine Person eine Vorschlagsliste, welche Datensätze zusammengeführt werden. Sichere Treffer können gesammelt freigegeben werden; zweifelhafte prüft die Person, die die Liste am besten kennt, einzeln. Erst nach der Freigabe wird zusammengeführt.

Dieser Schritt wirkt zeitaufwendig, spart aber tatsächlich die meiste Zeit. Statt Tausende Datensätze einzeln zu prüfen, werden nur die wenigen Hundert angesehen, bei denen keine sichere Entscheidung möglich ist.

Schritt 4: Einen Rückweg vorbereiten

Vor Beginn der Bereinigung sollte eine vollständige Sicherung der Liste angelegt werden. Bei jeder Zusammenführung sollte protokolliert werden, welcher Datensatz in welchen einging und welches Feld sich geändert hat. Stellt sich einige Wochen später heraus, dass „diese beiden Firmen doch verschieden waren“, lässt sich genau diese Zusammenführung rückgängig machen; die gesamte Bereinigung muss nicht wiederholt werden.

Das Werkzeug, das über Jahre angesammelte Datensätze auf diese Weise ordnet, beschreiben wir auf der Seite Dubletten-Bereinigung: Es findet ähnliche Datensätze, schlägt vor, welcher bleibt, führt nach Freigabe gesammelt zusammen und zeigt alle Änderungen in einem einzigen Bericht.

Wie bleibt die Liste nach der Bereinigung sauber?

Eine einmal bereinigte Liste verschmutzt ohne Eingaberegel innerhalb weniger Monate erneut. Ein Hinweis beim Anlegen, ob ein ähnlicher Datensatz bereits existiert, Pflichtfelder und eine einheitliche Schreibregel verhindern das weitgehend. Bei Massenimporten sollte vor dem Hochladen mit derselben Abgleichregel geprüft werden; dieses Thema behandeln wir im Beitrag Excel-Liste per Massenimport ins System.

Worauf zu achten ist

Die Bereinigung doppelter Datensätze ist oft der erste Schritt eines Automatisierungsprojekts; ein Werkzeug auf unordentlichen Daten vervielfacht Fehler nur schneller. Deshalb sollte die Bereinigung als eigene Aufgabe geplant und diese Fragen vorab beantwortet werden: Anhand welcher Felder entscheiden wir, dass zwei Datensätze gleich sind? Welcher Datensatz bleibt in jeder Gruppe? Wer gibt zweifelhafte Treffer frei? Wo liegt die Sicherung, und wie wird eine Zusammenführung rückgängig gemacht? Warum Daten der Automatisierung im Weg stehen, erklären wir im Beitrag Warum scheitern Automatisierungsprojekte?

Häufig gestellte Fragen

Wie findet man doppelte Datensätze?

Zuerst wird nach einem unveränderlichen Feld wie Steuernummer, Artikelnummer oder E-Mail gesucht. Gibt es keines, werden Namen nach Bereinigung von Groß-/Kleinschreibung, Satzzeichen und Firmenzusätzen verglichen und ähnliche Datensätze mit einer zweiten Angabe wie Telefon, Ort oder Adresse bestätigt.

Sollten doppelte Datensätze sofort gelöscht werden?

Nein. Zuerst wird eine Vorschlagsliste der Zusammenführungen erstellt, zweifelhafte Treffer werden geprüft und die Historie des zu löschenden Datensatzes wird zum Hauptdatensatz verschoben. Vor der Bereinigung wird eine vollständige Sicherung angelegt.

Lässt sich eine falsche Zusammenführung rückgängig machen?

Wenn jede Zusammenführung mit Angabe, welcher Datensatz in welchen einging, protokolliert wird, lässt sich genau diese rückgängig machen. Deshalb sollten Sicherung und Änderungsprotokoll vor Beginn vorbereitet werden.