Как очистить базу от дублей, накопившихся за годы?

Когда список клиентов или каталог товаров используется годами, одну и ту же запись заново вносят разные люди в разное время. «ООО „АБВ“», «А.Б.В. ООО», «Абв ооо» и «ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ АБВ» — это одна компания, но для системы это четыре разных клиента. В результате отчёты считают одного клиента несколько раз, история продаж распадается на части, а одной и той же компании уходят два разных предложения. В этой статье мы объясняем, как очистить такой список шаг за шагом и так, чтобы изменения можно было отменить.

Почему появляются дубли?

По отдельности большинство причин выглядят безобидно. Перед созданием записи никто не ищет, или поиск не находит старую запись из‑за различия в написании. Один сокращает, другой пишет полное наименование. Буквы «е» и «ё», кавычки и пробелы то ставят, то нет. Списки из двух разных систем объединяют, и никто их не сопоставляет. При массовой загрузке из Excel один и тот же файл загружают дважды. За годы эти мелкие различия накапливаются, и список выглядит гораздо больше, чем есть на самом деле.

Шаг 1. Задайте правило сопоставления

С самого начала нужно записать, по какому признаку две записи считаются одинаковыми. Самый надёжный критерий — неизменный идентификатор: ИНН, артикул или адрес электронной почты. Если это поле заполнено в каждой записи, сопоставление во многом решается само.

Если такого поля нет или оно заполнено не везде, приходится смотреть на сходство названий. Для этого сначала убирают различия в написании: регистр букв, знаки препинания, пробелы и формы вроде «ООО», «АО» или «ИП» приводят к единому виду перед сравнением. Затем похожие названия подтверждают вторым признаком — телефоном, городом или адресом. Полагаться только на сходство названий рискованно: у двух разных компаний или двух разных людей может быть одно имя.

Шаг 2. Решите, какая запись остаётся в каждой группе

Записи, признанные одинаковыми, образуют группу. В каждой группе одна запись остаётся «основной», а остальные объединяются с ней. Для выбора достаточно простого правила: запись, к которой привязано больше всего операций, последняя обновлённая или самая полная. Недостающие в основной записи телефон или адрес можно дополнить из остальных.

Важно не потерять историю, привязанную к дублю. Если старые заказы, счета или переписка клиента связаны с записью, которая будет удалена, их сначала нужно перенести на основную запись. Иначе очистка упростит список, но заодно сотрёт историю.

Шаг 3. Согласуйте перед удалением

Как бы хорошо ни было настроено сопоставление, часть записей остаётся сомнительной. Поэтому очистка проходит в два этапа. Сначала инструмент или человек готовит список предложений: какие записи будут объединены. Однозначные совпадения можно утвердить пакетом, а сомнительные по одному просматривает тот, кто лучше всех знает список. Объединение выполняется после согласования.

Этот шаг кажется долгим, но именно он экономит время. Вместо того чтобы проверять тысячи записей по одной, смотрят только несколько сотен, по которым нет уверенности.

Шаг 4. Подготовьте путь назад

Перед началом очистки нужно сделать полную резервную копию списка. По каждому объединению в отчёт записывается, какая запись к какой присоединена и какое поле изменилось. Тогда, если через несколько недель выяснится, что «эти две компании на самом деле разные», можно отменить только это объединение, не повторяя всю очистку.

Инструмент, который наводит порядок в накопленных за годы записях именно так, описан на странице очистки базы от дублей: он находит похожие записи, предлагает, какую оставить, объединяет их пакетом после согласования и сводит все изменения в один отчёт.

Как сохранить порядок после очистки?

Однажды очищенный список за несколько месяцев снова засоряется, если не задать правило ввода. Предупреждение о том, что похожая запись уже существует, обязательные поля и единое правило написания в основном это предотвращают. Если выполняется массовая загрузка, её нужно проверять тем же правилом до загрузки; об этом мы писали в статье массовая загрузка списка Excel в систему.

На что обратить внимание

Очистка дублей часто становится первым шагом проекта автоматизации: инструмент, построенный на беспорядочных данных, лишь быстрее множит ошибки. Поэтому очистку стоит планировать как отдельную работу и заранее ответить на вопросы: по каким полям мы решаем, что две записи одинаковы? Какая запись остаётся в каждой группе? Кто согласует сомнительные совпадения? Где хранится резервная копия и как отменить объединение? Почему данные мешают автоматизации, мы отдельно объяснили в статье почему проваливаются проекты автоматизации.

Частые вопросы

Как найти дубли?

Сначала ищут неизменное поле — ИНН, артикул или электронную почту. Если его нет, названия сравнивают после удаления различий в регистре, знаках препинания и организационно-правовых формах, а похожие записи подтверждают вторым признаком: телефоном, городом или адресом.

Нужно ли сразу удалять дубли?

Нет. Сначала готовят список предложений по объединению, проверяют сомнительные совпадения и переносят историю удаляемой записи на основную. Перед очисткой делается полная резервная копия.

Можно ли восстановить ошибочно объединённую запись?

Если каждое объединение записано в отчёт с указанием, какая запись к какой присоединена, можно отменить только его. Поэтому резервную копию и отчёт об изменениях готовят до начала очистки.