多年积累的重复记录如何清理？

客户名单或产品目录用上几年后，同一条记录会被不同的人在不同时间重复录入。“ABC有限公司”“A.B.C.有限公司”“Abc Ltd”和“ABC LIMITED”其实是同一家公司，但在系统里却是四个不同的客户。结果是：报表把同一个客户算了好几次，销售历史被拆成几段，同一家公司收到两份不同的报价。本文说明如何一步步、并且可以撤回地清理这样的名单。

重复记录是怎么产生的？

单独看，大多数原因都很平常。录入前没有先搜索，或者因为写法不同没搜到旧记录。有人用简称，有人写全称。全角半角、空格和标点时有时无。两个系统的名单合并时没人做比对。从 Excel 批量导入时，同一个文件被上传了两次。多年下来，这些小差异越积越多，名单看起来比实际要庞大得多。

第一步：确定匹配规则

判断两条记录是否相同的依据，应当一开始就写清楚。最可靠的标准是不会变化的标识：税号、产品编码或电子邮箱。如果每条记录都填了这个字段，匹配基本上就迎刃而解。

如果没有这样的字段，或者填写不全，就只能看名称的相似度。为此先消除写法差异：大小写、标点、空格，以及“有限公司”“Ltd.”“Co.”之类的后缀，在比较前统一成同一种形式。然后用电话、城市或地址等第二条信息来确认相似的名称。只靠名称相似是有风险的：两家不同的公司或两个不同的人可能同名。

第二步：决定每组保留哪条记录

被认定相同的记录组成一组。每组保留一条作为“主记录”，其余记录合并进去。选哪一条，用一条简单规则就够了：关联业务最多的、最近更新的，或信息最完整的。主记录里缺少的电话或地址，可以从其他记录中补齐。

这里要注意的是，不能丢掉挂在重复记录上的历史。如果客户以前的订单、发票或往来邮件关联在将被删除的记录上，必须先把它们移到主记录上。否则清理虽然让名单变简洁了，却也把历史一并抹掉了。

第三步：删除前先确认

匹配规则再完善，也总有一部分记录无法确定。所以清理分两步进行。先由工具或专人整理出一份建议清单，列出哪些记录将被合并。确定无疑的匹配可以批量确认；有疑问的，由最熟悉名单的人逐条查看。确认之后才执行合并。

这一步看起来费时，其实真正省时间的正是它。不必逐条检查成千上万条记录，只需看那几百条拿不准的。

第四步：准备好回退的路

开始清理之前，应当对名单做完整备份。每一次合并，都要在报告里写明哪条记录并入了哪条、哪个字段发生了变化。这样，如果几周后有人说“这两家公司其实不是同一家”，只需撤销这一次合并，而不必把整个清理重做一遍。

我们在重复记录清理页面介绍了按这种方式整理多年积累记录的工具：它找出相似记录，建议保留哪一条，确认后批量合并，并在一份报告中列出所有改动。

清理之后如何保持整洁？

清理过一次的名单，如果不定录入规则，几个月后又会变乱。录入新记录时提示是否已有相似记录、设置必填字段、统一书写规则，基本就能避免这种情况。如果需要批量导入，上传前应当用同一条匹配规则检查；这一点我们在把 Excel 清单批量录入系统一文中讲过。

需要注意的事项

清理重复记录往往是自动化项目的第一步；建立在混乱数据上的工具，只会更快地放大错误。因此应把清理当作一项独立工作来安排，并事先回答这些问题：我们根据哪些字段判断两条记录相同？每组保留哪一条？谁来确认有疑问的匹配？备份放在哪里，合并如何撤销？数据为什么会挡在自动化前面，我们在自动化项目为什么会失败一文中另有说明。

常见问题

怎样找出重复记录？

先找税号、产品编码或邮箱这类不会变化的字段。如果没有，就在去掉大小写、标点和公司后缀的差异后比较名称，再用电话、城市或地址等第二条信息确认相似记录。

重复记录可以直接删除吗？

不可以。先整理出合并建议清单，核对有疑问的匹配，并把将被删除记录上的历史移到主记录上。清理前要做完整备份。

被错误合并的记录能恢复吗？

如果每次合并都在报告中写明哪条记录并入了哪条，就可以只撤销那一次合并。所以备份和变更报告要在清理开始前准备好。