Como limpar cadastros duplicados acumulados ao longo dos anos?

Quando uma lista de clientes ou um catálogo de produtos é usado durante anos, o mesmo registo volta a ser introduzido por pessoas diferentes em alturas diferentes. «ABC Lda.», «A.B.C. Limitada», «Abc Lda» e «ABC SOCIEDADE LIMITADA» são a mesma empresa, mas para o sistema são quatro clientes distintos. O resultado é que os relatórios contam o mesmo cliente várias vezes, o histórico de vendas fica partido e a mesma empresa recebe dois orçamentos diferentes. Neste artigo explicamos como se limpa uma lista assim, passo a passo e de forma reversível.

Porque surgem cadastros duplicados?

Vistas uma a uma, a maioria das causas parece inocente. Não se pesquisa antes de criar o registo, ou a pesquisa não encontra o antigo por causa de uma diferença de escrita. Uma pessoa abrevia, outra escreve a denominação completa. Os acentos umas vezes são escritos, outras não. Juntam-se listas de dois sistemas diferentes sem que ninguém as cruze. Numa importação em massa a partir do Excel, o mesmo ficheiro é carregado duas vezes. Com os anos, estas pequenas diferenças acumulam-se e a lista parece muito maior do que é.

Passo 1: definir a regra de correspondência

O critério para decidir que dois registos são iguais deve ficar escrito logo no início. O mais fiável é um identificador que não muda: o número de contribuinte, o código do produto ou o endereço de e-mail. Se esse campo estiver preenchido em todos os registos, a correspondência resolve-se praticamente sozinha.

Se esse campo não existir ou estiver incompleto, é preciso olhar para a semelhança dos nomes. Para isso eliminam-se primeiro as diferenças de escrita: maiúsculas e minúsculas, pontuação, espaços e sufixos como «Lda.», «S.A.» ou «Ltda.» são uniformizados antes da comparação. Depois, os nomes parecidos são confirmados com um segundo dado, como o telefone, a cidade ou a morada. Confiar só na semelhança do nome é arriscado: duas empresas ou duas pessoas diferentes podem ter o mesmo nome.

Passo 2: decidir que registo fica em cada grupo

Os registos considerados iguais formam um grupo. Em cada grupo, um registo fica como «registo principal» e os outros são fundidos nele. Para escolher basta uma regra simples: o registo com mais operações associadas, o atualizado mais recentemente ou o mais completo. O telefone ou a morada em falta no principal podem ser completados a partir dos outros.

O ponto a vigiar é não perder o histórico ligado ao duplicado. Se as encomendas antigas, as faturas ou a correspondência de um cliente estiverem ligadas ao registo que vai ser apagado, devem primeiro passar para o registo principal. Caso contrário, a limpeza simplifica a lista mas apaga também o histórico.

Passo 3: obter aprovação antes de apagar

Por muito bem definida que esteja a correspondência, alguns registos ficam duvidosos. Por isso a limpeza faz-se em duas fases. Primeiro, a ferramenta ou uma pessoa prepara uma lista de propostas com os registos a fundir. As correspondências certas podem ser aprovadas em bloco; as duvidosas são revistas uma a uma pela pessoa que melhor conhece a lista. A fusão só é feita depois da aprovação.

Este passo parece demorado, mas é ele que poupa tempo de verdade. Em vez de rever milhares de registos um a um, só se olha para as poucas centenas sobre as quais não há certeza.

Passo 4: preparar o caminho de volta

Antes de começar deve fazer-se uma cópia de segurança completa da lista. Em cada fusão, deve ficar escrito num relatório que registo foi juntado a qual e que campo mudou. Assim, se umas semanas depois alguém disser «afinal estas duas empresas eram diferentes», só essa fusão é desfeita, sem repetir toda a limpeza.

A ferramenta que arruma desta forma os registos acumulados ao longo dos anos está descrita na página limpeza de cadastros duplicados: encontra registos semelhantes, sugere qual deve ficar, funde-os em bloco depois da aprovação e resume todas as alterações num único relatório.

Como manter a ordem depois da limpeza?

Uma lista limpa uma vez volta a ficar desarrumada em poucos meses se não houver uma regra de entrada. Um aviso que indique se já existe um registo parecido quando se cria um novo, campos obrigatórios e uma única regra de escrita evitam isso em grande parte. Se houver importações em massa, devem ser verificadas com a mesma regra antes de carregar; tratámos este tema no artigo lançar uma lista de Excel em massa.

Pontos de atenção

A limpeza de duplicados é muitas vezes o primeiro passo de um projeto de automação; uma ferramenta construída sobre dados desarrumados só multiplica os erros mais depressa. Por isso deve ser planeada como um trabalho à parte, respondendo desde o início a estas perguntas: Em que campos nos baseamos para decidir que dois registos são iguais? Que registo fica em cada grupo? Quem aprova as correspondências duvidosas? Onde está a cópia de segurança e como se desfaz uma fusão? Explicamos porque os dados travam a automação no artigo porque falham os projetos de automação.

Perguntas frequentes

Como se encontram cadastros duplicados?

Primeiro procura-se um campo que não muda, como o número de contribuinte, o código do produto ou o e-mail. Se não existir, comparam-se os nomes depois de eliminar maiúsculas, pontuação e sufixos societários, e os registos parecidos são confirmados com um segundo dado: telefone, cidade ou morada.

Os duplicados devem ser apagados diretamente?

Não. Primeiro prepara-se uma lista de propostas de fusão, verificam-se as correspondências duvidosas e o histórico do registo a apagar passa para o principal. Antes da limpeza faz-se uma cópia de segurança completa.

É possível recuperar um registo fundido por engano?

Se cada fusão ficar escrita num relatório, indicando que registo foi juntado a qual, é possível desfazer só essa fusão. Por isso a cópia de segurança e o relatório de alterações devem estar prontos antes de começar.