Diferenciar maiúsculas de minúsculas
A opção mais importante: com a diferenciação ligada, 'Maria' e 'maria' são linhas diferentes e ambas sobrevivem; desligada, são a mesma e só uma permanece. A escolha certa depende dos seus dados: e-mails geralmente pedem comparação sem diferenciar ([email protected] = [email protected]), enquanto códigos e senhas pedem diferenciação.
Na dúvida, pense no uso final: se 'Maria' e 'maria' representam a mesma pessoa para o seu propósito, desligue a diferenciação. Se podem ser entidades distintas, mantenha ligada.
Espaços e linhas vazias
Espaços no início ou fim da linha (' item' vs 'item') podem fazer duas linhas iguais parecerem diferentes. A opção de ignorar esses espaços normaliza a comparação e evita que duplicadas 'disfarçadas' escapem — recomendada na maioria dos casos, a menos que os espaços sejam significativos nos seus dados.
Linhas vazias também entram na conta: sem tratamento, várias linhas em branco contam como 'duplicadas' entre si e são reduzidas a uma. Decida se quer mantê-las (formatação) ou removê-las (limpeza total) conforme o destino do texto.
Ordem do resultado
A ferramenta preserva a ordem da primeira ocorrência: o resultado lista os itens na sequência em que apareceram pela primeira vez no original. Isso mantém a lógica da sua lista — cronológica, de prioridade, alfabética — sem embaralhar nada.
Se preferir o resultado ordenado alfabeticamente, ordene antes ou depois da deduplicação com uma ferramenta de ordenação. Separar as operações (deduplicar, depois ordenar) dá controle total sobre cada etapa.
Casos especiais: o que a comparação exata não pega
A comparação da ferramenta é exata por linha: 'Maria Silva' e 'Maria Silva' (dois espaços) são linhas diferentes; 'São Paulo' e 'Sao Paulo' são diferentes; '(11) 99999-0000' e '11999990000' são diferentes. Duplicadas 'disfarçadas' por formatação escapam da detecção — e são as mais comuns em dados vindos de digitação humana.
A defesa é a padronização prévia: normalize telefones para um formato único, remova acentos se a distinção não importar para o uso, padronize as caixas (tudo minúsculo) e elimine espaços duplos antes de deduplicar. Uma passada de normalização antes da ferramenta elimina 90% das duplicadas disfarçadas.
E reconheça o limite da abordagem: erros de digitação genuínos ('Maria' vs 'Mária') exigem comparação aproximada, que está além de uma ferramenta de linhas exatas. Para bases críticas com muita digitação manual, combine a deduplicação exata com uma revisão humana dos casos suspeitos — ou use software especializado em qualidade de dados.
Perguntas frequentes
Devo diferenciar maiúsculas e minúsculas?
Para e-mails e nomes de pessoas, geralmente não. Para códigos e identificadores, sim. Pense no uso final dos dados.
Espaços extras interferem na comparação?
Sim, se a opção de ignorá-los estiver desligada. 'item' e 'item ' seriam vistos como diferentes.
A ordem da minha lista é mantida?
Sim — o resultado preserva a ordem da primeira ocorrência de cada item no texto original.
Linhas vazias são removidas?
Depende da configuração: podem ser tratadas como duplicadas entre si ou mantidas, conforme sua escolha.