重複的判定:整行完全相同
去重的判定標準是「整行字元完全相同」:從第一個字到最後一個字,一字不差才算重複。這是最嚴格也最可預期的規則,不會自作聰明幫你判斷「意思一樣」。
保留的是第一次出現的那一行,後面重複的刪除。原來的順序保持不變,不會重新排序,這點很重要:名單的順序通常有意義,工具不會亂動它。
容易誤判的三種情況
第一,多餘空格:行尾多個空格,肉眼看不出來,但比對時算不同行。第二,大小寫:「Apple」和「apple」是不同行。第三,全形半形:「ABC」和「ABC」也是不同行。
這三種情況,去重前先統一格式:清掉首尾空格、統一大小寫、統一全半形。格式統一了,去重結果才乾淨。
空白行怎麼處理
連續多個空白行,算不算重複?按「整行相同」的邏輯,空白行之間是相同的,會被去重到只剩一行。這通常是好事:多餘的空行本來就該清掉。
但如果你的資料裡空白行有分隔意義(例如分段),去重前先想想。需要的話,可以先用特殊符號替代分隔,再去重,最後換回來。
常見問題
去重後順序會變嗎?
不會。保留第一次出現的行,原順序保持不變。工具只做刪除,不做排序。
想忽略大小寫去重怎麼辦?
先把整份文字統一轉成全小寫(或全大寫),再去重。這樣「Apple」和「apple」就會被判定為重複。記得先備份原文。
部分相同的行(例如只差電話)算重複嗎?
不算。判定是整行比對,差一個字就是不同行。這種「部分重複」需要人工判斷或更複雜的工具,簡單去重處理不了。