文字去重設定詳解:重複判定邏輯一次搞懂

去重工具很簡單,但「什麼算重複」值得搞懂。這篇把判定邏輯一次講清楚,讓結果符合你的預期。

2026-09-28 · 4 分鐘閱讀

重複的判定:整行完全相同

去重的判定標準是「整行字元完全相同」:從第一個字到最後一個字,一字不差才算重複。這是最嚴格也最可預期的規則,不會自作聰明幫你判斷「意思一樣」。

保留的是第一次出現的那一行,後面重複的刪除。原來的順序保持不變,不會重新排序,這點很重要:名單的順序通常有意義,工具不會亂動它。

容易誤判的三種情況

第一,多餘空格:行尾多個空格,肉眼看不出來,但比對時算不同行。第二,大小寫:「Apple」和「apple」是不同行。第三,全形半形:「ABC」和「ABC」也是不同行。

這三種情況,去重前先統一格式:清掉首尾空格、統一大小寫、統一全半形。格式統一了,去重結果才乾淨。

空白行怎麼處理

連續多個空白行,算不算重複?按「整行相同」的邏輯,空白行之間是相同的,會被去重到只剩一行。這通常是好事:多餘的空行本來就該清掉。

但如果你的資料裡空白行有分隔意義(例如分段),去重前先想想。需要的話,可以先用特殊符號替代分隔,再去重,最後換回來。

常見問題

去重後順序會變嗎?

不會。保留第一次出現的行,原順序保持不變。工具只做刪除,不做排序。

想忽略大小寫去重怎麼辦?

先把整份文字統一轉成全小寫(或全大寫),再去重。這樣「Apple」和「apple」就會被判定為重複。記得先備份原文。

部分相同的行(例如只差電話)算重複嗎?

不算。判定是整行比對,差一個字就是不同行。這種「部分重複」需要人工判斷或更複雜的工具,簡單去重處理不了。

相關教學