사용법
- 중복을 제거할 텍스트를 한 줄에 한 항목씩 입력창에 붙여넣습니다.
- 필요한 옵션을 켭니다. "대소문자 무시"는 Apple과 apple을 같은 줄로 보고, "줄 앞뒤 공백 무시"는 들여쓰기·끝 공백만 다른 줄을 동일하게 취급합니다.
- "빈 줄 제거"로 사이의 공백 줄을 정리하고, 필요하면 "결과 가나다순 정렬"로 줄을 정돈합니다.
- 원본·결과·제거된 줄 수를 확인한 뒤 "결과 복사"로 정리된 목록을 가져갑니다.
중복 제거는 '무엇을 같다고 볼지'가 핵심
중복 줄 제거의 결과는 두 줄을 '같다'고 판단하는 기준에 달려 있습니다. 대소문자나 공백을 어떻게 취급하느냐로 결과가 달라집니다.
- 기본: 완전히 똑같은 줄만 중복으로 봅니다.
- 대소문자 무시: Apple과 apple을 같은 줄로 합칩니다.
- 앞뒤 공백 무시: 들여쓰기·끝 공백만 다른 줄을 동일하게 봅니다.
처음 나온 줄이 남고 이후 중복이 제거됩니다. 정리 워크플로는 복붙 목록 정리 가이드에 있습니다.
활용 팁
- 이메일·연락처 목록 정리: 여러 곳에서 모은 수신자 목록에는 같은 주소가 중복되기 쉽습니다. "대소문자 무시"를 켜면 User@site.com과 user@site.com을 하나로 합쳐, 같은 사람에게 중복 발송하는 실수를 막을 수 있습니다.
- 키워드·태그 중복 제거: 블로그 태그나 검색 키워드를 모을 때 중복을 빼고 가나다순으로 정렬하면 관리가 쉬워집니다. 정렬 옵션과 함께 쓰면 정돈된 키워드 사전을 빠르게 만들 수 있습니다.
- 로그·데이터에서 고유 항목 추출: 접속 IP나 주문번호처럼 반복되는 값이 섞인 목록에서 고유한 값만 골라낼 때 유용합니다. 원본·결과 줄 수 비교로 실제 고유 항목이 몇 개인지 즉시 파악할 수 있습니다.
자주 묻는 질문
Q. 중복된 줄 중 어떤 것이 남나요?
처음 나타난 줄이 원래 형태 그대로 유지되고, 이후의 중복은 제거됩니다. "줄 앞뒤 공백 무시"를 켰더라도 출력에는 먼저 등장한 줄의 원본(공백 포함)이 그대로 보존됩니다.
Q. 줄 중간의 공백도 무시되나요?
"줄 앞뒤 공백 무시"는 줄의 맨 앞과 맨 뒤 공백만 기준으로 비교합니다. 단어 사이의 공백 개수가 다른 줄은 서로 다른 줄로 취급되므로, 필요하면 먼저 '공백·줄바꿈 정리' 도구로 정돈한 뒤 사용하세요.
Q. 중복을 제거하면서 원래 순서를 지킬 수 있나요?
네. '정렬' 옵션을 끄면 처음 등장한 순서를 그대로 두고 뒤따르는 중복만 제거합니다. 가나다·ABC 순으로 다시 늘어놓고 싶을 때만 정렬 옵션을 켜세요.
Q. 중복을 제거하지 않고 몇 번 나왔는지만 셀 수 있나요?
이 도구는 중복을 제거하고 원본·결과 줄 수를 보여 주므로, 그 차이로 전체 중복 개수를 알 수 있습니다. 항목별 등장 횟수가 필요하면 단어 빈도 분석기로 빈도를 세는 것이 적합합니다.
Q. 중복된 줄만 따로 뽑아낼 수 있나요?
이 도구는 고유한 줄만 남기는 데 초점을 둡니다. 어떤 줄이 중복이었는지 확인하려면 정리 전후를 텍스트 비교(diff)로 대조하면 사라진 줄을 짚어낼 수 있습니다.
함께 쓰면 좋은 도구