AI와 개발을 쉽게 이해하는 실험실

비개발자도 따라오는 AI 도구, 자동화, 개발 실험 기록

AI & LLM/AI 활용 사례

엑셀 중복 데이터 정리 — 이름·주소 오타까지 잡는 법

루민 Lumin 2026. 9. 4. 16:42
반응형

엑셀 중복 데이터 정리는 '중복 제거' 버튼만으로는 끝나지 않습니다. 김민수와 김 민수, 서울시와 서울특별시처럼 사람 눈에는 같은데 엑셀은 다르게 보는 데이터를 AI 챗봇으로 통일하는 순서를 정리했습니다. 원본 백업과 검수 방법까지 함께 다룹니다.

엑셀 중복 데이터 정리 — 이름·주소 오타까지 잡는 법의 핵심 개념을 단순한 테크 일러스트로 표현한 대표 이미지

엑셀 중복 데이터 정리에서 가장 자주 막히는 지점은 "중복 제거" 버튼을 눌렀는데 중복이 그대로 남아 있는 상황입니다. 이 글은 이름 뒤에 공백이 하나 붙었거나 주소를 서울시와 서울특별시로 다르게 적은 데이터를 AI 챗봇으로 통일하는 순서를 다룹니다.

엑셀이 보는 세상은 사람과 다릅니다. 김민수김민수 (뒤에 공백 하나)는 엑셀에게 완전히 다른 두 사람입니다.

그래서 고객 명단 500줄을 정리하다 보면 버튼을 눌러도 숫자가 거의 줄지 않습니다. 손으로 하나하나 고치기 시작하면 그날 하루가 사라집니다.

먼저 클릭 몇 번으로 되는 것부터 해치우고, 그다음 AI에게 넘길 부분을 나누겠습니다.

환경과 절차에 따라 절반은 줄이는 기본 정리

엑셀 기본 기능만으로도 "완전히 똑같은 줄"은 즉시 지울 수 있습니다. 이걸 먼저 해야 AI에게 넘기는 데이터 양이 확 줄어듭니다.

순서는 이렇습니다.

  • 원본 파일을 복사해서 명단_원본.xlsx로 따로 보관
  • 작업용 파일에서 데이터 범위 선택
  • 상단 메뉴 데이터 → 중복된 항목 제거 클릭
  • 어떤 열을 기준으로 볼지 체크 (이름+전화번호 조합 추천)
💡 원본 백업은 건너뛰지 마세요. 중복 제거는 실행하면 실제로 줄이 사라지고, 파일을 저장한 뒤에는 Ctrl+Z로도 되돌릴 수 없습니다.

여기서 한 단계 더. 공백 때문에 안 잡히는 중복을 없애려면 정리용 열을 하나 만들어 씁니다.

빈 열에 아래 수식을 넣고 아래로 끌어내립니다.

=TRIM(A2)

TRIM은 글자 앞뒤의 공백과 중간의 이중 공백을 없애주는 기능입니다. 김 민수 김 민수로 정리됩니다. 이 열을 기준으로 다시 중복 제거를 돌리면 아까 안 잡혔던 줄들이 걸립니다.

여기까지가 도구가 대신해줄 수 있는 범위입니다. 남은 건 글자 자체가 다른 데이터인데, 이게 진짜 골칫거리입니다.

엑셀이 못 잡는 중복의 정체

엑셀은 글자를 하나하나 비교하는 방식이라, 표기가 조금이라도 다르면 다른 값으로 판단합니다. 사람이 봐야 같은 걸 알 수 있는 종류의 중복입니다.

실제로 명단에서 자주 나오는 유형을 표로 정리했습니다.

유형 예시 A 예시 B 엑셀 판단
공백 차이 김민수 김 민수 다름
주소 축약 서울시 강남구 서울특별시 강남구 다름
번호 형식 01012345678 010-1234-5678 다름
회사명 표기 (주)한빛상사 한빛상사(주) 다름
오타 이지훈 이지흔 다름
영문 대소문자 Kim@abc.com kim@abc.com 다름

이런 걸 수식으로 잡으려면 조건을 하나하나 다 써넣어야 합니다. 주소 축약형만 해도 광역시·특별시·도 단위로 경우가 계속 늘어납니다.

반면 AI 챗봇은 "서울시와 서울특별시는 같은 곳"이라는 걸 이미 알고 있습니다. 그래서 이 부분만 AI에게 맡기는 게 효율적입니다.

AI에게 넘기는 순서

AI 챗봇에게 엑셀 데이터를 정리시킬 때는 표 형태로 붙여넣고, 원본은 그대로 두고 새 열을 만들라고 지시하는 게 핵심입니다.

전체 흐름은 이렇습니다.

엑셀에서 데이터 복사
   ↓
챗봇에 붙여넣기 + 지시문
   ↓
정리된 표 받기
   ↓
엑셀에 붙여넣고 눈으로 검수
   ↓
중복 제거 다시 실행

ChatGPT나 Claude 같은 챗봇 화면을 열고, 엑셀에서 헤더(첫 줄 제목)를 포함해 범위를 선택해 복사한 뒤 그대로 붙여넣습니다. 붙여넣으면 표 모양이 대충 유지됩니다.

그대로 쓸 수 있는 지시문

지시문은 구체적일수록 결과가 깔끔합니다. 아래 문장을 복사해 데이터 위에 붙여 쓰면 됩니다.

아래는 엑셀에서 복사한 고객 명단입니다.
다음 규칙으로 표기를 통일해주세요.

1. 이름: 앞뒤 공백 제거, 이름 중간 공백 제거
2. 주소: 행정구역 정식 명칭으로 통일
   (예: 서울시 → 서울특별시)
3. 전화번호: 010-0000-0000 형식으로 통일
4. 이메일: 전부 소문자로

원본 값은 지우지 말고,
'정리된이름' '정리된주소' 열을 새로 추가한
표 형태로 출력해주세요.

그리고 같은 사람으로 보이는데
표기만 다른 줄이 있으면
표 아래에 따로 목록으로 알려주세요.

마지막 문장이 중요합니다. 이렇게 물어보면 AI가 이지훈이지흔처럼 오타로 갈린 줄을 "같은 사람일 수 있다"고 짚어줍니다. 판단은 사람이 하고, 후보 찾기는 AI가 하는 분담입니다.

예를 들어 동호회 회비 명단을 관리하는 분이라면, 몇 년치 엑셀에 같은 사람이 이름 표기만 다르게 세 번 들어가 있는 경우가 흔합니다. 이런 걸 눈으로 찾는 게 가장 오래 걸리는 작업인데, 그 부분을 넘길 수 있습니다.

결과를 엑셀로 되돌리기

챗봇이 만들어준 표는 마우스로 드래그해 복사하고, 엑셀 빈 시트에 붙여넣습니다. 한 칸에 다 들어가면 붙여넣기 옵션에서 텍스트 나누기를 쓰거나, 아예 AI에게 "쉼표로 구분된 CSV 형식으로 출력해달라"고 요청하는 게 편합니다.

CSV는 값 사이를 쉼표로 구분한 단순 텍스트 형식으로, 엑셀이 표로 알아서 읽어주는 형태입니다.

검수 없이 넘기면 안 되는 이유

AI가 정리한 결과는 반드시 사람이 확인해야 합니다. AI는 문장을 이어 붙이는 방식으로 답을 만들기 때문에, 데이터가 많아지면 값을 빠뜨리거나 없던 값을 만들어 넣을 수 있습니다.

검수는 세 가지만 봅니다.

확인 항목 방법
줄 수가 맞는지 원본 행 수와 결과 행 수 비교
값이 바뀌지 않았는지 전화번호·계좌 같은 숫자 열 몇 개 샘플 확인
다른 사람을 합치지 않았는지 AI가 "같은 사람 후보"로 지목한 목록 직접 확인

특히 세 번째가 중요합니다. 동명이인이 실제로 존재하는 경우, AI는 둘을 같은 사람으로 오해할 수 있습니다. 이름이 같아도 전화번호나 이메일이 다르면 다른 사람입니다.

그래서 앞의 지시문에서 "합쳐라"가 아니라 "후보를 알려달라"고 시킨 겁니다. 삭제 판단은 사람이 쥐고 있어야 합니다.

개인정보가 들어간 파일은 다르게 다뤄야 합니다

고객 명단이나 회원 정보를 외부 AI 서비스에 붙여넣는 건 신중하게 판단해야 합니다. 이름·전화번호·주소는 개인정보이고, 업무용 데이터라면 회사 내부 규정이나 개인정보 처리 방침의 제약을 받을 수 있습니다.

안전하게 가려면 이렇게 나눕니다.

  • 개인 취미·가계부 데이터 → 그대로 붙여넣어도 부담이 적음
  • 업무용 고객 데이터 → 내부 규정 먼저 확인
  • 확인이 어렵다면 → 이름과 전화번호는 빼고, 주소 표기 통일 규칙만 AI에게 물어보기

세 번째 방법이 현실적인 타협점입니다. 데이터를 넘기지 않고 "서울시 계열 표기를 정식 명칭으로 바꾸는 엑셀 수식을 만들어달라"고 요청하면, AI는 수식만 알려줍니다. 데이터는 내 컴퓨터에서만 처리됩니다.

각 서비스가 입력한 내용을 학습에 쓰는지 여부는 서비스마다 다르고 설정으로 바꿀 수 있는 경우도 있으니, 사용 중인 서비스의 공식 도움말에서 데이터 처리 정책 항목을 직접 확인하는 걸 권합니다.

다음에 같은 일을 반복하지 않으려면

정리가 끝났다면 이제 애초에 중복이 안 생기게 막는 쪽이 남습니다. 정리는 한 번이지만 입력은 계속되니까요.

가장 효과가 큰 건 입력 규칙을 미리 정해두는 것입니다.

  • 주소는 시·도 이름을 정식 명칭으로만 (드롭다운 목록으로 고정)
  • 전화번호 열은 서식을 텍스트로 지정해 앞자리 0이 사라지지 않게
  • 이름 열에는 데이터 → 데이터 유효성 검사로 중복 입력 시 경고 표시

엑셀의 드롭다운 목록은 데이터 → 데이터 유효성 검사 → 목록에서 만들 수 있습니다. 선택지를 미리 넣어두면 타이핑할 일이 없어져서 오타 자체가 안 생깁니다.

이번 파일 정리부터 시작한다면, 순서는 원본 백업 → 기본 중복 제거 → TRIM으로 공백 정리 → 남은 것만 AI에 넘기기입니다. 마지막 단계에서 시간이 가장 많이 절약됩니다.

함께 보면 좋은 글

반응형