AI로 채용공고 크롤링하기 — 코딩 몰라도 자동 수집

이직을 준비하다 보면 사람인, 원티드, 링크드인, 잡플래닛… 사이트를 매일 들락거리게 됩니다. 키워드는 비슷한데 사이트마다 검색 결과가 다르고, 한 번 본 공고를 또 보고 있는 자신을 발견하기도 합니다.

저도 최근 비슷한 고민을 하다가 "이거 AI한테 시키면 되지 않나?" 싶어서 며칠 동안 이것저것 시도해봤습니다.

결론부터 말하면, 코딩을 한 줄도 몰라도 채용공고를 자동으로 수집하고 정리하는 게 가능합니다. 다만 함정도 몇 개 있어서, 그 부분까지 솔직히 적어보겠습니다. 비개발자분들도 따라올 수 있게 용어는 그때그때 풀어 쓰겠습니다.

채용공고 크롤링이 뭐길래

크롤링은 웹사이트의 정보를 자동으로 긁어와 표로 정리하는 작업입니다. 사람이 일일이 클릭해서 복사·붙여넣기 하는 일을 프로그램이 대신 해준다고 생각하면 됩니다.

채용공고 크롤링이라면 보통 이런 정보를 모읍니다.

항목	예시
회사명	A 스타트업
직무	백엔드 개발자
경력	3~5년
지역	서울 강남
마감일	2025-12-31
공고 링크	https://...

예전에는 이걸 하려면 파이썬(프로그래밍 언어 중 하나)으로 코드를 짜야 했습니다. 지금은 AI 도구 덕분에 "이 페이지에서 회사명이랑 직무 뽑아줘"라고 말로 시키는 시대가 됐습니다.

왜 굳이 자동화하는가

매일 30분씩 공고를 뒤지는 시간을 아끼는 게 가장 큽니다. 한 달이면 15시간이거든요.

그런데 시간 절약보다 더 중요한 건 놓치는 공고가 줄어든다는 점입니다.

자동 수집을 켜두면 새 공고가 올라온 날 바로 알 수 있고, 키워드 조합이 미묘하게 다른 공고("주니어" vs "신입" vs "1~3년차")도 한 번에 잡을 수 있습니다.

사용 시나리오를 떠올려보면 이런 분들에게 특히 유용합니다.

• 이직을 준비하지만 본업이 바빠 검색에 시간을 못 쓰는 직장인
• 채용 트렌드(어떤 스택이 뜨는지, 연봉 수준이 어떤지)를 분석하고 싶은 HR 담당자
• 프리랜서 프로젝트 공고를 빠르게 캐치해야 하는 1인 사업자

도구 조합: 무엇을 쓸 것인가

비개발자에게 추천하는 조합은 크게 세 가지입니다. 직접 다 써본 후기 기준으로 비교하면 이렇습니다.

조합	난이도	비용	추천 대상
ChatGPT + 수동 복붙	⭐	무료~월 20달러	일주일에 5~10개만 정리하면 되는 분
노코드 스크래퍼 (Instant Data Scraper 등)	⭐⭐	무료	한 사이트에서 정기적으로 모으는 분
AI 에이전트 (Browse AI, Bardeen 등)	⭐⭐⭐	월 19~99달러	여러 사이트를 자동·정기 수집하고 싶은 분

ChatGPT + 수동 복붙은 진입장벽이 가장 낮습니다. 공고 페이지를 통째로 복사해서 ChatGPT에 붙여넣고 "회사명, 직무, 마감일을 표로 정리해줘"라고 시키면 끝입니다.

Instant Data Scraper(인스턴트 데이터 스크래퍼)는 크롬 브라우저에 설치하는 무료 확장 프로그램입니다. 채용 사이트 검색 결과 페이지에서 버튼 한 번 누르면 표 형태로 자동 추출해줍니다.

Browse AI(브라우즈 에이아이)는 한 단계 위입니다. "이 사이트에서 매일 아침 9시에 새 공고만 가져와서 구글 시트에 추가해줘" 같은 자동화를 GUI(클릭으로 조작하는 화면)로 설정할 수 있습니다.

💡 처음이라면 ChatGPT + Instant Data Scraper 조합으로 시작하세요. 무료고, 30분이면 첫 결과물이 나옵니다.

실전: 30분 안에 첫 결과물 만들기

가장 쉬운 조합인 Instant Data Scraper로 원티드 검색 결과를 긁어오는 흐름입니다.

[1단계] 크롬에 확장 설치
    ↓
[2단계] 채용 사이트에서 원하는 키워드로 검색
    ↓
[3단계] 확장 아이콘 클릭 → 자동으로 표 인식
    ↓
[4단계] CSV(엑셀에서 열리는 표 파일)로 다운로드
    ↓
[5단계] ChatGPT에 붙여넣고 정리·필터링

준비물 체크리스트입니다.

• [ ] 크롬 브라우저 (다른 브라우저는 확장 호환이 안 될 수 있음)
• [ ] ChatGPT 계정 (무료도 가능, 유료면 더 긴 데이터 처리 가능)
• [ ] 결과를 모을 구글 시트 또는 엑셀

1단계: Instant Data Scraper 설치

크롬 웹스토어에서 "Instant Data Scraper"를 검색해 추가합니다. 설치 후 주소창 옆에 작은 아이콘이 생깁니다.

2단계: 채용 사이트에서 검색

원티드든 사람인이든, 평소처럼 키워드로 검색합니다. 예: "데이터 분석가 3년".

검색 결과 목록이 보이는 페이지에서 멈춥니다(상세 페이지 ❌, 목록 페이지여야 합니다).

3단계: 확장 실행

아이콘을 클릭하면 새 탭이 열리면서 페이지의 반복되는 데이터(공고 카드들)를 자동으로 인식해 표로 보여줍니다. 이 부분이 좀 신기합니다.

원하는 정보가 빠져 있으면 "Try another table" 버튼으로 다른 인식 결과를 시도해볼 수 있습니다.

4단계: CSV로 저장

오른쪽 상단의 "CSV" 버튼을 누르면 엑셀에서 열 수 있는 파일이 다운로드됩니다.

5단계: ChatGPT에 정리 시키기

다운받은 CSV를 ChatGPT에 첨부하거나 내용을 복사해서 붙여넣고 이렇게 시킵니다.

첨부한 채용공고 데이터에서 "원격근무 가능"이고 "경력 3년 이상" 조건만 추려서, 회사명·직무·연봉(있을 경우)·링크 컬럼만 남긴 표로 정리해줘.

이 명령은 AI에게 데이터 필터링과 재구성을 한 번에 시키는 프롬프트입니다. 결과를 다시 구글 시트에 옮기면 끝입니다.

자주 막히는 부분

직접 해보면서 제가 막혔던 지점들입니다. 똑같이 막힐 가능성이 높아 미리 적어둡니다.

1. 로그인이 필요한 페이지가 안 긁힙니다

링크드인이나 일부 사이트는 로그인 후에만 공고 상세가 보입니다. Instant Data Scraper는 현재 보고 있는 페이지를 긁기 때문에, 본인이 로그인한 상태에서 실행하면 됩니다. 로그인이 풀려 있으면 빈 결과가 나옵니다.

2. 무한 스크롤 페이지에서 일부만 가져옵니다

요즘 사이트는 스크롤을 내려야 다음 공고가 로딩됩니다. 추출 전에 수동으로 끝까지 스크롤해서 모든 공고가 화면에 떠 있는 상태를 만들어야 합니다.

또는 확장의 "Locate Next" 기능으로 다음 페이지 버튼을 지정해주면 자동으로 페이지를 넘기며 수집합니다.

3. ChatGPT가 데이터를 줄이거나 지어냅니다

공고가 100개가 넘어가면 ChatGPT가 일부만 처리하거나, 가끔은 없는 정보를 만들어내는 경우(이걸 "환각"이라고 부릅니다)가 있습니다.

해결책은 두 가지입니다. 한 번에 30~50개씩 나눠서 처리하거나, "원본에 없는 정보는 빈칸으로 두고 절대 추측하지 말 것"이라는 문구를 프롬프트에 넣는 것입니다.

4. 한글이 깨집니다

CSV를 엑셀에서 열었는데 한글이 깨져 보이면, 엑셀이 아닌 구글 시트에 업로드해서 열어보세요. 인코딩 문제 대부분이 해결됩니다.

법적·윤리적 주의사항

이 부분은 짚고 넘어가야 합니다. 크롤링은 기술적으로는 쉬워졌지만, 모든 사이트가 환영하는 건 아닙니다.

각 채용 사이트의 이용약관과 robots.txt(사이트가 크롤러에게 "여기는 들어와도 됨/안 됨"을 알려주는 파일)을 확인하는 게 원칙입니다.

구분	일반적 허용 범위
개인이 본인 이직용으로 소량 수집	대체로 문제없음
짧은 시간에 수천 건 자동 요청	❌ 차단·법적 분쟁 가능
수집한 데이터를 재배포·판매	❌ 저작권·약관 위반 가능성
회사명·공개 공고 정보 정리	대체로 OK
지원자 이력서·개인정보 수집	❌ 개인정보보호법 위반

⚠️ 위 내용은 일반적인 가이드이며 법률 자문이 아닙니다. 상업적 목적이나 대량 수집을 계획한다면 변호사 자문 또는 사이트 측 공식 API 사용을 권합니다.

상식선에서 정리하면, "내가 직접 손으로 할 수 있는 양을 자동화로 살짝 빠르게 하는 정도"는 대체로 무난합니다. 짧은 시간에 수천 건씩 요청을 날려 사이트에 부담을 주는 건 명백히 ❌.

한 단계 더: 매일 자동으로 받기

매번 크롬을 켜고 확장을 실행하는 게 귀찮다면 다음 단계로 넘어갑니다.

Browse AI나 Bardeen 같은 도구를 쓰면 "매일 아침 8시에 ○○ 키워드로 검색해서 어제 이후 새 공고만 내 이메일로 보내줘" 같은 워크플로우를 만들 수 있습니다.

처음 설정에 30분~1시간 정도 걸리지만, 한 번 만들어두면 그 뒤로는 손댈 일이 거의 없습니다.

비용은 도구마다 다른데, 글 작성 시점 기준 Browse AI는 월 19달러부터 시작하고 무료 플랜에서도 일정량은 사용 가능합니다 (공식 가격 페이지 기준, 변동 가능).

이 정도까지 가면 사실상 나만의 채용 알리미가 만들어진 셈입니다.

마무리

막상 해보니 "코딩 없이 자동 수집"이라는 말이 마케팅 과장이 아니더군요. Instant Data Scraper와 ChatGPT 조합만으로도 평일 저녁 한 시간 짧게 투자해 일주일치 공고 정리가 끝납니다.

처음 시도하실 분께 권하는 순서는 단순합니다. 오늘은 확장 설치하고 한 사이트만 긁어보세요. 익숙해지면 ChatGPT 프롬프트를 다듬어 필터링을 자동화하고, 그게 손에 붙으면 Browse AI로 정기 자동화까지 확장하면 됩니다.

이직 준비든 시장 조사든, 매일 30분씩 쓰던 일이 5분으로 줄어들면 그 시간으로 다른 걸 할 수 있습니다. 그게 자기소개서 한 줄 더 다듬는 시간이 될 수도 있고요.