"AI가 내 브라우저를 직접 클릭해서 일을 해준다"는 말, 한 번쯤 들어보셨을 겁니다. 작년에 Anthropic이 Claude에 Computer Use 기능을 붙이면서 화제가 됐죠.
올해는 구글이 Gemini 3 계열에 같은 종류의 능력을 본격적으로 얹었습니다. 이름은 Gemini Computer Use.
저도 비슷한 자동화 도구를 여러 개 써본 입장에서 두 모델이 실제로 어떻게 다른지 궁금했습니다. 그래서 같은 작업을 양쪽에 시켜봤습니다.
이 글은 개발자가 아니어도 흐름이 잡히도록 풀어 썼습니다. 단어가 낯설 때는 괄호로 한 줄씩 설명을 붙였으니 천천히 따라오시면 됩니다.
컴퓨터 제어(Computer Use)가 뭐길래
Computer Use는 AI가 사람처럼 화면을 보고 마우스·키보드를 직접 조작하는 기능입니다. 채팅으로 답만 주는 게 아니라, 실제로 브라우저를 열고 버튼을 클릭하고 양식을 채워 넣습니다.
기존 자동화 도구와의 차이가 핵심입니다. 예전에는 "1번 버튼 클릭, 2번 칸에 입력" 같은 절차를 사람이 일일이 짜둬야 했습니다.
지금은 다릅니다. "이 사이트에서 주문 내역 엑셀로 받아줘"라고 말로 던지면, AI가 화면 스크린샷을 분석해서 알아서 클릭 위치를 찾아냅니다.
비유하자면 신입사원에게 업무를 말로 시키는 것과 비슷합니다. 매번 절차를 다시 가르치지 않아도, 화면을 보고 알아서 처리합니다.
대표 활용 시나리오는 이런 식입니다.
- 쇼핑몰 여러 곳에서 같은 상품 가격을 비교해 시트에 정리
- 사내 시스템에 매주 같은 양식의 보고서를 자동 입력
- 경쟁사 블로그·뉴스를 매일 아침 모아 요약 메일로 발송
- 출장비 영수증을 사내 경비 시스템에 한 번에 업로드
Gemini 3 Computer Use 핵심 정리
Gemini Computer Use는 구글 DeepMind가 만든 화면 제어 특화 모델입니다. 구글 공식 발표(2025년 10월) 기준 Gemini 2.5 Pro를 기반으로 학습됐고, 이후 Gemini 3 계열로 능력이 확장되고 있습니다.
처음 들으면 헷갈리는 부분 하나만 짚고 가겠습니다. "Gemini 3 Flash"는 빠르고 가벼운 모델 라인이고, Computer Use는 그 위에서 동작하는 기능 모드 같은 개념입니다. 두 단어가 같은 층에 있는 게 아닙니다.
핵심 특징을 표로 정리하면 이렇습니다.
| 항목 | 내용 |
|---|---|
| 제공 형태 | Google AI Studio, Vertex AI를 통한 API |
| 입력 | 스크린샷 + 사용자 지시문 + 직전 액션 기록 |
| 출력 | 다음 액션 (클릭 좌표, 입력 텍스트, 스크롤 등) |
| 주 무대 | 웹 브라우저 (모바일·데스크톱 앱은 베타) |
| 가격 (글 작성 시점) | 일반 Gemini API와 동일 토큰 단가 |
동작 흐름은 단순합니다.
사용자 지시 ─┐
↓
[스크린샷 캡처]
↓
Gemini 모델이 분석
↓
다음 액션 결정 (클릭/입력/스크롤)
↓
브라우저에서 실행
↓
결과 스크린샷 ──┐
↑ │
└───────────┘ (목표 달성까지 반복)
이 루프(반복 구조)를 직접 짜야 한다는 점이 비개발자에게는 약간의 진입 장벽입니다. 다만 구글이 공식 샘플 코드를 제공해서, 그걸 그대로 돌려보는 것까지는 어렵지 않습니다.
Claude Computer Use와 뭐가 다른가
가장 궁금하실 부분입니다. 두 모델은 비슷해 보이지만 속도와 비용 구조, 그리고 작동 방식에서 차이가 분명합니다.
같은 작업을 양쪽에 시켜봤습니다. 작업은 "특정 부동산 사이트에서 매물 5개 정보를 표로 정리"였습니다.
| 비교 항목 | Gemini Computer Use | Claude Computer Use |
|---|---|---|
| 응답 속도 | 한 스텝당 약 2~4초 | 한 스텝당 약 4~7초 |
| 클릭 정확도 | 작은 버튼도 잘 맞춤 | 가끔 좌표가 살짝 어긋남 |
| 환경 | 브라우저 중심 (Playwright 권장) | 가상 데스크톱 전체 가능 |
| 가격 (입력 토큰) | 상대적으로 저렴 | 입력 토큰 단가가 높음 |
| 한국어 지시문 | 자연스러움 | 자연스러움 |
| 디버깅 도구 | AI Studio에서 즉시 확인 | 별도 설정 필요 |
가장 체감되는 차이는 속도였습니다. Gemini 쪽이 한 스텝씩 넘어가는 게 눈에 띄게 빨랐습니다. 다섯 매물을 다 정리하는 데 Gemini는 약 1분 40초, Claude는 약 2분 50초 걸렸습니다.
반대로 운영체제 전체를 다루는 작업은 Claude가 더 자연스러웠습니다. Claude는 처음부터 가상 데스크톱 환경에서 파일 탐색기, 메모장, 브라우저를 자유롭게 오가는 데모로 출발했거든요.
Gemini는 브라우저 안에서의 작업에 더 최적화된 인상입니다. 구글이 공식 문서에서도 "웹 환경"을 1순위 시나리오로 강조합니다.
💡 정리하면, 웹 자동화면 Gemini, 데스크톱 앱까지 포함된 자동화면 Claude가 현시점에서 무난한 선택입니다.
비개발자가 직접 시작하는 가장 짧은 경로
"코드 한 줄도 못 쓰는데 어떻게 써보냐"는 게 가장 많이 받는 질문입니다. 다행히 구글 AI Studio라는 웹사이트에서 일부를 맛볼 수 있습니다.
AI Studio는 구글이 만든 Gemini 모델 테스트용 웹페이지입니다(브라우저만 있으면 됨, 설치 불필요). 다만 Computer Use를 완전한 자동화 루프로 돌리려면 코드 실행 환경이 필요합니다.
가장 부담 적은 시작 순서를 정리하면 이렇습니다.
- [ ] 구글 계정으로 aistudio.google.com 접속
- [ ] 좌측 메뉴에서 "Get API key" 클릭 → API 키(일종의 출입증) 발급
- [ ] 구글 공식 GitHub에서 Computer Use 샘플 저장소 다운로드
- [ ] Replit, GitHub Codespaces 같은 웹 기반 코드 실행 환경에 샘플 업로드
- [ ] API 키만 빈칸에 채워넣고 "Run" 실행
여기서 막히는 분이 많은 지점이 두 곳입니다.
첫째, API 키를 발급할 때 결제 정보 등록을 요구하는 경우가 있습니다. 무료 한도 안에서 테스트만 한다면 카드 등록 없이도 가능하지만, 일일 호출량을 빨리 소진합니다. 가볍게 5~10번 돌려보는 정도면 무료로 충분합니다.
둘째, 샘플 코드가 영어입니다. 지시문(prompt) 부분만 한국어로 바꾸면 동작은 정상적으로 됩니다. 저도 "네이버 부동산에서 강남구 원룸 5개 정보를 표로"라고 한국어로 넣어봤는데 잘 동작했습니다.
⚠️ 첫 실행 때 카메라처럼 화면 캡처 권한을 요구할 수 있습니다. 허용해야 AI가 화면을 "볼" 수 있습니다.
직접 써보며 막혔던 부분
홍보 영상만 보면 모든 게 매끄러워 보입니다. 현실은 조금 다릅니다. 정직하게 적습니다.
광고·팝업이 끼면 멈춥니다. 부동산 사이트 테스트 중에 갑자기 뜬 쿠키 동의 팝업을 AI가 처리하지 못해 멈춘 적이 있었습니다. "팝업이 뜨면 X를 눌러서 닫아"라는 지시를 미리 넣어줘야 했습니다.
로그인 벽 앞에서는 무력합니다. 보안상 당연한 설계지만, 캡차(사람·로봇 구분 테스트)나 2단계 인증이 나오면 멈춥니다. 이때는 사람이 직접 로그인해둔 브라우저 세션을 AI에 넘겨주는 방식을 써야 합니다.
같은 작업이 매번 똑같이 성공하지는 않습니다. 사이트 디자인이 살짝만 바뀌어도, 또는 광고 위치가 달라져도 결과가 흔들립니다. 사내 시스템처럼 화면이 안정적인 곳에서는 잘 되지만, 외부 사이트는 매번 검증이 필요합니다.
비용이 생각보다 빨리 빠집니다. 스크린샷을 매 스텝마다 분석하니, 한 작업에 스크린샷이 20~30장씩 들어갑니다. 토큰 사용량이 일반 챗봇 대화보다 5배 이상 나옵니다.
저는 테스트 한 시간 만에 약 0.4달러를 썼습니다(글 작성 시점, Gemini 기준). 비싸진 않지만, 무심코 반복 실행하다 보면 한 달에 수십 달러가 나올 수 있다는 점은 기억해두는 게 좋습니다.
어떤 사람이 지금 써볼 만한가
모든 기능이 그렇듯 잘 맞는 사람과 안 맞는 사람이 갈립니다.
| 추천 | 이유 |
|---|---|
| 반복 업무가 많은 사무직 | 매주 같은 양식 채우는 작업 자동화 가능 |
| 마케터·리서처 | 경쟁사·시장 데이터 수집 효율화 |
| 노코드 자동화 경험자 | Zapier·Make 다음 단계로 확장 |
| 개발자 (특히 QA) | 웹사이트 테스트 자동화에 즉시 활용 |
반대로 이런 분은 조금 더 기다리시는 게 낫습니다.
- 완전 안정성이 필요한 회계·송금 같은 업무 (실수 위험)
- 모든 자동화를 코드 없이 끝내고 싶은 분 (현시점에선 최소한의 코드 실행 필요)
- 캡차·2단계 인증이 잦은 사이트만 다루는 분
저처럼 "내가 직접 클릭하기 귀찮은 단순 웹 작업을 한 번에 시키고 싶은 사람" 이라면, 지금 30분 정도 투자해 맛보기를 해보는 게 가장 좋습니다. 1년 뒤에는 훨씬 더 흔한 도구가 돼 있을 가능성이 높거든요.
마무리
Gemini의 Computer Use는 빠르고 저렴한 게 강점입니다. Claude의 Computer Use는 데스크톱 전반을 다루는 폭이 강점입니다. 둘 다 "AI가 내 화면을 보고 일한다"는 같은 길을 가지만, 출발선의 무게중심이 다릅니다.
지금 시점에서 한 번만 써본다면, AI Studio에 들어가 API 키를 발급하고 구글 공식 샘플을 한 번 돌려보는 것을 권합니다. 30분이면 충분하고, 비용도 1달러를 넘기지 않습니다.
다음 글에서는 Computer Use로 매주 반복하는 시장 조사 작업을 자동화한 실제 코드와 프롬프트 구조를 풀어보겠습니다. "프롬프트를 어떻게 짜야 안 멈추는지"가 사실 진짜 노하우거든요.
함께 보면 좋은 글
'AI & LLM > AI 도구 리뷰' 카테고리의 다른 글
| DeepFaceLab 학습이 느릴 때 — GPU·배치 최적화 7단계 (0) | 2026.07.06 |
|---|---|
| DeepFaceLab 자주 막히는 에러 7가지 한국어 해결법 (0) | 2026.06.27 |
| Suno vs Udio 비교 — AI 음악 생성 입문자용 가이드 (0) | 2026.06.15 |
| 무료 AI 이미지 생성 도구 7선 가성비 비교 2026 (0) | 2026.06.14 |
| Notion AI vs ChatGPT, 문서 작업엔 뭐가 더 좋을까 (0) | 2026.06.08 |