Claude vs Gemini 3.5 Flash, 컴퓨터 제어 누가 더 잘할까

요즘 AI가 그냥 답변만 해주는 게 아니라 마우스와 키보드를 직접 움직여서 컴퓨터를 조작해주는 시대가 왔습니다. 브라우저를 열고, 양식을 채우고, 스크린샷을 보고 다음 행동을 결정하는 식이죠.

이걸 가능하게 한 게 Anthropic의 Claude Computer Use와 구글의 Gemini 3.5 Flash 기반 에이전트입니다. 두 가지를 같은 작업으로 며칠 동안 굴려봤습니다.

이 글은 코드를 한 줄도 안 짜본 분이 읽어도 흐름을 따라올 수 있게 썼습니다. 누가 더 잘하는지, 그리고 언제 어느 쪽을 골라야 하는지까지 솔직하게 정리합니다.

컴퓨터 제어 AI가 뭐길래

컴퓨터 제어 AI는 AI가 사람처럼 화면을 보고 마우스·키보드를 직접 조작해 작업을 끝내는 기능입니다. 챗봇에게 "이 사이트에서 가격 비교해줘"라고 하면, 직접 브라우저를 띄우고 사이트를 열어 결과를 가져옵니다.

기존 챗봇과 결정적으로 다른 점은 "행동"을 한다는 겁니다.

구분	일반 챗봇	컴퓨터 제어 AI
입력	텍스트	텍스트 + 화면 캡처
출력	텍스트 답변	마우스 클릭·키보드 입력
예시	"엑셀 함수 알려줘"	"이 엑셀 파일 열어서 합계 계산해줘"
한계	직접 작업은 못함	실제로 작업을 수행

일종의 자율주행 자동차의 컴퓨터 버전이라고 보면 됩니다. 운전(클릭·타이핑)을 사람 대신 합니다.

대표 주자가 두 곳입니다. 2024년 10월 Anthropic이 먼저 공개한 Claude Computer Use, 그리고 구글이 Gemini 2.0 시기부터 발표한 Project Mariner·Gemini 3.5 Flash 기반 컴퓨터 제어 API입니다.

💡 글 작성 시점 기준 두 기능 모두 베타·프리뷰 단계입니다. 실서비스에 그대로 붙이기엔 아직 이른 단계라는 점 미리 알려드립니다.

테스트 환경과 방식

비교는 같은 조건에서 같은 작업을 시키는 식으로 진행했습니다. 공정성이 흐려지면 의미가 없으니까요.

테스트한 작업은 네 가지였습니다.

• 구글 검색에서 특정 키워드로 검색 후 첫 3개 결과 정리
• 쇼핑몰에서 상품 검색 → 가격 5개 추출 → 표로 정리
• 구글 폼 작성 (이름·이메일·짧은 답변 3개 항목)
• 캘린더에 일정 추가 (제목·날짜·시간 입력)

각 작업을 5번씩 반복해서 성공률·소요 시간·실패 패턴을 기록했습니다.

[테스트 흐름]

사용자 지시
    ↓
AI가 스크린샷 분석
    ↓
다음 행동 결정 (클릭 좌표·타이핑 내용)
    ↓
가상 환경에서 실행
    ↓
새 스크린샷 → 다시 분석 (반복)
    ↓
작업 완료 or 실패

환경은 둘 다 도커(Docker, 프로그램을 격리된 작은 박스 안에서 돌리는 도구) 기반의 가상 우분투 데스크톱이었습니다. 같은 해상도, 같은 브라우저(Chromium 기반), 같은 인터넷 속도로 맞췄습니다.

⚠️ 솔직한 한계: 이 결과는 글 작성 시점 기준 개인 환경 테스트입니다. 두 모델 모두 빠르게 업데이트되고 있어서 한 달 뒤엔 결과가 바뀔 수 있습니다.

정확도, 누가 더 잘 맞췄나

Claude가 정확도에서 한 발 앞섰습니다. 특히 양식 입력·드롭다운 같은 "정밀 클릭" 작업에서 차이가 두드러졌습니다.

다섯 번 시도 기준 성공률은 다음과 같았습니다.

작업	Claude Computer Use	Gemini 3.5 Flash
구글 검색 + 결과 추출	5/5	5/5
쇼핑몰 가격 5개 정리	4/5	3/5
구글 폼 작성	5/5	3/5
캘린더 일정 추가	4/5	2/5

특히 캘린더 작업에서 Gemini는 시간 입력 칸과 날짜 입력 칸을 헷갈리는 실수를 두 번 했습니다. 사람 눈엔 명확한 라벨인데 모델이 다르게 해석한 거죠.

Claude는 모호한 화면에서도 한 번 더 확인하는 행동을 보였습니다. 예를 들어 쇼핑몰에서 "필터가 적용되지 않은 것 같다"고 판단하고 스크롤을 한 번 더 내려서 확인하는 식이었습니다. 처음엔 답답해 보였지만 결과적으로 성공률을 높였습니다.

반대로 Gemini는 속도는 빠른데 한 번 잘못 가면 끝까지 잘못 갑니다. 중간에 자기 실수를 알아채는 빈도가 낮았습니다.

속도와 비용, Gemini가 가져간 영역

속도·비용 면에선 Gemini 3.5 Flash가 압도적입니다. 이름에 Flash가 괜히 붙은 게 아니었습니다.

같은 "구글 검색 + 결과 추출" 작업 기준입니다.

항목	Claude Computer Use	Gemini 3.5 Flash
평균 소요 시간	약 42초	약 18초
평균 API 호출 비용	약 $0.08	약 $0.015
스크린샷 분석 속도	보통	빠름

비용 차이가 거의 5배입니다. 하루에 수백 건씩 돌리는 자동화 작업이라면 이 차이가 한 달 청구서를 결정합니다.

💡 위 비용은 입력·출력 토큰을 합친 글 작성 시점 기준 추정치입니다. 공식 가격 페이지(Anthropic·Google AI Studio)에서 최신 단가를 꼭 다시 확인하세요.

속도가 빠른 이유는 두 가지입니다. Gemini 3.5 Flash 자체가 경량 모델이고, 구글의 비전 처리 파이프라인이 스크린샷 처리에 최적화되어 있어서입니다.

블로그 글 자동 게시처럼 같은 패턴을 반복하는 단순 작업이라면 Gemini 쪽이 합리적입니다. 어차피 실패해도 비용이 싸니 한 번 더 돌리면 됩니다.

실패하는 패턴이 서로 다릅니다

두 모델은 망가지는 방식 자체가 달랐습니다. 이게 어쩌면 정확도 숫자보다 더 중요한 부분이었습니다.

Claude가 자주 막힌 지점:

• 팝업·쿠키 동의 창에서 가끔 머뭇거림 (어디를 눌러야 할지 1~2초 망설임)
• 너무 신중해서 같은 화면을 두 번 캡처하고 비교하는 비효율
• 캡차(CAPTCHA, 사람인지 확인하는 인증)가 나오면 그대로 멈춤

Gemini가 자주 막힌 지점:

• 비슷한 UI 요소가 여러 개 있을 때 엉뚱한 걸 클릭
• 스크롤이 필요한 페이지에서 위쪽 정보만 보고 결론 내림
• 한국어 입력 폼에서 가끔 영문 자판으로 입력 시도

특히 Gemini의 "위쪽만 보고 끝내는" 패턴은 사용자가 결과를 검증하지 않으면 잘못된 답을 받게 되는 함정이었습니다. 가격 비교를 시켰는데 페이지 상단 광고 상품만 보고 답하는 경우가 한 번 있었습니다.

Claude는 실패하면 "어렵습니다"라고 명확히 말하는 편이고, Gemini는 실패해도 그럴듯한 답을 만들어내는 경향이 있었습니다. 일종의 환각(hallucination)이 행동에서도 나타나는 셈입니다.

어느 쪽을 골라야 할까

용도에 따라 답이 갈립니다. 두 모델은 라이벌이라기보다 다른 일에 쓰는 도구에 가깝습니다.

[선택 가이드]

작업이 복잡하고 한 번 틀리면 큰 일?
    → Claude Computer Use
    (예: 고객 데이터 입력, 결제, 폼 제출)

작업이 단순·반복이고 양이 많음?
    → Gemini 3.5 Flash
    (예: 대량 검색·스크래핑, 데이터 수집)

처음 시도해보는 사람?
    → Claude 부터 (안전판이 더 두꺼움)

블로그를 운영하는 분이라면 비유로 이렇게 정리할 수 있습니다. Claude는 꼼꼼한 신입 비서입니다. 느리지만 큰 사고는 안 칩니다. Gemini Flash는 민첩한 인턴입니다. 빠르고 싸지만 가끔 엉뚱한 보고서를 가져옵니다.

엑셀로 매일 사이트 50곳에서 가격을 수집하는 직장인이라면 Gemini가 맞습니다. 반면 회사 시스템에 고객 정보를 입력해야 하는 자동화라면 Claude를 고르는 게 마음이 편합니다.

⚠️ 공통 주의사항: 두 기능 모두 베타 단계입니다. 본인 계정에 금융 정보·민감 데이터가 있는 환경에서 곧바로 돌리지 마세요. Anthropic 공식 문서도 "격리된 가상 환경에서 사용할 것"을 권장합니다. 실수로 잘못된 버튼을 누르면 되돌리기 어렵습니다.

마무리

직접 며칠 굴려본 솔직한 느낌은, 두 모델 다 아직은 "어시스턴트"이지 "대리인"은 아니다입니다. 사람이 옆에서 결과를 한 번씩 확인해줘야 합니다.

그럼에도 Claude는 정확도와 신중함, Gemini는 속도와 비용으로 각자의 영역을 분명히 가지고 있습니다. 한쪽이 다른 쪽을 완전히 대체하긴 어려워 보입니다.

다음에 시도해볼 만한 것은 두 모델을 역할 분담시키는 구조입니다. Gemini가 빠르게 후보를 추리고 Claude가 정밀하게 마무리하는 식이죠. 직접 실험해본 결과는 다음 글에서 이어가겠습니다.

지금 당장 써보고 싶다면 Anthropic의 Computer Use 데모 저장소(claude-computer-use-demo)나 Google AI Studio의 컴퓨터 제어 샘플부터 가볍게 돌려보시길 권합니다. 둘 다 가상 환경 설정 가이드가 잘 되어 있습니다.

함께 보면 좋은 글

• Claude Artifacts 예시 7가지 — 직접 만들어본 미니앱
• Claude Fable 사용법과 보안 논란, 비개발자가 꼭 알아야 할 점
• Claude Sonnet 4.5 vs Opus 4, 언제 뭘 써야 할까