Claude 에이전트가 화면 조작부터 파일 반환까지 맡는 방법

Claude 에이전트가 화면 조작부터 파일 반환까지 맡는 방법

AI 뉴스 썸네일

Claude Platform의 Computer Use, Skills API, Files API가 정식 제공 단계에 들어갔어요. 화면을 조작하고 조직의 업무 규칙을 적용한 뒤 결과 파일까지 돌려주는 작업을 하나의 흐름으로 묶을 수 있어요. 1

핵심 요약

구분	핵심	왜 볼 만한가요
화면 조작	Computer Use가 화면을 보고 클릭, 입력, 스크롤해요	전용 API가 없는 오래된 업무 시스템도 다룰 수 있어요
웹 조작	Browser Use Tool이 페이지 구조를 읽고 필드와 버튼을 찾아요	화면 좌표만 쓰는 방식보다 웹 요소를 구체적으로 지정할 수 있어요
업무 지식	Skills API가 지침, 스크립트, 템플릿을 묶어 관리해요	여러 요청에서 같은 절차와 문서 형식을 재사용하기 쉬워져요
파일 처리	Files API가 입력 문서와 결과 파일을 파일 ID로 관리해요	같은 파일을 요청마다 다시 보내는 수고와 전송량을 줄일 수 있어요

1. 화면 조작과 업무 규칙, 파일 처리가 한 흐름으로 이어져요

Computer Use는 스크린샷을 바탕으로 소프트웨어를 조작해요. 에이전트가 화면을 보고 클릭하고, 필요한 값을 입력하고, 다음 화면으로 이동해요. API를 제공하지 않는 보험·의료·사내 관리 시스템도 사람이 키보드와 마우스로 쓰는 화면이 있다면 자동화 후보가 될 수 있어요. 2

새 Browser Use Tool은 웹페이지의 구조 정보도 함께 읽어요. 픽셀 좌표만 겨냥하는 대신 특정 입력 필드나 버튼을 대상으로 동작할 수 있어요. Anthropic은 업데이트된 Computer Use가 한 번의 모델 호출에서 여러 동작을 수행하도록 바뀌었다고 밝혔어요. 이전처럼 동작마다 모델을 다시 부르는 횟수를 줄여 긴 작업의 시간과 비용을 낮추려는 설계예요. 3

Skills API는 팀의 업무 방식을 실행 가능한 묶음으로 관리해요. 지침, 스크립트, 템플릿을 폴더 단위로 올리고 버전을 관리할 수 있어요. 요청할 때 필요한 스킬을 붙이면 Claude의 코드 실행 환경에서 해당 규칙을 불러와요. 별도의 실행 서버를 직접 운영하지 않아도 된다는 점이 실무 도입 장벽을 낮춰요. 4

Files API는 문서 입출력을 맡아요. PDF나 스프레드시트를 한 번 올린 뒤 파일 ID로 다시 참조할 수 있어요. 에이전트가 만든 보고서나 확인서도 저장하고 내려받을 수 있어요. Anthropic은 자동 파일 만료, 기존보다 5배 높은 요청 한도, 조직당 1TB 저장공간도 함께 안내했어요. 5

보험 청구 업무를 예로 들면 역할이 선명해져요. Files API에서 접수 문서를 읽고, Skills API에 담긴 접수 절차를 적용해요. Browser Use Tool로 보험사 포털에 내용을 입력한 뒤 확인서를 파일로 저장해요. 한 도구가 모든 일을 맡기보다 화면 조작, 업무 규칙, 문서 저장을 각각 분리해 연결하는 구조예요.

728x90

프로덕션에서는 권한과 실패 복구를 따로 설계해야 해요

도구가 연결됐다고 곧바로 안정적인 업무 자동화가 완성되는 건 아니에요. 어떤 사이트와 파일에 접근할 수 있는지 먼저 제한해야 해요. 결제, 제출, 삭제처럼 되돌리기 어려운 동작은 사람의 확인을 거치게 두는 편이 안전해요.

긴 작업은 중간 상태도 남겨야 해요. 화면이 바뀌거나 세션이 끊기면 처음부터 다시 실행하는 비용이 커져요. 완료한 단계, 사용한 파일 ID, 마지막으로 확인한 화면을 기록하면 실패 지점부터 이어가기 쉬워요. 화면 조작 결과만 믿지 말고 제출 번호나 생성 파일처럼 검증 가능한 결과를 받아야 해요.

Skills API의 버전 관리도 운영 품질과 연결돼요. 업무 절차가 바뀌었는데 오래된 스킬을 계속 쓰면 같은 오류가 반복될 수 있어요. 요청 로그에 스킬 버전과 입력 파일을 함께 남기면 결과가 달라진 원인을 찾기 쉬워져요.

왜 중요한가요

지금까지 업무용 AI를 만들 때 가장 어려운 구간은 모델의 답변보다 기존 시스템과의 연결이었어요. 모든 사내 도구가 깔끔한 API를 제공하지는 않아요. Computer Use와 Browser Use Tool은 사람이 쓰던 화면을 연결 지점으로 삼아요. Skills API와 Files API는 그 위에 업무 규칙과 문서 흐름을 더해요. 2

개발팀은 모델 호출 코드 하나보다 전체 작업 경계를 먼저 봐야 해요. 입력 문서가 어디에 저장되는지, 어느 스킬 버전이 실행됐는지, 화면 조작이 실패했을 때 어디서 재개하는지가 운영 비용을 좌우해요. 도구별 책임을 나누면 테스트 범위도 분명해져요. 브라우저 동작, 업무 규칙, 파일 생성 결과를 각각 확인할 수 있어요.

제공 범위도 확인할 만해요. Anthropic은 Computer Use, Browser Use Tool, Skills API, Files API를 Claude Platform에서 이용할 수 있다고 안내했어요. Skills API와 Files API는 Microsoft Foundry에서도 제공해요. 업데이트된 Computer Use와 Browser Use Tool은 Google Cloud Vertex AI에 추후 제공될 예정이에요. 기존 베타 연동은 이전 기간에도 계속 작동해요. 6

참고 자료

1. Computer Use와 Skills/Files API로 프로덕션 에이전트 구축하기 — GeekNews
2. Build production agents with computer use, the Skills API, and the Files API — Anthropic
3. Browser Use Tool — Claude Platform Docs
4. Agent Skills overview — Claude Platform Docs
5. Files API — Claude Platform Docs
6. Computer Use Tool — Claude Platform Docs