AI 에이전트용 로컬 웹 검색 도구 wigolo, API 키 없이 검색부터 크롤링까지

AI 에이전트용 로컬 웹 검색 도구 wigolo, API 키 없이 검색부터 크롤링까지

AI 뉴스 썸네일

728x90

AI 에이전트에 웹 검색을 붙이면 대부분 유료 API를 쓰게 돼요. Tavily나 Exa 같은 서비스에 가입하고, 키를 발급받고, 조회할 때마다 비용이 쌓이는 구조예요. 개인이 실험하는 수준이면 부담이 적지만, 에이전트가 밤새 수십 번 검색을 반복하는 구조에서는 조회 한 번이 부담이 되기도 해요. 오픈소스 도구 wigolo는 이 지점에서 출발해요. 검색, 페이지 읽기, 크롤링, 데이터 추출, 캐시, 유사 문서 검색을 하나의 MCP 인터페이스로 묶고, 전부 로컬에서 API 키 없이 돌려요. 1

핵심 요약

구분	핵심	왜 볼 만한가요
제품	AI 에이전트용 로컬 우선 웹 검색/수집 도구 wigolo 공개	검색·크롤링·추출을 MCP 하나로 묶어요
검색	18개 검색 엔진을 동시 조회 후 로컬 모델로 재정렬	유료 검색 API 없이 결과 품질을 관리해요
페이지 읽기	일반 HTTP로 시작해 봇 차단 감지 시 헤드리스 브라우저 전환	SPA·PDF·로그인 세션까지 읽어요
비용	핵심 기능은 API 키 없이 로컬 동작, 조회당 비용 0원	에이전트 반복 검색에 비용 부담이 없어요
운영	AGPL-3.0 라이선스, Node.js 20 이상 필요	자체 서비스에 붙일 때 라이선스 조건을 봐야 해요

1. wigolo가 하는 일

wigolo는 AI 에이전트가 웹에서 정보를 가져올 때 필요한 기능을 하나로 모은 도구예요. 검색은 물론이고 단일 페이지 읽기, 여러 페이지를 순회하는 크롤링, 테이블과 메타데이터 같은 구조화 데이터 추출, 읽은 내용의 로컬 캐시, 비슷한 문서 찾기까지 MCP 도구로 제공해요. 보고서를 만드는 research, 자율적으로 자료를 모으는 agent 같은 상위 기능도 들어 있어요. 2

검색 구조가 눈에 띄어요. 18개 검색 엔진을 함께 조회한 뒤 결과를 합치고, 로컬 모델로 재정렬해요. 각 결과에는 원문 발췌와 출처 위치, 인용 ID, 평가 점수가 붙어요. 결과를 에이전트가 근거로 쓸 수 있게 만든 구성이에요. 점수는 의미적 유사도, 어휘 일치, 엔진 간 합의 같은 항목으로 분해되고, 약한 결과는 도구 스스로 걸러 표시해요. 1

페이지 읽기는 단계적으로 동작해요. 일반 HTTP 요청으로 시작하고, SPA나 봇 차단 화면이 감지되면 헤드리스 브라우저로 자동 전환해요. PDF와 로그인 세션을 처리하고, 클릭·입력·스크롤·스크린샷 같은 브라우저 동작도 수행할 수 있어요. 읽은 페이지는 로컬 캐시와 벡터 인덱스에 저장되고, diff와 watch로 변경 사항을 감지해 웹훅 알림도 보내요. 1

왜 중요한가요

에이전트 개발에서 검색 API 비용은 작지만 반복되는 부담이에요. wigolo는 핵심 기능인 검색, 읽기, 크롤링, 추출, 캐시, 유사 검색을 API 키 없이 로컬에서 돌리기 때문에, 에이전트가 검색을 몇 번 하든 비용이 늘지 않아요. 재조회는 캐시에서 즉시 나오고, 캐시와 임베딩, 모델, 설정은 전부 사용자 홈 디렉터리 아래에 머물러요. 외부 LLM을 붙이지 않는 한 조회 데이터가 밖으로 나가지 않는 구조라, 프라이버시가 민감한 워크플로에도 붙이기 좋아요. 2

정직한 결과 표시도 설계 목표예요. 실패한 검색 엔진, 오래된 캐시, 차단된 페이지, 잘린 결과를 숨기지 않고 결과 상태에 명시해요. 봇 차단으로 읽지 못한 페이지는 차단 화면을 본문인 것처럼 돌려주는 게 아니라 실패로 표시해요. 에이전트가 근거 없는 답을 만드는 걸 줄이는 데 실질적으로 도움이 되는 부분이에요. 1

설치와 활용

설치는 간단해요. Node.js 20 이상과 약 1.5GB 디스크만 있으면 돼요. `npx wigolo init --agents=claude-code,cursor`처럼 한 줄로 설치와 MCP 설정을 함께 처리할 수 있어요. Claude Code, Cursor, Codex, Gemini CLI, VS Code 같은 코딩 도구는 물론, MCP 클라이언트라면 무엇이든 붙일 수 있고, REST API, CLI, Docker, TypeScript와 Python SDK도 제공해요. 2

research와 agent 기능은 LLM 연결이 선택 사항이에요. 연결이 없으면 원자료와 근거를 돌려주고, 무료 Gemini 키를 넣거나 Ollama로 로컬 LLM을 붙이면 출처가 포함된 완성형 답을 만들어줘요. cloud API 없이 전체 파이프라인을 로컬로 구성할 수 있다는 뜻이에요. 2

라이선스는 AGPL-3.0이에요. 개인이 로컬에서 쓰는 데는 제약이 없지만, 수정한 버전을 네트워크 서비스로 운영하면 수정 소스를 공개해야 해요. 회사 서비스에 붙이기 전에 이 조건을 확인해야 해요. 현재 상태는 Public Beta예요. 1

참고 자료

1. wigolo - AI 에이전트를 위한 로컬 우선 웹 검색/수집 도구 — GeekNews
2. KnockOutEZ/wigolo — GitHub