AmznSearchBot (1) 썸네일형 리스트형 웹 트래픽 99%가 봇일 때, 150만 페이지 사이트가 택한 방어선 웹 트래픽 99%가 봇일 때, 150만 페이지 사이트가 택한 방어선AI 뉴스 썸네일150만 개의 공개 프로필 페이지를 운영하는 PatronView는 분석 화면보다 서버 로그를 먼저 봐야 했어요. 한 주 동안 외부 요청 250만 건과 전체 페이지 로드 128만 건을 처리했지만, 분석 도구에 기록된 페이지뷰는 5,977건뿐이었어요. 운영자는 실제 사용자보다 크롤러가 서버 비용과 방어 업무를 좌우한다고 판단했어요. 1핵심 요약구분핵심왜 볼 만한가요트래픽 측정서버가 처리한 페이지 로드와 분석 도구의 페이지뷰가 214배가량 벌어졌어요자바스크립트 기반 분석만 보면 봇이 만든 비용을 놓칠 수 있어요크롤러 평가크롤링한 페이지 수를 실제 유입 방문자 수로 나눠 효율을 비교했어요검색·AI 크롤러를 모두 허용하는 대신 운영.. 이전 1 다음
