본문 바로가기
728x90

brotli

 (2)
LLM과 파일 압축이 같은 수학을 쓰는 이유 LLM과 파일 압축이 같은 수학을 쓰는 이유AI 뉴스 썸네일파일 압축기와 대규모 언어 모델은 겉으로 전혀 다른 도구예요. 하지만 둘 다 앞에 나온 문맥으로 다음 데이터를 예측하고, 그 확률을 성능으로 바꿔요. 예측이 정확할수록 파일에는 더 적은 비트가 필요하고 언어 모델의 손실도 낮아져요. 1핵심 요약구분핵심왜 볼 만한가요데이터 압축자주 나오거나 예측하기 쉬운 기호에는 짧은 비트 표현을 배정해요문맥을 잘 읽는 모델일수록 같은 데이터를 더 작게 표현할 수 있어요언어 모델앞선 토큰을 바탕으로 다음 토큰의 확률 분포를 계산해요실제 토큰에 높은 확률을 주는 능력이 압축률과 직접 이어져요현실의 한계LLM은 모델 파일과 연산 비용이 커요gzip이나 Brotli를 당장 대체하기보다 두 기술의 공통 원리를 이해하는 데..
CDN 없이 봇을 줄이는 방법, HTTP·IP·TLS 신호를 함께 봐요 CDN 없이 봇을 줄이는 방법, HTTP·IP·TLS 신호를 함께 봐요AI 뉴스 썸네일웹 서버로 들어오는 봇을 줄일 때 User-Agent 하나만 차단하면 쉽게 우회돼요. 이번 사례는 HTTP 버전, IP 대역, 요청 헤더, TCP 특성, TLS 지문, 콘텐츠 압축을 겹쳐 쓰는 방법을 다뤄요. 효과보다 먼저 봐야 할 것은 정상 사용자와 검색엔진까지 막을 수 있는 오탐지 위험이에요. 1핵심 요약구분핵심왜 볼 만한가요요청 계층HTTP 버전과 헤더, User-Agent를 조합해 단순 봇을 가려요Nginx에서 빠르게 적용할 수 있지만 검색엔진도 막힐 수 있어요네트워크 계층AS·CIDR 대역과 TCP 윈도 크기, MSS, TTL을 살펴요데이터센터 스캐너를 줄일 수 있지만 VPN·LTE 이용자 오탐지가 생길 수 있..
728x90

티스토리툴바