FastAPI (2) 썸네일형 리스트형 넷플릭스는 vLLM을 어떻게 프로덕션에 올렸을까요 넷플릭스는 vLLM을 어떻게 프로덕션에 올렸을까요AI 뉴스 썸네일넷플릭스가 사내 LLM 서빙 플랫폼의 구조와 운영 경험을 공개했어요. vLLM을 고르는 데서 끝나지 않고, 기존 ML 인프라와 연결한 방식부터 무중단 배포, 메트릭 통합, 제약 디코딩 병목까지 구체적으로 다뤘어요. 1핵심 요약구분핵심왜 볼 만한가요서빙 구조기존 JVM 서빙 계층과 Triton 위에 vLLM을 연결했어요LLM만을 위한 별도 운영 체계를 만들지 않고 기존 배포·상태 확인·자동 확장 기능을 재사용했어요엔진 선택TensorRT-LLM에서 vLLM을 기본 경로로 바꿨어요최고 처리량 하나보다 사용자 정의 모델, 디버깅, 확장 훅, 연구 환경과의 연결 비용을 함께 봤어요APIgRPC와 OpenAI 호환 HTTP API를 함께 열었어요기존.. 개발자 채용 과제에 숨은 악성코드, Git 훅부터 확인해야 해요 개발자 채용 과제에 숨은 악성코드, Git 훅부터 확인해야 해요AI 뉴스 썸네일월 1만~1만 5천 달러를 제시한 원격 Python 개발자 채용 과제가 악성코드 전달 수단으로 쓰였어요. 겉으로는 FastAPI와 SQLAlchemy로 만든 평범한 프로젝트였지만, 숨겨진 Git 훅이 운영체제에 맞는 원격 페이로드를 실행하도록 짜여 있었어요. 1핵심 요약구분확인된 내용개발자가 볼 지점접근 방식가짜 채용 담당자가 ZIP 파일과 과제 PDF를 보냈어요높은 보수와 지나치게 빠른 승인도 경고 신호가 될 수 있어요실행 장치`.git/hooks/pre-commit`이 원격 스크립트를 조용히 실행했어요코드를 읽는 것만으로는 숨은 자동 실행 설정을 놓칠 수 있어요후속 동작Linux에서는 Node.js와 난독화된 스크립트를 내.. 이전 1 다음
