esp32 (2) 썸네일형 리스트형 70개 기술 노트를 한 페이지씩 읽는 Paged Out! 제9호 70개 기술 노트를 한 페이지씩 읽는 Paged Out! 제9호Paged Out 제9호 기술 잡지 썸네일긴 기술 글을 읽기 부담스러운 날에는 한 가지 아이디어만 선명하게 보여 주는 글이 더 잘 들어와요. 무료 기술 잡지 Paged Out! 제9호는 프로그래밍, 시스템, 보안, AI, 하드웨어를 다룬 글을 한 편당 한 페이지에 담았어요. 1이번 호에는 70편이 넘는 기사와 아트워크가 실렸어요. 주제가 넓지만, 실험을 재현하거나 구현 방식을 따라가 볼 수 있는 짧은 기술 노트가 중심이에요. 2핵심 요약구분담긴 내용읽어 볼 만한 이유AI·분산 시스템의미 기반 Kademlia, 에이전트 업무 구조, 로컬 RAG익숙한 구조를 AI 작업에 연결한 실험을 짧게 볼 수 있어요.로컬 AI·GPU6GB GPU 모델 교대 .. 8달러 ESP32에 2,890만 매개변수 LLM을 넣은 방법 8달러 ESP32에 2,890만 매개변수 LLM을 넣은 방법AI 뉴스 썸네일512KB SRAM을 가진 ESP32-S3에서 2,890만 매개변수 언어 모델이 돌아갔어요. 모델 전체를 빠른 메모리에 올리는 대신, 토큰마다 필요한 데이터만 플래시에서 읽는 구조로 약 초당 9.5토큰을 만들었어요. 다만 이 모델은 질문에 답하는 챗봇이 아니라 짧은 이야기를 생성하는 실험용 모델이에요. 1핵심 요약구분확인된 내용눈여겨볼 점하드웨어약 8달러인 ESP32-S3 N16R8 한 개를 사용해요서버 없이 기기 안에서 추론해요모델4비트 기준 14.9MB, 저장 매개변수 2,890만 개예요매개변수 수와 추론 능력을 같은 뜻으로 보면 안 돼요메모리512KB SRAM, 8MB PSRAM, 16MB 플래시를 나눠 써요2,500만 매개.. 이전 1 다음
