본문 바로가기

728x90

VRAM

(4)
Qwen3.8-27B 4비트 로컬 실행, 24GB Mac이 현실적인 기준이에요 Qwen3.8-27B 4비트 로컬 실행, 24GB Mac이 현실적인 기준이에요Qwen3.8-27B 로컬 실행 썸네일270억 파라미터 모델을 개인 장비에서 돌릴 때 가장 먼저 막히는 곳은 메모리예요. Unsloth가 공개한 Qwen3.8-27B 양자화 판은 4비트 기준으로 총 17~19GB 메모리를 요구해요. 24GB 통합 메모리를 갖춘 Mac이나 24GB급 GPU 데스크톱이라면 로컬 실행을 시험해 볼 수 있는 크기예요. 2핵심 요약구분공개된 내용실제로 확인할 점모델270억 파라미터 밀집형 모델이에요비전과 추론을 함께 지원해요4비트 메모리총 17~19GB가 필요해요24GB 장비가 실행 여유를 두기 좋아요실행 형식GGUF와 NVFP4를 제공해요GPU 세대와 실행 도구에 맞춰 골라야 해요문맥 길이기본 262,..
MiniMax H3가 ComfyUI에 들어왔어요: 영상·오디오 생성과 로컬 실행의 조건 MiniMax H3가 ComfyUI에 들어왔어요: 영상·오디오 생성과 로컬 실행의 조건AI 뉴스 썸네일MiniMax H3가 공개되자 ComfyUI가 곧바로 공식 워크플로를 내놨어요. 영상과 스테레오 오디오를 같은 생성 과정에서 만들고, 텍스트·이미지·참조 영상까지 한 모델에서 다룬다는 점이 눈에 띄어요. 다만 2K 전체 과정과 한국에서의 이용 조건은 별도로 확인해야 해요.핵심 요약구분핵심왜 볼 만한가요생성 기능최대 15초 영상과 32kHz 스테레오 오디오를 함께 생성해요영상 생성 뒤 음향을 따로 붙이는 작업을 줄일 수 있어요입력 방식텍스트, 시작·종료 프레임, 이미지·영상·오디오 참조를 받아요한 그래프에서 장면 생성과 참조 기반 수정을 이어갈 수 있어요로컬 실행ComfyUI가 가지치기·양자화 모델과 VR..
Kimi K3를 한 노드에 담은 AMD MI355X, 비용 효율은 B300을 앞섰어요 Kimi K3를 한 노드에 담은 AMD MI355X, 비용 효율은 B300을 앞섰어요AI 뉴스 썸네일2.8조 매개변수 규모의 Kimi K3를 AMD MI355X 8개로 구성한 한 노드에서 구동한 결과가 나왔어요. 엔비디아 B300이 절대 처리량에서는 빨랐지만, Wafer가 적용한 시간당 대여료로 계산하면 MI355X가 달러당 처리량에서 앞섰어요. 1핵심 요약구분핵심왜 볼 만한가요메모리 구성MI355X는 GPU당 288GB VRAM으로 Kimi K3와 100만 토큰 KV 캐시를 8개 GPU 한 노드에 담았어요초대형 모델은 연산 속도뿐 아니라 한 노드에 들어가는지가 비용과 통신량을 바꿔요처리량MI355X는 총 952 tok/s와 단일 스트림 118 tok/s를 기록했어요B200 두 노드 구성보다 노드당 처리..
70개 기술 노트를 한 페이지씩 읽는 Paged Out! 제9호 70개 기술 노트를 한 페이지씩 읽는 Paged Out! 제9호Paged Out 제9호 기술 잡지 썸네일긴 기술 글을 읽기 부담스러운 날에는 한 가지 아이디어만 선명하게 보여 주는 글이 더 잘 들어와요. 무료 기술 잡지 Paged Out! 제9호는 프로그래밍, 시스템, 보안, AI, 하드웨어를 다룬 글을 한 편당 한 페이지에 담았어요. 1이번 호에는 70편이 넘는 기사와 아트워크가 실렸어요. 주제가 넓지만, 실험을 재현하거나 구현 방식을 따라가 볼 수 있는 짧은 기술 노트가 중심이에요. 2핵심 요약구분담긴 내용읽어 볼 만한 이유AI·분산 시스템의미 기반 Kademlia, 에이전트 업무 구조, 로컬 RAG익숙한 구조를 AI 작업에 연결한 실험을 짧게 볼 수 있어요.로컬 AI·GPU6GB GPU 모델 교대 ..

728x90