MXFP4 (3) 썸네일형 리스트형 Kimi K3를 로컬에서 돌리려면 메모리가 얼마나 필요할까요 Kimi K3를 로컬에서 돌리려면 메모리가 얼마나 필요할까요Kimi K3 로컬 실행 썸네일Moonshot AI의 Kimi K3는 오픈 웨이트 모델이지만, 개인용 PC 한 대에 가볍게 올릴 수 있는 크기는 아니에요. Unsloth가 공개한 가장 작은 권장 양자화도 파일이 594GB이고, 실행에는 RAM과 VRAM을 합쳐 최소 610GB가 필요해요. 로컬 실행에서 말하는 ‘로컬’이 고성능 워크스테이션이나 여러 장의 GPU를 포함한다는 점부터 확인해야 해요. 1핵심 요약구분확인할 내용실제 의미모델 규모전체 2.8조, 추론 시 1,040억 매개변수 활성화MoE 구조여도 저장 공간과 메모리 요구량은 매우 커요가장 작은 권장 양자화`UD-IQ1_S` 594GB실행 환경에는 최소 610GB의 총 메모리가 필요해요품질.. Kimi K3 가중치 공개, 2.8조 파라미터 모델을 직접 배포할 수 있어요 Kimi K3 가중치 공개, 2.8조 파라미터 모델을 직접 배포할 수 있어요Kimi K3 Hugging Face 공개 썸네일Moonshot AI가 Kimi K3의 전체 가중치와 실행 코드를 Hugging Face에 공개했어요. 2.8조 개 파라미터, 104만 8,576 토큰 컨텍스트, 이미지와 영상을 다루는 멀티모달 기능을 한 모델에 담았어요. 이제 발표 자료를 보는 단계를 넘어 라이선스와 배포 조건을 직접 확인할 수 있어요. 1핵심 요약구분핵심왜 볼 만한가요공개 범위모델 가중치와 실행 코드가 Hugging Face에 올라왔어요연구팀과 기업이 자체 환경에서 모델을 시험하고 수정할 수 있어요모델 구조전체 2.8조 개 중 토큰마다 1,040억 개 파라미터를 활성화해요전체 규모와 한 번의 추론에 쓰는 계산량을.. AI 추론 비용 싸움에 AMD MI355X가 끼어들었어요 AI 추론 비용 싸움에 AMD MI355X가 끼어들었어요AI 뉴스 썸네일AI 모델을 쓰는 비용은 모델 품질만큼이나 인프라 선택에 크게 좌우돼요. Wafer는 GLM-5.2를 AMD MI355X에서 돌리며, NVIDIA Blackwell보다 낮은 장비 비용으로 꽤 가까운 추론 처리량을 낼 수 있다고 주장했어요. 핵심은 GPU 가격보다 CUDA와 ROCm 사이의 소프트웨어 격차를 얼마나 줄일 수 있느냐예요.핵심 요약구분핵심왜 볼 만한가요AI 인프라Wafer는 AMD MI355X가 B300보다 GPU당 평균 약 2.75배 저렴하다고 설명해요추론 수요가 늘수록 모델 제공사의 원가 구조가 서비스 가격에 바로 영향을 줘요성능 테스트GLM-5.2 워크로드에서 2626 tok/s/node와 2.4 rps를 기록했어요B.. 이전 1 다음
