lmstudio (4) 썸네일형 리스트형 Qwen 3.8 27B, 성능보다 먼저 바꿔야 할 추론 설정 Qwen 3.8 27B, 성능보다 먼저 바꿔야 할 추론 설정AI 뉴스 썸네일Qwen 3.8 27B는 노트북에서도 코드 작성과 이미지 분석을 맡길 수 있는 로컬 AI 모델이에요. 다만 기본 추론 강도인 `xhigh`를 그대로 쓰면 간단한 작업에도 시간과 토큰을 지나치게 쓸 수 있어요. 실제 사용에서는 작업 난이도에 맞춰 추론 강도를 낮추는 설정이 모델 성능만큼 중요해요. 1핵심 요약구분내용모델270억 매개변수와 비전 기능을 갖춘 모델이며 Apache 2.0 라이선스로 공개됐어요.문맥기본 모델은 262,144토큰 문맥을 지원하고 최대 100만 토큰까지 확장할 수 있어요.기본 설정추론 강도 `xhigh`가 기본이라 단순한 요청도 오래 분석할 수 있어요.실사용`low`나 추론 비활성화로 시작한 뒤 복잡한 작업에.. Qwen3.8 2.4T를 397GB로 줄인 Unsloth, 로컬 실행의 현실 Qwen3.8 2.4T를 397GB로 줄인 Unsloth, 로컬 실행의 현실Qwen3.8 로컬 실행 썸네일Unsloth가 Qwen3.8-2.4T-A95B를 397GB까지 줄인 GGUF와 실행 가이드를 공개했어요. 4.9TB에 이르는 BF16 모델보다 91% 작지만, 일반 노트북에서 가볍게 돌리는 모델은 아니에요. 수백 GB 메모리를 갖춘 워크스테이션에서 초대형 MoE 모델을 직접 운영할 길을 연 사례에 가까워요. 1핵심 요약구분공개된 내용실제 의미모델 구조전체 2.4조 파라미터, 토큰당 950억 파라미터 활성화모든 가중치를 매번 계산하지 않는 MoE 모델이에요저장·메모리 규모BF16 4.9TB, Dynamic 1-bit XXXS 397GB91% 줄었어도 고사양 워크스테이션이 필요해요중간 선택지1-bit .. 20GB 안으로 들어온 30B 코딩 모델, Meta Muse Glimmer 20GB 안으로 들어온 30B 코딩 모델, Meta Muse GlimmerAI 뉴스 썸네일Meta가 30B 파라미터 로컬 코딩 모델 Muse Glimmer를 공개했어요. 약 4비트로 양자화한 모델은 20GB보다 작아서 24GB나 32GB 메모리를 갖춘 Mac·PC에서 에이전트 작업을 돌리는 구성을 겨냥해요. 1핵심 요약구분핵심왜 볼 만한가요공개 방식30B 모델 가중치를 Apache 2.0 라이선스로 공개했어요사용 조건이 비교적 명확한 오픈 웨이트 코딩 모델 선택지가 늘었어요로컬 실행약 4비트 양자화로 모델 크기를 20GB 미만으로 줄였어요24GB·32GB급 소비자 하드웨어에서 로컬 에이전트를 구성할 수 있어요작업 범위함수 호출, 코드 작성·디버깅, 도구 오류 복구, 이미지 입력을 다뤄요단순 코드 완성보다.. LM Studio Bionic, 로컬 오픈 모델로 코딩과 문서 작업을 묶었어요 LM Studio Bionic, 로컬 오픈 모델로 코딩과 문서 작업을 묶었어요LM Studio Bionic AI 뉴스 썸네일LM Studio가 오픈 모델용 작업 에이전트 ‘Bionic’을 공개했어요. 기존 LM Studio와 분리된 프로젝트 작업용 앱이에요. 코딩과 문서 편집, 음성 입력을 한곳에 넣고 로컬 실행과 클라우드 실행을 작업마다 고를 수 있게 했어요. 1핵심 요약구분제공 기능확인할 점모델 실행기기 내부 모델, LM Link 연결 모델, Secure Cloud 모델을 선택해요로컬과 클라우드의 데이터 경계를 작업 전에 확인해야 해요코딩코드베이스 검색, 설명, 편집, 디버깅, 인라인 diff를 지원해요변경 검토와 테스트는 개발자가 직접 맡아야 해요문서 작업PDF·문서·프레젠테이션·스프레드시트를 샌드.. 이전 1 다음
