본문 바로가기
728x90

Qwen3.8

 (9)
Qwen3.8 검열 제거 모델, 맥에서 돌리기 전에 봐야 할 위험 Qwen3.8 검열 제거 모델, 맥에서 돌리기 전에 봐야 할 위험AI 뉴스 썸네일Qwen3.8-27B의 거부 성향을 낮춘 MLX 변형 모델이 공개됐어요. 24GB 메모리를 갖춘 Mac에서는 4비트 버전을 로컬로 실행할 수 있지만, 안전장치까지 크게 약해진 모델이라 일반 챗봇처럼 다루면 위험해요. 모델 카드도 최종 사용자용 서비스보다 통제된 안전성 연구에 쓰라고 선을 그어요. 1핵심 요약구분핵심왜 볼 만한가요모델Qwen3.8-27B에서 거부와 관련된 방향을 제거한 변형이에요거부가 줄었다는 결과를 안전성 향상으로 오해하면 안 돼요실행 환경Apple Silicon용 MLX 형식으로 2·4·6·8비트 버전을 제공해요4비트 파일은 약 15GB이며 24GB Mac이 권장돼요기능비전 입력, 262,144토큰 문맥, ..
Qwen3.8 27B 지능 지수 52점, 점수보다 토큰 사용량을 함께 봐야 해요 Qwen3.8 27B 지능 지수 52점, 점수보다 토큰 사용량을 함께 봐야 해요AI 뉴스 썸네일Qwen3.8 27B가 Artificial Analysis Intelligence Index에서 52점을 받았어요. 같은 규모의 오픈 가중치 모델 중앙값 9보다 높지만, 평가에 쓴 출력 토큰도 1억 6,000만 개로 중앙값보다 약 3.7배 많았어요. 모델을 고를 때는 점수와 함께 응답 길이, 속도, 실제 운영 비용을 확인해야 해요. 1핵심 요약구분내용평가 결과Artificial Analysis Intelligence Index 52점을 기록했어요. 같은 규모의 오픈 가중치 모델 중앙값은 9점이에요.토큰 사용전체 평가에서 출력 토큰 1억 6,000만 개를 생성했어요. 비교군 중앙값 4,300만 개보다 약 3.7배..
Qwen 3.8 27B, 성능보다 먼저 바꿔야 할 추론 설정 Qwen 3.8 27B, 성능보다 먼저 바꿔야 할 추론 설정AI 뉴스 썸네일Qwen 3.8 27B는 노트북에서도 코드 작성과 이미지 분석을 맡길 수 있는 로컬 AI 모델이에요. 다만 기본 추론 강도인 `xhigh`를 그대로 쓰면 간단한 작업에도 시간과 토큰을 지나치게 쓸 수 있어요. 실제 사용에서는 작업 난이도에 맞춰 추론 강도를 낮추는 설정이 모델 성능만큼 중요해요. 1핵심 요약구분내용모델270억 매개변수와 비전 기능을 갖춘 모델이며 Apache 2.0 라이선스로 공개됐어요.문맥기본 모델은 262,144토큰 문맥을 지원하고 최대 100만 토큰까지 확장할 수 있어요.기본 설정추론 강도 `xhigh`가 기본이라 단순한 요청도 오래 분석할 수 있어요.실사용`low`나 추론 비활성화로 시작한 뒤 복잡한 작업에..
Qwen3.8-27B 4비트 로컬 실행, 24GB Mac이 현실적인 기준이에요 Qwen3.8-27B 4비트 로컬 실행, 24GB Mac이 현실적인 기준이에요Qwen3.8-27B 로컬 실행 썸네일270억 파라미터 모델을 개인 장비에서 돌릴 때 가장 먼저 막히는 곳은 메모리예요. Unsloth가 공개한 Qwen3.8-27B 양자화 판은 4비트 기준으로 총 17~19GB 메모리를 요구해요. 24GB 통합 메모리를 갖춘 Mac이나 24GB급 GPU 데스크톱이라면 로컬 실행을 시험해 볼 수 있는 크기예요. 2핵심 요약구분공개된 내용실제로 확인할 점모델270억 파라미터 밀집형 모델이에요비전과 추론을 함께 지원해요4비트 메모리총 17~19GB가 필요해요24GB 장비가 실행 여유를 두기 좋아요실행 형식GGUF와 NVFP4를 제공해요GPU 세대와 실행 도구에 맞춰 골라야 해요문맥 길이기본 262,..
Qwen 3.8 27B 공개, 이미지·영상과 장기 AI 작업을 한 모델에 담았어요 Qwen 3.8 27B 공개, 이미지·영상과 장기 AI 작업을 한 모델에 담았어요Qwen 3.8 27B AI 모델 썸네일Qwen이 270억 파라미터 규모의 멀티모달 모델 Qwen3.8-27B와 FP8 가중치를 공개했어요. 이미지와 영상을 읽고, 코딩이나 긴 작업을 여러 단계로 이어가는 용도를 한 모델에서 다뤄요. 개발자는 Hugging Face에서 가중치를 내려받아 자체 환경에 배치할 수 있어요. 2핵심 요약구분내용모델270억 파라미터의 밀집형 비전·언어 모델이에요.배포판블록 크기 128을 적용한 FP8 가중치를 Apache 2.0 라이선스로 제공해요.문맥기본 262,144 토큰이며 YaRN 설정으로 최대 100만 토큰까지 늘릴 수 있어요.추론 제어사고 모드를 끄거나 `reasoning_effort`를 ..
Qwen3.8 2.4T를 397GB로 줄인 Unsloth, 로컬 실행의 현실 Qwen3.8 2.4T를 397GB로 줄인 Unsloth, 로컬 실행의 현실Qwen3.8 로컬 실행 썸네일Unsloth가 Qwen3.8-2.4T-A95B를 397GB까지 줄인 GGUF와 실행 가이드를 공개했어요. 4.9TB에 이르는 BF16 모델보다 91% 작지만, 일반 노트북에서 가볍게 돌리는 모델은 아니에요. 수백 GB 메모리를 갖춘 워크스테이션에서 초대형 MoE 모델을 직접 운영할 길을 연 사례에 가까워요. 1핵심 요약구분공개된 내용실제 의미모델 구조전체 2.4조 파라미터, 토큰당 950억 파라미터 활성화모든 가중치를 매번 계산하지 않는 MoE 모델이에요저장·메모리 규모BF16 4.9TB, Dynamic 1-bit XXXS 397GB91% 줄었어도 고사양 워크스테이션이 필요해요중간 선택지1-bit ..
2.4조 파라미터 Qwen3.8 공개, 자체 호스팅의 문턱은 얼마나 높을까요 2.4조 파라미터 Qwen3.8 공개, 자체 호스팅의 문턱은 얼마나 높을까요AI 뉴스 썸네일Qwen이 2.4조 파라미터 규모의 Qwen3.8-2.4T-A95B 가중치를 공개했어요. 기업이 Qwen의 Max급 모델을 자체 인프라에서 운영할 길이 열렸지만, 막대한 GPU 자원과 별도 상업 조건까지 함께 따져야 해요. 1핵심 요약구분핵심왜 볼만한가요모델 규모전체 2.4조 파라미터 가운데 토큰마다 950억 파라미터를 써요거대한 모델의 성능을 MoE 구조로 나눠 쓰지만, 운영 규모는 여전히 데이터센터급이에요작업 방식계획, 도구 사용, 결과 확인, 재시도를 잇는 장기 작업에 초점을 맞췄어요단발성 답변보다 코딩과 연구 업무를 끝까지 처리하는 능력을 겨냥했어요실행 환경Transformers, vLLM, SGLang, ..
오픈 웨이트 AI가 흔드는 모델 기업의 수익 공식 오픈 웨이트 AI가 흔드는 모델 기업의 수익 공식AI 뉴스 썸네일Kimi K3와 Qwen 3.8처럼 성능이 높아진 오픈 웨이트 모델이 잇달아 나오고 있어요. 이제 모델 기업은 벤치마크 순위뿐 아니라 추론 원가, 인프라 소유 범위, 제품의 전환 비용까지 함께 증명해야 해요. 1핵심 요약구분핵심실무에서 볼 점모델 경쟁오픈 웨이트 모델이 최상위 폐쇄형 모델과의 격차를 좁히고 있어요모델 이름보다 실제 업무의 성공률과 비용을 비교해야 해요비용 구조추론량이 늘면 GPU와 전력 비용도 함께 커져요토큰 가격 대신 완료된 과제 1건의 총비용을 재야 해요인프라데이터센터와 전력 조달 방식이 장기 마진에 영향을 줘요자체 구축과 외부 임대의 비용·운영 위험을 나눠 봐야 해요제품 방어력모델 교체가 쉬워질수록 실행 환경과 업무 데..
Qwen 3.8 공개, 2.4조 파라미터보다 먼저 확인할 것 Qwen 3.8 공개, 2.4조 파라미터보다 먼저 확인할 것AI 뉴스 썸네일Alibaba Qwen이 2.4조 파라미터 규모의 Qwen 3.8을 공개했어요. 지금은 Qwen3.8-Max-Preview를 일부 서비스에서 써 볼 수 있고, 오픈 웨이트는 추후 공개할 예정이에요. 모델 크기는 눈에 띄지만 개발자가 당장 판단할 수 있는 정보와 아직 기다려야 할 정보를 나눠 볼 필요가 있어요. 1핵심 요약구분공개된 내용확인이 필요한 부분모델 규모총 2.4조 파라미터로 소개됐어요활성 파라미터 수와 구조는 공개 자료를 더 봐야 해요이용 방법Token Plan, Qoder, QoderWork에서 Max Preview를 제공해요일반 API의 지역별 접근성과 실제 사용 한도를 확인해야 해요오픈 웨이트곧 공개할 예정이라고 밝..
728x90

티스토리툴바