본문 바로가기
728x90

qwen

 (22)
Qwen3.8 검열 제거 모델, 맥에서 돌리기 전에 봐야 할 위험 Qwen3.8 검열 제거 모델, 맥에서 돌리기 전에 봐야 할 위험AI 뉴스 썸네일Qwen3.8-27B의 거부 성향을 낮춘 MLX 변형 모델이 공개됐어요. 24GB 메모리를 갖춘 Mac에서는 4비트 버전을 로컬로 실행할 수 있지만, 안전장치까지 크게 약해진 모델이라 일반 챗봇처럼 다루면 위험해요. 모델 카드도 최종 사용자용 서비스보다 통제된 안전성 연구에 쓰라고 선을 그어요. 1핵심 요약구분핵심왜 볼 만한가요모델Qwen3.8-27B에서 거부와 관련된 방향을 제거한 변형이에요거부가 줄었다는 결과를 안전성 향상으로 오해하면 안 돼요실행 환경Apple Silicon용 MLX 형식으로 2·4·6·8비트 버전을 제공해요4비트 파일은 약 15GB이며 24GB Mac이 권장돼요기능비전 입력, 262,144토큰 문맥, ..
Qwen3.8 27B 지능 지수 52점, 점수보다 토큰 사용량을 함께 봐야 해요 Qwen3.8 27B 지능 지수 52점, 점수보다 토큰 사용량을 함께 봐야 해요AI 뉴스 썸네일Qwen3.8 27B가 Artificial Analysis Intelligence Index에서 52점을 받았어요. 같은 규모의 오픈 가중치 모델 중앙값 9보다 높지만, 평가에 쓴 출력 토큰도 1억 6,000만 개로 중앙값보다 약 3.7배 많았어요. 모델을 고를 때는 점수와 함께 응답 길이, 속도, 실제 운영 비용을 확인해야 해요. 1핵심 요약구분내용평가 결과Artificial Analysis Intelligence Index 52점을 기록했어요. 같은 규모의 오픈 가중치 모델 중앙값은 9점이에요.토큰 사용전체 평가에서 출력 토큰 1억 6,000만 개를 생성했어요. 비교군 중앙값 4,300만 개보다 약 3.7배..
Qwen 3.8 27B, 성능보다 먼저 바꿔야 할 추론 설정 Qwen 3.8 27B, 성능보다 먼저 바꿔야 할 추론 설정AI 뉴스 썸네일Qwen 3.8 27B는 노트북에서도 코드 작성과 이미지 분석을 맡길 수 있는 로컬 AI 모델이에요. 다만 기본 추론 강도인 `xhigh`를 그대로 쓰면 간단한 작업에도 시간과 토큰을 지나치게 쓸 수 있어요. 실제 사용에서는 작업 난이도에 맞춰 추론 강도를 낮추는 설정이 모델 성능만큼 중요해요. 1핵심 요약구분내용모델270억 매개변수와 비전 기능을 갖춘 모델이며 Apache 2.0 라이선스로 공개됐어요.문맥기본 모델은 262,144토큰 문맥을 지원하고 최대 100만 토큰까지 확장할 수 있어요.기본 설정추론 강도 `xhigh`가 기본이라 단순한 요청도 오래 분석할 수 있어요.실사용`low`나 추론 비활성화로 시작한 뒤 복잡한 작업에..
추론은 강해졌는데 사실은 자주 틀려요, 소형 AI 모델의 새로운 절충 추론은 강해졌는데 사실은 자주 틀려요, 소형 AI 모델의 새로운 절충AI 뉴스 썸네일요즘 소형 LLM은 수학과 코딩 문제를 꽤 잘 풀어요. 그런데 인물의 생년이나 특정 라이브러리 버전처럼 세부 사실을 물으면 자신 있게 틀리는 경우가 많아요. 모델을 작게 만드는 과정에서 무엇을 기억하고 무엇을 외부 자료에 맡길지 다시 따져볼 시점이에요. 1핵심 요약구분핵심왜 볼 만한가요성능 변화적은 활성 매개변수로 높은 추론 점수를 내는 모델이 늘고 있어요모델 크기와 문제 해결 능력의 관계가 달라지고 있어요약점도구 없이 세부 사실을 회상할 때 오답과 환각이 많아요벤치마크 점수만으로 실제 답변 품질을 판단하기 어려워요설계 방향최신 세부 정보는 검색, 문서, 도구 호출로 가져오는 방안이 거론돼요오래된 API나 가격 정보를 가..
Qwen3.8-27B 4비트 로컬 실행, 24GB Mac이 현실적인 기준이에요 Qwen3.8-27B 4비트 로컬 실행, 24GB Mac이 현실적인 기준이에요Qwen3.8-27B 로컬 실행 썸네일270억 파라미터 모델을 개인 장비에서 돌릴 때 가장 먼저 막히는 곳은 메모리예요. Unsloth가 공개한 Qwen3.8-27B 양자화 판은 4비트 기준으로 총 17~19GB 메모리를 요구해요. 24GB 통합 메모리를 갖춘 Mac이나 24GB급 GPU 데스크톱이라면 로컬 실행을 시험해 볼 수 있는 크기예요. 2핵심 요약구분공개된 내용실제로 확인할 점모델270억 파라미터 밀집형 모델이에요비전과 추론을 함께 지원해요4비트 메모리총 17~19GB가 필요해요24GB 장비가 실행 여유를 두기 좋아요실행 형식GGUF와 NVFP4를 제공해요GPU 세대와 실행 도구에 맞춰 골라야 해요문맥 길이기본 262,..
Qwen 3.8 27B 공개, 이미지·영상과 장기 AI 작업을 한 모델에 담았어요 Qwen 3.8 27B 공개, 이미지·영상과 장기 AI 작업을 한 모델에 담았어요Qwen 3.8 27B AI 모델 썸네일Qwen이 270억 파라미터 규모의 멀티모달 모델 Qwen3.8-27B와 FP8 가중치를 공개했어요. 이미지와 영상을 읽고, 코딩이나 긴 작업을 여러 단계로 이어가는 용도를 한 모델에서 다뤄요. 개발자는 Hugging Face에서 가중치를 내려받아 자체 환경에 배치할 수 있어요. 2핵심 요약구분내용모델270억 파라미터의 밀집형 비전·언어 모델이에요.배포판블록 크기 128을 적용한 FP8 가중치를 Apache 2.0 라이선스로 제공해요.문맥기본 262,144 토큰이며 YaRN 설정으로 최대 100만 토큰까지 늘릴 수 있어요.추론 제어사고 모드를 끄거나 `reasoning_effort`를 ..
Qwen3.8 2.4T를 397GB로 줄인 Unsloth, 로컬 실행의 현실 Qwen3.8 2.4T를 397GB로 줄인 Unsloth, 로컬 실행의 현실Qwen3.8 로컬 실행 썸네일Unsloth가 Qwen3.8-2.4T-A95B를 397GB까지 줄인 GGUF와 실행 가이드를 공개했어요. 4.9TB에 이르는 BF16 모델보다 91% 작지만, 일반 노트북에서 가볍게 돌리는 모델은 아니에요. 수백 GB 메모리를 갖춘 워크스테이션에서 초대형 MoE 모델을 직접 운영할 길을 연 사례에 가까워요. 1핵심 요약구분공개된 내용실제 의미모델 구조전체 2.4조 파라미터, 토큰당 950억 파라미터 활성화모든 가중치를 매번 계산하지 않는 MoE 모델이에요저장·메모리 규모BF16 4.9TB, Dynamic 1-bit XXXS 397GB91% 줄었어도 고사양 워크스테이션이 필요해요중간 선택지1-bit ..
2.4조 파라미터 Qwen3.8 공개, 자체 호스팅의 문턱은 얼마나 높을까요 2.4조 파라미터 Qwen3.8 공개, 자체 호스팅의 문턱은 얼마나 높을까요AI 뉴스 썸네일Qwen이 2.4조 파라미터 규모의 Qwen3.8-2.4T-A95B 가중치를 공개했어요. 기업이 Qwen의 Max급 모델을 자체 인프라에서 운영할 길이 열렸지만, 막대한 GPU 자원과 별도 상업 조건까지 함께 따져야 해요. 1핵심 요약구분핵심왜 볼만한가요모델 규모전체 2.4조 파라미터 가운데 토큰마다 950억 파라미터를 써요거대한 모델의 성능을 MoE 구조로 나눠 쓰지만, 운영 규모는 여전히 데이터센터급이에요작업 방식계획, 도구 사용, 결과 확인, 재시도를 잇는 장기 작업에 초점을 맞췄어요단발성 답변보다 코딩과 연구 업무를 끝까지 처리하는 능력을 겨냥했어요실행 환경Transformers, vLLM, SGLang, ..
Qwen3.8 Max가 에이전트 평가에서 보여준 것 Qwen3.8 Max가 에이전트 평가에서 보여준 것AI 뉴스 썸네일Qwen3.8 Max가 에이전트형 작업 평가에서 최상위권에 올랐어요. 단순 문답 점수보다 도구 사용과 계획, 여러 단계를 잇는 능력을 따로 측정했다는 점이 더 눈에 들어와요. 다만 순위표는 평가 추가와 모델 업데이트에 따라 바뀌므로, 1위라는 숫자만 떼어 보면 판단을 놓치기 쉬워요. 1핵심 요약구분핵심왜 볼 만한가요에이전트 성능Qwen3.8 Max가 Agentic Index 최상위권에 올랐어요도구 사용과 계획을 포함한 실제 작업형 평가예요일반 지능공식 모델 페이지의 Intelligence Index 점수는 58점이에요에이전트 순위와 일반 지능 순위는 같은 지표가 아니에요운영 비용입력 100만 토큰당 2달러, 출력 100만 토큰당 6달러예요..
4B 검색 모델이 GPT-5.6 Sol을 앞선 조건 4B 검색 모델이 GPT-5.6 Sol을 앞선 조건AI 뉴스 썸네일기업 문서 검색에 매번 큰 범용 모델을 호출하면 정확도보다 비용과 응답 시간이 먼저 문제가 돼요. Castform과 Neon은 Qwen3.5-4B Base를 특정 검색 작업에 맞게 학습해, 자체 평가에서 GPT-5.6 Sol보다 높은 점수를 기록했다고 밝혔어요. 1결과는 흥미롭지만, 적용 범위를 구분해서 봐야 해요. 공개된 수치는 범용 지능 비교가 아니라 GitLab 제품 문서에서 만든 질문에 답하는 검색 작업의 평가 결과예요. 2핵심 요약구분확인된 내용읽을 때 주의할 점모델Qwen3.5-4B Base를 검색 작업에 맞게 강화학습 후처리했어요모든 검색과 추론에서 GPT-5.6 Sol보다 낫다는 뜻은 아니에요평가 결과평균 평가 보상은 맞춤 ..
728x90

티스토리툴바