본문 바로가기

728x90

mlx

(5)
내 컴퓨터에서 음성 AI를 돌리는 Hugging Face Speech To Speech 내 컴퓨터에서 음성 AI를 돌리는 Hugging Face Speech To SpeechAI 뉴스 썸네일말을 듣고 답하는 AI를 만들려면 음성 감지, 받아쓰기, 답변 생성, 음성 합성을 차례로 연결해야 해요. Hugging Face의 Speech To Speech는 이 과정을 한 파이프라인으로 묶고, 각 부품을 원하는 모델로 바꿀 수 있게 만든 오픈소스 프로젝트예요. 1핵심 요약구분내용처리 구조VAD, STT, LLM, TTS가 각각 별도 스레드에서 움직이고 큐로 데이터를 넘겨요.연결 방식OpenAI Realtime의 핵심 이벤트를 WebSocket과 WebRTC로 제공해요.모델 선택STT, LLM, TTS를 하드웨어와 언어에 맞춰 교체할 수 있어요.로컬 실행llama.cpp, vLLM, MLX LM 같은..
Qwen3.8 검열 제거 모델, 맥에서 돌리기 전에 봐야 할 위험 Qwen3.8 검열 제거 모델, 맥에서 돌리기 전에 봐야 할 위험AI 뉴스 썸네일Qwen3.8-27B의 거부 성향을 낮춘 MLX 변형 모델이 공개됐어요. 24GB 메모리를 갖춘 Mac에서는 4비트 버전을 로컬로 실행할 수 있지만, 안전장치까지 크게 약해진 모델이라 일반 챗봇처럼 다루면 위험해요. 모델 카드도 최종 사용자용 서비스보다 통제된 안전성 연구에 쓰라고 선을 그어요. 1핵심 요약구분핵심왜 볼 만한가요모델Qwen3.8-27B에서 거부와 관련된 방향을 제거한 변형이에요거부가 줄었다는 결과를 안전성 향상으로 오해하면 안 돼요실행 환경Apple Silicon용 MLX 형식으로 2·4·6·8비트 버전을 제공해요4비트 파일은 약 15GB이며 24GB Mac이 권장돼요기능비전 입력, 262,144토큰 문맥, ..
Unsloth Desktop, 로컬 AI 실행부터 학습까지 한 앱에 담았어요 Unsloth Desktop, 로컬 AI 실행부터 학습까지 한 앱에 담았어요AI 뉴스 썸네일로컬 AI 모델을 쓰려면 모델 실행기와 학습 도구, 서빙 환경을 따로 맞추는 일이 많았어요. Unsloth Desktop은 이 과정을 데스크톱 앱 하나로 묶은 베타 버전이에요. 모델을 내려받아 대화하는 데서 끝나지 않고 파인튜닝, 미디어 생성, 도구 연결까지 같은 화면에서 다뤄요. 1핵심 요약구분핵심왜 볼만한가요실행 환경macOS, Windows, Linux, WSL에서 로컬 AI 모델을 실행해요운영체제별로 여러 도구를 조합하던 부담을 줄일 수 있어요모델 학습LoRA, 전체 파인튜닝, 사전 학습을 앱에서 시작할 수 있어요데이터 준비부터 학습 결과 내보내기까지 한곳에서 이어져요개발 도구Claude Code, Code..
20GB 안으로 들어온 30B 코딩 모델, Meta Muse Glimmer 20GB 안으로 들어온 30B 코딩 모델, Meta Muse GlimmerAI 뉴스 썸네일Meta가 30B 파라미터 로컬 코딩 모델 Muse Glimmer를 공개했어요. 약 4비트로 양자화한 모델은 20GB보다 작아서 24GB나 32GB 메모리를 갖춘 Mac·PC에서 에이전트 작업을 돌리는 구성을 겨냥해요. 1핵심 요약구분핵심왜 볼 만한가요공개 방식30B 모델 가중치를 Apache 2.0 라이선스로 공개했어요사용 조건이 비교적 명확한 오픈 웨이트 코딩 모델 선택지가 늘었어요로컬 실행약 4비트 양자화로 모델 크기를 20GB 미만으로 줄였어요24GB·32GB급 소비자 하드웨어에서 로컬 에이전트를 구성할 수 있어요작업 범위함수 호출, 코드 작성·디버깅, 도구 오류 복구, 이미지 입력을 다뤄요단순 코드 완성보다..
27B 모델을 3.9GB에 담은 Bonsai 27B, 휴대폰 로컬 AI의 새 실험 27B 모델을 3.9GB에 담은 Bonsai 27B, 휴대폰 로컬 AI의 새 실험AI 뉴스 썸네일27B급 언어 모델은 보통 휴대폰 메모리 안에 넣기 어려워요. PrismML은 Qwen3.6 27B를 저비트 가중치로 다시 구성한 Bonsai 27B를 공개했어요. 회사가 제시한 가장 작은 모델의 가중치 용량은 3.9GB예요. 아이폰에서 추론과 도구 호출, 비전 작업을 함께 처리하는 온디바이스 에이전트를 겨냥했어요. 1핵심 요약구분공개된 내용확인할 점모델 크기삼진 모델은 5.9GB, 1비트 모델은 3.9GB예요앱이 쓸 수 있는 메모리에는 KV 캐시와 활성값도 함께 들어가요성능회사의 15개 벤치마크 종합 점수는 삼진 80.5점, 1비트 76.1점이에요완전 정밀도 기준점 85.0과 비교한 자체 평가 결과예요기능추..

728x90