본문 바로가기

728x90

AppleSilicon

(13)
내 컴퓨터에서 음성 AI를 돌리는 Hugging Face Speech To Speech 내 컴퓨터에서 음성 AI를 돌리는 Hugging Face Speech To SpeechAI 뉴스 썸네일말을 듣고 답하는 AI를 만들려면 음성 감지, 받아쓰기, 답변 생성, 음성 합성을 차례로 연결해야 해요. Hugging Face의 Speech To Speech는 이 과정을 한 파이프라인으로 묶고, 각 부품을 원하는 모델로 바꿀 수 있게 만든 오픈소스 프로젝트예요. 1핵심 요약구분내용처리 구조VAD, STT, LLM, TTS가 각각 별도 스레드에서 움직이고 큐로 데이터를 넘겨요.연결 방식OpenAI Realtime의 핵심 이벤트를 WebSocket과 WebRTC로 제공해요.모델 선택STT, LLM, TTS를 하드웨어와 언어에 맞춰 교체할 수 있어요.로컬 실행llama.cpp, vLLM, MLX LM 같은..
Qwen3.8 검열 제거 모델, 맥에서 돌리기 전에 봐야 할 위험 Qwen3.8 검열 제거 모델, 맥에서 돌리기 전에 봐야 할 위험AI 뉴스 썸네일Qwen3.8-27B의 거부 성향을 낮춘 MLX 변형 모델이 공개됐어요. 24GB 메모리를 갖춘 Mac에서는 4비트 버전을 로컬로 실행할 수 있지만, 안전장치까지 크게 약해진 모델이라 일반 챗봇처럼 다루면 위험해요. 모델 카드도 최종 사용자용 서비스보다 통제된 안전성 연구에 쓰라고 선을 그어요. 1핵심 요약구분핵심왜 볼 만한가요모델Qwen3.8-27B에서 거부와 관련된 방향을 제거한 변형이에요거부가 줄었다는 결과를 안전성 향상으로 오해하면 안 돼요실행 환경Apple Silicon용 MLX 형식으로 2·4·6·8비트 버전을 제공해요4비트 파일은 약 15GB이며 24GB Mac이 권장돼요기능비전 입력, 262,144토큰 문맥, ..
영상 타임라인에 Claude와 Codex가 들어왔어요, Palmier Pro 영상 타임라인에 Claude와 Codex가 들어왔어요, Palmier ProAI 뉴스 썸네일영상 편집기에 AI 생성 기능을 붙이는 제품은 많아요. Palmier Pro는 한 걸음 더 들어가 Claude Code, Codex, Cursor가 편집 타임라인을 직접 다룰 수 있게 했어요. 편집기 본체와 연결 기능은 공개하고, 생성형 AI 처리에는 구독을 붙인 구조도 눈여겨볼 만해요.핵심 요약구분핵심왜 볼 만한가요제품Swift로 만든 macOS 영상 편집기예요영상 생성과 기존 타임라인 편집을 한 화면에서 이어갈 수 있어요연결앱이 로컬 MCP 서버를 열어요Claude Code, Codex, Cursor가 같은 프로젝트와 타임라인을 조작할 수 있어요공개 범위편집기, MCP 서버, 채팅 코드는 GPLv3로 공개돼요생..
H3-metal, MiniMax-H3 영상 생성을 애플 실리콘에 맞추다 H3-metal, MiniMax-H3 영상 생성을 애플 실리콘에 맞추다H3-metal MiniMax-H3 애플 실리콘 추론 엔진 썸네일AI 영상 생성은 빠른 GPU와 큰 메모리를 요구해 클라우드나 고성능 그래픽카드에 기대는 경우가 많아요. H3-metal은 MiniMax-H3의 영상·오디오 생성을 애플 실리콘 Mac에서 직접 돌리도록 만든 추론 엔진이에요. 범용 호환보다 Metal 최적화와 메모리 운용에 집중했어요. 1핵심 요약구분내용실행 환경C, Objective-C, Metal로 구현한 애플 실리콘용 MiniMax-H3 추론 엔진이에요.생성 기능텍스트에서 영상과 오디오를 만들고, 첫·마지막 프레임과 여러 미디어 참조도 받을 수 있어요.성능 선택디노이징 횟수, DiT 블록 수, 내부 해상도, 계산 재사..
Klepton, Vision Pro에서 Android VR 앱을 네이티브 ARM64로 돌려요 Klepton, Vision Pro에서 Android VR 앱을 네이티브 ARM64로 돌려요AI 뉴스 썸네일Meta Quest용 Android ARM64 VR 앱을 Apple Vision Pro에서 실행하려면 운영체제와 그래픽 API의 차이를 함께 풀어야 해요. Klepton은 CPU 명령을 통째로 에뮬레이션하는 대신 Android 라이브러리를 Apple 형식으로 바꾸고, 필요한 API를 macOS와 visionOS 구성요소에 이어 붙여요. 현재 Beat Saber가 두 플랫폼에서 실행되지만 그래픽 문제와 지원 범위의 제약은 남아 있어요. 1 2핵심 요약구분내용실행 방식Android ARM64 명령어를 대부분 유지한 채 `.so`를 Mach-O 기반 `.dylib`와 `.framework`로 바꿔요.호환..
Kimi K3 2.78조 모델을 64GB 맥북에서 돌린 WASTE Kimi K3 2.78조 모델을 64GB 맥북에서 돌린 WASTEKimi K3 로컬 추론 썸네일2.78조 파라미터 규모의 Kimi K3를 64GB MacBook Pro에서 실행한 오픈소스 프로젝트가 나왔어요. WASTE는 모델 전체를 메모리에 올리는 대신, 토큰 생성에 필요한 전문가 가중치만 NVMe에서 읽어요. 속도는 빠르지 않지만 초대형 MoE 모델을 개인용 하드웨어에서 구동하는 방법을 구체적인 수치로 보여줘요. 1핵심 요약구분내용실제 의미모델Kimi K3 2.78조 파라미터 전체 모델증류하거나 가지치기한 축소판이 아니에요저장공간변환된 컨테이너 982GiB내부 NVMe에 약 1TB 여유 공간이 필요해요메모리4K 컨텍스트 최소 29.05GiB, 권장 구성 64GB최소치로 열 수는 있어도 운영체제 페이징..
8GB 맥에서 26B 모델을 돌린 TurboFieldfare의 SSD 스트리밍 설계 8GB 맥에서 26B 모델을 돌린 TurboFieldfare의 SSD 스트리밍 설계TurboFieldfare AI 뉴스 썸네일26B급 언어 모델은 메모리가 작은 맥에서 실행하기 어렵다는 인식이 익숙해요. TurboFieldfare는 Gemma 4 26B-A4B의 가중치 전체를 메모리에 올리는 대신, 토큰 생성에 필요한 부분만 SSD에서 읽어 이 제약을 피했어요. 개발자가 공개한 측정값에 따르면 8GB M2 MacBook Air에서도 초당 5.1~6.3토큰으로 텍스트를 생성해요. 1핵심 요약구분핵심확인할 점메모리약 14.3GB 모델 가운데 공유 코어와 KV 캐시 등 약 2GB만 메모리에 둬요모델 파일을 저장할 약 15GB 공간은 따로 필요해요실행 구조토큰마다 선택된 MoE 전문가 가중치를 SSD에서 읽어요..
SIMD는 평범한 반복문을 어떻게 5배 빠르게 만들었을까요 SIMD는 평범한 반복문을 어떻게 5배 빠르게 만들었을까요SIMD 반복문 성능 최적화 썸네일배열이나 문자열을 한 값씩 검사하는 반복문은 코드 곳곳에 있어요. SIMD는 이런 연속 데이터를 4개, 8개, 16개씩 묶어 같은 연산을 수행해요. Ghostty 개발자 Mitchell Hashimoto는 코드 포인트 검색 루프에 이 방식을 적용했고, AVX2 기반 인텔 데스크톱에서 터미널 전체 처리량이 약 5배 높아졌다고 밝혔어요. 1핵심 요약구분핵심왜 볼 만한가요처리 방식여러 값을 벡터 하나에 담아 동시에 계산해요연속 데이터를 다루는 반복문의 명령 수를 줄일 수 있어요공통 구조준비, 적재, 연산, 축소·저장, 나머지 처리의 5단계를 따라요CPU 전용 어셈블리를 몰라도 적용 흐름을 파악할 수 있어요실제 결과Gho..
애플 SpeechAnalyzer, Whisper보다 정확하고 3배 빨랐어요 애플 SpeechAnalyzer, Whisper보다 정확하고 3배 빨랐어요AI 뉴스 썸네일애플의 새 온디바이스 음성 인식 API인 SpeechAnalyzer가 공개 벤치마크에서 Whisper Small보다 낮은 단어 오류율을 기록했어요. 기존 SFSpeechRecognizer와 비교하면 오류가 3.5~4배 줄었고, 구두점과 대소문자까지 정리된 결과를 내놓았어요. 다만 영어 낭독 데이터와 Apple M2 Pro 한 대에서 진행한 시험이라 실제 앱에 도입하기 전에는 사용 환경에 맞춘 재검증이 필요해요. 1핵심 요약구분핵심왜 볼 만한가요정확도SpeechAnalyzer의 WER는 깨끗한 음성 2.12%, 잡음이 많은 음성 4.56%였어요Whisper Small과 기존 애플 API보다 낮은 오류율을 기록했어요속도..
Mac mini가 AI 에이전트용 컴퓨터로 다시 주목받는 이유 Mac mini가 AI 에이전트용 컴퓨터로 다시 주목받는 이유AI 뉴스 썸네일AI 에이전트를 오래 실행하려는 개발자들이 Mac mini와 Mac Studio를 별도 장비로 찾고 있어요. 주로 쓰는 컴퓨터와 작업을 분리하면서도 로컬에서 직접 통제할 수 있다는 점이 수요를 만들고 있어요.핵심 요약구분핵심왜 볼 만한가요전용 장비Mac mini와 Mac Studio가 상시 실행용 AI 장비로 거론됐어요작은 데스크톱의 역할이 개인 서버에 가까워지고 있어요칩 설계LLM 연산뿐 아니라 도구 호출과 주변 작업까지 칩 전체가 맡아요GPU 성능만으로 실제 에이전트 경험을 설명하기 어려워요실행 방식기기와 클라우드가 작업을 나누는 구성이 예상돼요비용, 보안, 응답 속도를 함께 조절할 수 있어요1. Mac mini는 AI 에이..

728x90