TurboFieldfare (1) 썸네일형 리스트형 8GB 맥에서 26B 모델을 돌린 TurboFieldfare의 SSD 스트리밍 설계 8GB 맥에서 26B 모델을 돌린 TurboFieldfare의 SSD 스트리밍 설계TurboFieldfare AI 뉴스 썸네일26B급 언어 모델은 메모리가 작은 맥에서 실행하기 어렵다는 인식이 익숙해요. TurboFieldfare는 Gemma 4 26B-A4B의 가중치 전체를 메모리에 올리는 대신, 토큰 생성에 필요한 부분만 SSD에서 읽어 이 제약을 피했어요. 개발자가 공개한 측정값에 따르면 8GB M2 MacBook Air에서도 초당 5.1~6.3토큰으로 텍스트를 생성해요. 1핵심 요약구분핵심확인할 점메모리약 14.3GB 모델 가운데 공유 코어와 KV 캐시 등 약 2GB만 메모리에 둬요모델 파일을 저장할 약 15GB 공간은 따로 필요해요실행 구조토큰마다 선택된 MoE 전문가 가중치를 SSD에서 읽어요.. 이전 1 다음
