CactusCompute (1) 썸네일형 리스트형 Needle 2, 14MB 기기 제어 LLM Needle 2, 14MB 기기 제어 LLMAI 뉴스 썸네일스마트홈 기기에 “거실 불을 켜줘”라고 말했을 때 필요한 건 긴 답변이 아니에요. 알맞은 함수를 고르고 방 이름과 전원 상태를 정확한 인자로 채우는 일이 먼저예요. Cactus Compute의 Needle 2는 이 좁고 구체적인 작업을 14MB 모델에 담았어요. 1핵심 요약구분핵심왜 볼 만한가요모델 규모4,500만 파라미터, 14MB 바이너리저가형 스마트폰과 소형 기기에서도 실행 범위를 넓혔어요메모리세션 RAM 약 28MB웨어러블과 일부 마이크로컨트롤러까지 겨냥해요용도도구 호출, 기기 제어, 구조화 추출자연어를 함수와 인자로 바꾸는 일에 집중해요실행 방식CQ2-bit와 전용 C++ 엔진압축된 가중치를 풀지 않고 기기에서 바로 계산해요한계범용 대화.. 이전 1 다음
