Needle 2, 14MB 기기 제어 LLM

Needle 2, 14MB 기기 제어 LLM

AI 뉴스 썸네일

스마트홈 기기에 “거실 불을 켜줘”라고 말했을 때 필요한 건 긴 답변이 아니에요. 알맞은 함수를 고르고 방 이름과 전원 상태를 정확한 인자로 채우는 일이 먼저예요. Cactus Compute의 Needle 2는 이 좁고 구체적인 작업을 14MB 모델에 담았어요. 1

핵심 요약

구분	핵심	왜 볼 만한가요
모델 규모	4,500만 파라미터, 14MB 바이너리	저가형 스마트폰과 소형 기기에서도 실행 범위를 넓혔어요
메모리	세션 RAM 약 28MB	웨어러블과 일부 마이크로컨트롤러까지 겨냥해요
용도	도구 호출, 기기 제어, 구조화 추출	자연어를 함수와 인자로 바꾸는 일에 집중해요
실행 방식	CQ2-bit와 전용 C++ 엔진	압축된 가중치를 풀지 않고 기기에서 바로 계산해요
한계	범용 대화와 지식 질의용 모델이 아니에요	도구 설명과 안전 임곗값을 제품이 따로 설계해야 해요

1. 14MB 모델이 기기 제어에 집중했어요

Needle 2는 4,500만 파라미터를 가진 초소형 언어 모델이에요. 모델과 실행 엔진을 하나의 14MB 바이너리에 담고, 전체 세션은 약 28MB RAM에서 동작해요. Cactus Compute가 공개한 측정값으로는 Raspberry Pi 5에서 디코딩 속도가 초당 500토큰을 넘어요. 200달러 미만 삼성 A 시리즈 스마트폰에서는 초당 300~700토큰을 기록했어요. 2

모델의 역할은 자유로운 대화를 만드는 일이 아니에요. 사용자의 문장을 미리 정의된 함수와 인자로 바꿔요. 스마트홈 앱이 `set_lights`나 `set_thermostat` 같은 도구 스키마를 제공하면, Needle 2가 어떤 함수를 호출할지와 어떤 값을 넣을지 고르는 방식이에요. 문서에서 날짜와 금액을 뽑거나 텍스트를 정해진 JSON 구조로 바꾸는 작업도 같은 방식으로 처리해요.

728x90

작은 크기는 문제 범위를 줄여서 만들었어요

범용 챗봇은 세계 지식과 긴 문장 생성 능력이 필요해요. Needle 2는 그 능력을 덜어내고 도구 선택과 인자 채우기에 계산량을 써요. 출력도 도구 스키마에서 만든 바이트 단위 문법으로 제한해요. 이 제약은 존재하지 않는 필드나 깨진 JSON이 나오는 경우를 줄여요.

학습 단계부터 가중치와 활성값, KV 캐시에 CQ2-bit 양자화를 적용한 점도 눈에 띄어요. 완성된 모델을 나중에 압축한 방식과 달리, 실제 배포 정밀도를 전제로 학습했어요. 256토큰 슬라이딩 윈도우를 쓰기 때문에 대화가 길어져도 세션 메모리가 계속 늘어나지 않아요. 공개 모델 카드는 ARM64, x86-64, ARMv7, RISC-V, WebAssembly 등 여러 실행 대상을 안내해요. 3

제품에서는 신뢰도와 도구 설명이 중요해요

각 응답에는 신뢰도 점수가 붙어요. 제품은 점수가 높을 때만 동작을 실행하고, 낮으면 사용자에게 다시 묻거나 클라우드 모델로 넘길 수 있어요. 조명이나 잠금장치처럼 실제 환경을 바꾸는 기능이라면 이 임곗값과 추가 확인 절차가 안전장치가 돼요.

도구 설명이 모호하면 작은 모델도 엉뚱한 함수를 고를 수 있어요. 함수 이름만 나열하기보다 언제 호출해야 하는지, 인자 범위가 무엇인지, 어떤 요청은 거절해야 하는지를 스키마에 구체적으로 적어야 해요. 공개 저장소는 Python 패키지와 추론, LoRA 미세조정, 내보내기 도구를 제공해 제품별 함수 목록에 맞게 조정할 수 있어요. 4

범용 LLM과 같은 기준으로 보면 안 돼요

Needle 2는 글쓰기나 복잡한 추론을 대신하지 않아요. 공개 벤치마크에서도 FunctionGemma 270M, LFM2.5 230M, Apple FM과 과제별로 결과가 달라요. 크기와 속도 수치는 Cactus Compute가 자사 배포 바이너리와 비교 조건으로 측정한 값이므로, 실제 제품에서는 사용하는 CPU와 도구 목록, 문장 유형으로 다시 시험해야 해요.

이 모델이 맞는 곳은 요청 종류가 제한적이고 지연 시간과 메모리, 오프라인 동작이 중요한 기기예요. 스마트워치의 음성 명령, 가전 제어, 소형 로봇의 상위 동작 선택, 문서 필드 추출 같은 사례가 여기에 들어가요. 반대로 열린 질문에 답하거나 긴 맥락을 이해해야 한다면 더 큰 로컬 모델이나 클라우드 모델을 함께 써야 해요.

왜 중요한가요

온디바이스 AI를 적용할 때 모든 요청을 하나의 큰 모델에 맡길 필요는 없어요. 자주 쓰는 기기 제어는 작은 모델이 로컬에서 처리하고, 애매하거나 복잡한 요청만 더 큰 모델로 넘기면 네트워크 지연과 클라우드 호출 비용을 줄일 수 있어요. 음성이나 센서 데이터가 기기 밖으로 나가는 횟수도 줄어들어요. 2

개발팀이 확인할 지점도 분명해요. 평균 정확도보다 잘못된 동작의 종류를 먼저 봐야 해요. “문을 잠그지 마” 같은 부정 명령, 필수 인자가 빠진 요청, 도구 목록에 없는 행동을 별도 테스트 세트로 만들어야 해요. 신뢰도 임곗값 아래에서는 실행하지 않고 다시 묻는 정책도 필요해요. Needle 2의 14MB 크기보다 이런 제품 안전 설계가 실제 도입 여부를 가를 수 있어요.

참고 자료

1. Needle 2 - 스마트폰·웨어러블·스마트홈·로봇을 위한 14MB 에이전틱 LLM — GeekNews
2. Needle 2 - The 14 MB Agentic LLM for Tiny Devices — Cactus Compute
3. Cactus-Compute/needle2 모델 카드 — Hugging Face
4. cactus-compute/needle — GitHub