14MB짜리 AI, 라즈베리파이·스마트워치에서도 에이전트가 돌아간다

무엇인가요

Cactus Compute가 도구 호출·기기 제어·구조화 데이터 추출에 특화된 초경량 오픈소스 모델 ‘Needle 2’를 공개했습니다. 파라미터 수는 4,500만 개, 파일 용량은 단일 바이너리 14MB에 불과하며 28MB RAM만으로 전체 세션을 실행할 수 있습니다. 라즈베리파이5에서 초당 500토큰 이상, VR 기기에서는 초당 400~1,500토큰 속도를 낸다고 밝혔습니다. 목표 하드웨어는 라즈베리파이, 20만원 미만 저가폰(삼성 A시리즈급), 웨어러블, 스마트홈 기기, 소형 로봇, ESP32-S3 같은 마이크로컨트롤러까지 아우릅니다.

Apache 2.0 라이선스로 공개돼 Hugging Face에서 가중치를 내려받거나 GitHub 저장소를 직접 실행할 수 있고, 브라우저에서 WebAssembly로 바로 체험 가능한 온라인 플레이그라운드도 제공합니다. Python 패키지로 자신의 기기·용도에 맞춰 파인튜닝하는 것도 가능합니다. 이미 스마트워치 제조사 Pebble의 ‘Index 01’ 앱에 탑재돼 실제 사용자에게 서비스되고 있다는 점이 특히 눈에 띕니다.

왜 주목할까요

• 클라우드 API 없이 기기 안에서 완결되는 에이전트를 저비용으로 만들 수 있어, 통신비·API 비용·지연시간 문제를 한 번에 피할 수 있습니다.
• “대형 모델을 작게 줄이는” 접근이 아니라 처음부터 도구 호출·구조화 출력에 특화해 설계했다는 점이 실용성을 높입니다.
• 이미 상용 웨어러블 앱에 탑재된 사례가 있어, 개인 프로젝트 수준을 넘어 실제 제품에 쓸 수 있다는 신뢰를 줍니다.

국내 관점 코멘트

국내에서도 스마트홈·웨어러블·소형 로봇을 다루는 1인 개발자와 하드웨어 스타트업이 늘고 있는데, 이런 팀에게 클라우드 LLM 요금과 네트워크 지연은 항상 걸림돌이었습니다. Needle 2처럼 14MB 모델이 라즈베리파이·ESP32 같은 흔한 국내 메이커 장비에서 바로 돌아간다면, 주말 사이드프로젝트로 “말로 제어하는 IoT 기기” 같은 데모를 서버 없이 완성해볼 수 있습니다.

특히 시제품 단계에서 클라우드 의존을 줄이고 싶은 하드웨어 스타트업이라면, 이번 주말에 라즈베리파이 한 대와 온라인 플레이그라운드로 먼저 속도와 정확도를 체감해본 뒤, 실제 제품에 넣을지 판단하는 식으로 리스크 없이 검증해볼 수 있습니다.