챗봇 하나가 수십 GB를 잡아먹는 시대입니다. 그런데 도구를 호출하는 에이전트 모델 하나가 14MB로 나왔습니다. 세션을 통째로 돌리는 데 드는 메모리는 28MB. 사진 몇 장 용량입니다.
온디바이스 AI 회사 Cactus가 Needle 2를 공개했습니다. 도구 호출, 기기 제어, 구조화 추출에 특화된 4,500만 파라미터 모델이죠. 전체가 14MB짜리 단일 바이너리 하나로 묶여 있고, 가중치는 허깅페이스에 Apache 2.0으로 올라와 있습니다. 라즈베리파이 5에서 초당 500토큰을 뽑아낼 만큼 가볍다는 점이 핵심입니다.
출처: Needle 2 – The 14 MB Agentic LLM for Tiny Devices – Cactus
14MB 안에 무엇이 들어 있나
Needle 2의 파라미터는 4,500만 개입니다. 요즘 챗봇 모델이 수십억에서 수천억을 다루는 걸 생각하면 수백 배 작은 규모죠.
이 크기가 가능한 건 압축 방식 덕분입니다. Cactus는 자체 기법인 CQ2로 모델을 2비트까지 눌렀습니다. 보통 소형 모델이 쓰는 16비트와 비교하면 정보를 훨씬 촘촘하게 접은 셈이죠.
여기에 자체 어텐션 구조와 전용 실행 엔진을 얹어, 14MB 바이너리 하나로 세션이 돌아가고 최대 메모리 사용량이 28MB 언저리에 머뭅니다. 이 정도면 GPU도 NPU도 없이, RAM 몇백 MB짜리 기기에서 굴러갑니다.
왜 이렇게 작아도 되는가
핵심은 “이 모델이 무슨 일을 안 해도 되는가”에 있습니다.
Cactus의 설명은 이렇습니다. 불을 켜는 데 프런티어 모델이 필요하지는 않다는 겁니다. 시계든 스마트홈이든 로봇이든, 기기는 이미 자기 기능을 ‘타입이 정해진 매개변수를 가진 함수’로 노출하고 있습니다.
그러니 어려운 부분은 하나뿐입니다. 사용자의 어수선한 한 문장을 “어떤 함수를, 어떤 값으로 부를 것인가”에 매핑하는 일이죠.
이렇게 문제를 좁혀 놓으면 세계 지식도, 긴 글을 지어내는 능력도 필요 없어집니다. 채팅에는 수십억 파라미터가 있어야 하지만 이 일에는 4,500만으로 충분하다는 논리죠.
구조화 추출도 같은 틀로 풉니다. 스키마가 곧 인터페이스라, 문단 하나에 스키마를 씌우면 타입이 정해진 필드가 나오고, 열거형 필드는 분류기가 되고, 배열 필드는 목록을 한 번에 걷어옵니다. 무엇을 할지를 좁게 정의한 것이 나머지 모든 선택의 출발점이죠.
어디서 도는가
Needle 2가 노리는 하드웨어는 값싼 기기입니다. Cactus는 연결된 IoT 기기가 약 210억 대인데 PC는 15억 대 남짓이고, 신흥 시장에서 팔리는 폰은 대부분 200달러 이하라는 점을 근거로 듭니다. 엣지의 다섯 중 넷은 200달러가 안 되는 기기라는 계산이죠.
실제 구동 속도를 보면 라즈베리파이 5에서 디코드 초당 500토큰, 사전 처리는 800토큰을 넘습니다. 메타 퀘스트 3S나 애플 비전 프로 같은 VR 기기에서는 400~1,500토큰, 삼성 A 시리즈 같은 저가폰에서는 300~700토큰이 나옵니다. 세션 메모리가 28MB 수준이라 ESP32-S3 같은 마이크로컨트롤러에서도 돌아가죠.
성능도 나쁘지 않아서, 모바일 동작 벤치마크에서 FunctionGemma 270M이나 LFM2.5 230M, 애플 FM과 승패를 주고받는데, 크기는 5배에서 70배까지 작습니다. (자체 측정 결과로, Needle은 실제 배포되는 2비트 바이너리로, 다른 모델은 공개 체크포인트로 잰 값입니다.)
엣지 AI가 값싼 기기까지 내려온다
지금까지 ‘엣지 AI’라고 하면 맥이나 PC를 떠올리는 경우가 많았죠. Needle 2는 그 선을 워치, 로봇, 마이크로컨트롤러까지 끌어내립니다. 클라우드로 왕복하지 않고 기기 안에서 명령을 해석하면, 응답이 빠르고 인터넷이 없어도 동작하며 데이터도 밖으로 나가지 않습니다.
대신 쓰임새는 좁게 봐야 합니다. 이 모델은 대화 상대나 추론기가 아니라, 함수를 부르고 값을 뽑아내는 일에 특화된 도구죠. 얼마 전 소개한 LFM2.5가 폰과 라즈베리파이에서 도는 소형 에이전트였다면, Needle 2는 거기서 한 단계 더 내려가 극단적으로 작은 기기와 좁은 작업을 겨냥한 쪽입니다. 벤치마크 세부 조건과 실제로 돌려볼 수 있는 플레이그라운드는 원문에 있습니다.
참고자료: Cactus-Compute/needle-2 (모델 가중치, Apache 2.0) – Hugging Face
답글 남기기