에이전트를 백그라운드에서 상시 돌리지 못하는 이유는 대개 기술이 아니라 청구서입니다. 토큰 단가가 0이 되면 그 제약이 사라지죠. Liquid AI가 내놓은 2.6B 모델이 겨냥한 지점이 정확히 여기입니다.

Liquid AI가 LFM2.5-2.6B를 공개했습니다. 전부 기기 안에서 도는 에이전트 전용 모델로, 폰에서 돌릴 만큼 작고 CPU에서도 반응이 끊기지 않으면서 계획 수립과 도구 호출, 다단계 작업까지 수행한다는 게 회사 설명입니다. 사전학습 버전과 후처리 버전 모두 Hugging Face에 올라와 있습니다.

출처: LFM2.5-2.6B: Deploy Agents Everywhere – Liquid AI

토큰 비용이 0이면 무엇이 달라지나

클라우드 API에 붙은 에이전트는 호출할 때마다 값이 붙습니다. 그래서 백그라운드에서 몇 시간씩 돌리거나 수십 개를 동시에 띄우는 일이 실험 단계에서 막히죠.

로컬에서 돌면 이 계산이 사라집니다. 추론이 공짜고, 왕복 지연이 없고, 데이터가 기기 밖으로 나가지 않습니다. Liquid AI가 강조하는 건 그중 첫 번째가 만드는 변화입니다. 토큰 지출이 제약이 아니게 되면 에이전트를 로컬 하드웨어에서 대규모로 병렬화할 수 있고, 수백만 토큰을 태우는 백그라운드 작업도 한계비용 없이 돌아갑니다.

작은 모델을 에이전트용으로 훈련한다는 것

이 모델은 2.6B 파라미터에 약 34조 토큰을 사전학습했습니다. 비라틴 문자를 더 잘 다루려고 어휘를 12만 8천 개로 두 배 늘렸는데, 모델을 처음부터 다시 학습하는 대신 기존 토크나이저를 그 자리에서 확장하는 방식을 썼죠. 에이전트 작업은 입력이 길어지기 마련이라 중간 학습 단계에 128K 컨텍스트 확장을 따로 넣었습니다.

후처리는 네 단계로 진행됩니다.

1. 지도 미세조정(SFT) — 전 영역을 넓게 훑은 뒤, 도구 사용과 추론 같은 우선 기술로 좁혀 두 번 진행합니다.
2. 교사 특화 — 같은 SFT 체크포인트에서 갈라져 나온 전문가 모델을 도메인별로 따로 학습시킵니다. 지시 따르기, 수학, 지식과 환각 통제, 코드, 도구 사용, 롱컨텍스트가 대상입니다.
3. 다중 도메인 온폴리시 증류(MOPD) — 그 전문가들을 교사로 삼아 하나의 학생 모델에 지식을 합칩니다. 학생이 자기 정책으로 답을 생성하면 해당 도메인 교사가 토큰 단위로 피드백을 주는 구조죠.
4. 에이전틱 RL — 실제 에이전트 하네스 안에서 여러 턴에 걸쳐 학습합니다. Hermes Agent나 OpenClaw 같은 환경에 직접 넣어 각각의 도구와 시스템 프롬프트, 상호작용 방식에 적응시키는 방식입니다.

세 번째 단계가 특히 눈에 띕니다. 교사들이 학생과 같은 체크포인트에서 갈라져 나왔기 때문에 피드백이 학생의 분포에서 멀지 않고, 그래서 여러 전문성을 한 모델에 몰아넣어도 학습이 흔들리지 않는다는 설명이죠.

벤치마크에서는 비교군 중 가장 작은데도 거의 네 배 큰 모델들과 겨루거나 앞섰다고 합니다. 다만 이건 Liquid AI 자체 평가 결과입니다.

파이 위에서 실제로 돌아가는 것

모델만으로는 그림이 완성되지 않습니다. O’Reilly에 올라온 사례를 함께 보면 작은 기기에서 에이전트가 어디까지 왔는지가 좀 더 구체적으로 보입니다.

피트 워든은 라즈베리파이를 쓰는 수업에서 학생들이 네트워크 설정에만 몇 시간씩 잡아먹는 문제를 겪었습니다. 와이파이 이름과 비밀번호를 넣으려면 모니터와 키보드를 붙여야 하는데, 그 준비 자체가 수업을 잡아먹는 식이었죠. 그는 이걸 사물인터넷이 실패한 이유와 같은 문제로 봅니다. 제조사들에 따르면 스마트 가전 중 실제로 인터넷에 연결되는 비율은 30%가 안 됩니다.

해법은 헤드셋을 꽂고 말로 설정하는 것이었습니다. 문제는 속도였죠. Whisper 모델은 로컬 하드웨어에서 대화용으로 쓰기엔 너무 느렸습니다.

그래서 그의 팀은 저가 하드웨어의 실시간 처리를 겨냥해 Moonshine이라는 모델을 새로 학습시켰습니다. 고급 모델이 2억 5천만 파라미터로 Whisper의 15억보다 작으면서, 사용자가 말하는 동안 미리 처리하는 스트리밍 방식을 씁니다. 파이 5에서 800밀리초 만에 결과가 나오죠. 정확도가 더 낮은 Whisper Small조차 같은 기기에서 10초를 넘겼던 것과 비교되는 숫자입니다.

여기에 대화 흐름과 음성 합성 모듈을 붙여 만든 게 pi-help-bot입니다. “내 IP 주소가 뭐야?” 같은 질문을 마이크로 받아 처리하는, 네트워크 설정용 로컬 음성 에이전트입니다.

어디까지 내려왔는가

두 자료를 같이 놓으면 온디바이스 에이전트의 현재 좌표가 잡힙니다. 음성 입력은 이미 저가 보드에서 1초 안에 끝나고, 계획하고 도구를 부르는 쪽도 2~3B급 모델에서 쓸 만한 수준으로 내려왔습니다. 몇 년 전만 해도 둘 다 클라우드 왕복이 전제였던 일이죠.

그래서 바뀌는 건 성능 그래프보다 용도 쪽입니다. 네트워크가 없는 곳, 데이터를 밖으로 내보내면 안 되는 곳, 혹은 그냥 계속 켜두고 싶은 곳. 클라우드 모델이 잘하는 일과 겹치기보다는, 애초에 클라우드로는 못 하던 자리를 채우는 방향에 가깝습니다.