개발자가 앱에 AI 기능을 추가할 때 가장 먼저 하는 일이 있습니다. OpenAI나 Anthropic API 호출을 끼워 넣는 것입니다. 빠르고 익숙하고 편리하니까요. 그런데 그 선택이 불필요한 복잡성과 프라이버시 문제를 함께 불러들이고 있다는 주장이 나왔습니다.

unix.foo 블로그에 올라온 글은 Brutalist Report라는 iOS 뉴스 앱 개발 경험을 바탕으로, 로컬 AI가 왜 기본값이 되어야 하는지를 구체적으로 짚습니다.

출처: Local AI Needs to be the Norm – unix.foo

클라우드 AI 의존이 만드는 문제

앱에 클라우드 AI를 붙이는 순간, 단순한 UX 기능 하나가 분산 시스템으로 탈바꿈합니다. 네트워크 상태, 외부 벤더 가동률, API 요금 한도, 결제 상태까지 모두 챙겨야 하죠. 크레딧카드가 만료되면 기능이 멈추는 앱이 됩니다.

프라이버시 문제는 더 근본적입니다. 사용자 데이터를 서버로 보내는 순간, 데이터 보유 기간, 동의, 감사, 침해 가능성, 정부 요청 등 온갖 부수 문제가 따라옵니다. 개발자 의도가 아무리 선해도 이 구조 자체가 신뢰의 문제를 만들어냅니다.

기기 안에서 끝내는 AI

Brutalist Report 앱의 기사 요약 기능은 Apple의 FoundationModels 프레임워크를 활용해 기기 내부에서만 동작합니다. 서버를 거치지 않으니 사용자 로그도, 벤더 계정도, “30일간 데이터를 보관합니다”라는 주석도 필요 없습니다.

이 방식이 특히 잘 맞는 경우는 명확합니다. 사용자가 이미 읽고 있는 페이지를 요약하거나, 기기에 저장된 이메일에서 할 일을 추출하거나, 문서를 분류하는 것처럼 데이터가 이미 기기 안에 있는 상황입니다. 모델이 인터넷 전체를 검색하는 게 아니라 사용자 소유의 데이터를 변환하는 역할을 할 때, 로컬 AI는 가장 강점을 발휘합니다.

Apple의 FoundationModels는 한 가지 흥미로운 방향을 추가로 제시합니다. AI 출력을 비정형 텍스트 덩어리가 아닌 타입이 지정된 데이터 구조로 받는 방식입니다. 모델에 원하는 데이터 구조의 형태를 정의해주면, 모델이 그 타입의 인스턴스를 생성해줍니다. JSON을 파싱하다 예외가 터지거나 Markdown에서 값을 긁어오는 작업이 사라집니다. AI가 앱의 신뢰할 수 있는 서브시스템으로 동작한다는 감각이 생깁니다.

“그래도 로컬 모델은 성능이 낮잖아요”

맞습니다. 하지만 대부분의 앱 기능은 셰익스피어를 쓰거나 양자역학을 설명하는 모델이 필요하지 않습니다. 요약, 분류, 추출, 재작성, 정규화 중 하나를 잘하면 충분한 경우가 대부분입니다. 그 범위에서 로컬 모델은 충분히 우수합니다.

물론 클라우드 모델이 필요한 사용 사례도 분명히 있습니다. 이 글의 핵심은 클라우드를 쓰지 말자는 게 아니라, 굳이 클라우드로 보내지 않아도 되는 작업에까지 그 경로를 기본값으로 선택하는 관성을 되짚어보자는 겁니다.

신뢰는 2,000 단어짜리 개인정보처리방침으로 쌓이지 않습니다. 처음부터 그게 필요 없는 구조로 만들 때 생깁니다.

참고자료:

• Running LLMs locally is now mainstream – Armin Ronacher