AI인프라
결제 회사가 70억 달러에 산 LLM 라우터, 토큰 쓰는 주체가 바뀐 탓
결제 회사 Stripe가 LLM 라우터 OpenRouter를 70억 달러 넘게 주고 인수했습니다. 그 값을 설명하는 진짜 이유는 라우팅 기술이 아니라 토큰을 쓰는 주체의 변화에 있습니다.
Written by
같은 모델인데 응답이 느릴 때, LLM 추론 배칭 3종의 차이
같은 모델에 같은 질문을 넣어도 어떤 날은 즉시 답이 나오고 어떤 날은 한참 걸리죠. 모델이 바뀐 게 아니라 내 요청이 다른 요청들과 묶이는 방식이 달라진 겁니다. 정적·동적·연속 배칭이 어떻게 다르고, 첫 토큰이 늦는 것과 이후가 느린 것이 왜 다른 문제인지 짚었습니다.
Written by
직원 14명, 사용자 890만 명 — Ollama가 커진 이유
직원 14명 규모의 Ollama가 월간 890만 개발자를 확보하며 성장한 배경과 로컬 AI 확산이 갖는 의미를 정리합니다.
Written by
메타 클라우드 진출설에 주가 9% 급등, 남는 컴퓨팅 판다
메타가 스페이스X 방식을 따라 남는 AI 컴퓨팅을 외부에 파는 클라우드 사업을 준비 중입니다. 메타 컴퓨트의 두 가지 모델과 시장 파장을 정리했습니다.
Written by
AI 모델 한 번 호출이 팀워크가 된다, vLLM 라우터가 그리는 서빙 계층의 변화
vLLM Semantic Router가 단일 모델 호출 뒤에서 여러 모델을 협업시키는 micro-agent 런타임을 공개했습니다. ‘모델’의 정의가 체크포인트에서 시스템 경계로 바뀌는 흐름을 짚습니다.
Written by
OpenAI가 만든 첫 AI 칩 할라피뇨, AI가 9개월 만에 설계를 끝냈다
OpenAI가 브로드컴과 첫 자체 추론 칩 할라피뇨를 공개했습니다. AI 모델이 직접 설계를 도와 9개월 만에 완성한 이 칩이 추론 비용과 AI 경제성에 갖는 의미를 살펴봅니다.
Written by
버크셔도 베팅했다, Alphabet 850억 달러 AI 공모에서 읽히는 것
Alphabet이 역대 최대 규모 850억 달러 주식 공모를 성공시켰습니다. 버크셔 해서웨이의 참여와 Anthropic IPO 파이프라인에 주는 의미를 살펴봅니다.
Written by
OpenAI가 로보틱스로 돌아왔다, 5년 만에 폐지 팀을 다시 꺼낸 이유
OpenAI가 5년 만에 로보틱스 팀을 재건했습니다. 인프라 건설 로봇에서 시작해 개인 로봇을 향한 2단계 전략과 그 배경을 분석합니다.
Written by
AI 토큰이 금·원유처럼 거래된다, 컴퓨트 선물시장의 등장
중국 상하이선물거래소가 AI 토큰 선물 시장을 설계 중이며, 미국 ICE·CME도 GPU 컴퓨트 선물 출시를 준비 중입니다. 컴퓨트가 상품화되는 흐름을 소개합니다.
Written by
