모델서빙
AI 모델 한 번 호출이 팀워크가 된다, vLLM 라우터가 그리는 서빙 계층의 변화
vLLM Semantic Router가 단일 모델 호출 뒤에서 여러 모델을 협업시키는 micro-agent 런타임을 공개했습니다. ‘모델’의 정의가 체크포인트에서 시스템 경계로 바뀌는 흐름을 짚습니다.
Written by
AI 인프라 엔지니어, 연봉 9억 받는 ‘숨은 설계자’들의 등장
새벽 2시 GPU 클러스터가 다운될 때 누가 해결할까요? OpenAI 연봉 중간값 9억원, AI 시대의 숨은 설계자 ‘AI 인프라 엔지니어’의 등장과 역할을 소개합니다.
Written by
