배칭
같은 모델인데 응답이 느릴 때, LLM 추론 배칭 3종의 차이
같은 모델에 같은 질문을 넣어도 어떤 날은 즉시 답이 나오고 어떤 날은 한참 걸리죠. 모델이 바뀐 게 아니라 내 요청이 다른 요청들과 묶이는 방식이 달라진 겁니다. 정적·동적·연속 배칭이 어떻게 다르고, 첫 토큰이 늦는 것과 이후가 느린 것이 왜 다른 문제인지 짚었습니다.
Written by
Anthropic vs OpenAI 빠른 추론, 같은 듯 전혀 다른 두 가지 방법
Anthropic과 OpenAI가 동시에 발표한 fast mode, 사실 작동 원리가 완전히 다릅니다. 배칭 조정 vs 웨이퍼 크기 칩, 두 가지 방식의 차이와 트레이드오프를 분석합니다.
Written by
AI 추론 비용 90% 절약하는 3단계 최적화 전략
LLM 운영 비용을 10-15배 줄이는 체계적인 3단계 최적화 전략을 소개합니다. GPU 활용률 극대화부터 메모리 병목 해결, 세부 비용 최적화까지 실제 현업에서 적용 가능한 구체적인 기법들을 다룹니다.
Written by
