실시간 서비스에서 LLM이 가끔 10초씩 멈추면, 흔한 해법은 두 배 비싼 프라이어리티 티어로 올리는 겁니다. 그런데 HOAi는 더 단순한 걸 시도했죠. 같은 요청을 두 번 보내는 방법을요.

HOAi는 전화를 받는 음성 에이전트를 운영합니다. 대화가 한 번 오갈 때마다 LLM을 호출하죠. 대부분 1.5초 안에 응답이 오는데, 가끔 한 번씩 10~20초가 걸립니다. 전화 통화에서 그 시간은 그냥 침묵이고, 침묵이 길어지면 상대는 끊어버립니다.

출처: A simple fix for LLM tail latency – HOAi

가끔 나는 10초가 통화를 망친다

문제는 이 ‘가끔’이 생각보다 자주 찾아온다는 점입니다. 전화 한 통은 보통 20~30번의 주고받음으로 이뤄집니다. 요청의 1%만 치명적으로 느려도, 25턴짜리 통화라면 한 번쯤 긴 침묵을 만날 확률이 약 22%까지 올라가죠.

이게 꼬리 지연(tail latency)입니다. 평균은 멀쩡한데 드물게 튀는 최악의 응답이 경험을 망치는 현상이죠. 평균 속도를 아무리 자랑해도, 통화를 끊게 만드는 건 그 드문 10초입니다.

두 번 보내면 왜 빨라지나

HOAi는 두 가지를 놓고 저울질했습니다. 하나는 OpenAI 프라이어리티 티어로 올려 토큰당 2배를 내는 것. 다른 하나는 표준 티어를 그대로 쓰되, 매 요청을 두 번 보내고 먼저 온 응답을 취하는 것이었습니다.

원리는 단순합니다. 느린 응답이 드물고 서로 독립적이라면, 같은 순간에 두 요청이 동시에 느릴 확률은 훨씬 작아지죠. 한쪽이 튀어도 다른 쪽이 제때 도착할 가능성이 큽니다.

실제 프로덕션 요청 50건을 양쪽 방식으로 재생해봤습니다. 완료까지 걸린 최악의 시간은 프라이어리티 티어가 9.8초, 두 번 보내기가 3.5초였죠. 첫 응답이 시작되기까지의 최악값도 4.2초에서 1.2초로 줄었습니다. 중앙값은 양쪽이 똑같았는데, 개별 요청 하나하나는 표준 티어가 더 느린데도 그랬습니다.

특별한 인프라 없이 성립하는 트릭

이 방법이 눈길을 끄는 건, 별도 인프라 없이 요청을 한 번 더 던지는 것만으로 성립한다는 점입니다. 물론 만능은 아니죠. 지연이 흔하거나 여러 요청이 같은 원인으로 함께 느려지는 상황이라면, 두 복사본이 나란히 늦어질 뿐입니다. 비싼 티어로 갈아타기 전에 같은 요청을 두 번 보내는 쪽과 먼저 비교해보라는 것. 이 실험이 남긴 실용적인 조언입니다.