오픈웨이트 모델을 받아 쓰는 사람이라면 거의 전부가 허깅페이스를 거칩니다. 코드를 짜다 모델 하나가 필요할 때 가장 먼저 여는 곳이죠. 그 배포 허브가 지금 GPU를 만드는 회사의 손으로 넘어가려 하고 있습니다.

엔비디아가 오픈소스 AI 플랫폼 허깅페이스를 129억 달러에 인수하는 협상을 벌이고 있다고 The Information이 보도했습니다. 아직 서명 전이라 무산될 여지도 남아 있죠. 다만 이걸 따로 떼어 보면 안 됩니다. 엔비디아는 앞서 저지연 추론 칩 회사 Groq를 200억 달러에, 기업 분석 플랫폼 Kumo까지 사들였습니다. 오픈소스 모델이 오가는 배포 허브, 추론 속도를 좌우하는 칩, 개발자가 쓰는 소프트웨어 계층을 한 번에 묶으려는 움직임입니다.

출처

• Nvidia closes in on Hugging Face acquisition – TechCrunch

GPU 회사가 왜 오픈소스를 원하나

언뜻 보면 이상합니다. 엔비디아는 하드웨어 회사인데, 왜 모델 공유 사이트에 130억 달러 가까이 쓰려 할까요.

답은 경쟁 구도에 있습니다. 지금 OpenAI, 구글, 아마존, 앤트로픽 같은 대형 폐쇄 랩들은 저마다 자체 AI 칩을 만들며 엔비디아 의존도를 낮추는 중입니다. 엔비디아 입장에서는 이 흐름이 위협이죠. 그런데 오픈소스 생태계가 번성하면 이야기가 달라집니다. 누구나 좋은 오픈 모델을 가져다 쓸 수 있으면 폐쇄 랩의 대안이 늘어나고, 그 모델들은 결국 어딘가의 GPU 위에서 돌아가야 합니다. 오픈소스가 살아 있는 한 시장은 엔비디아 하드웨어에 계속 묶여 있는 겁니다.

허깅페이스를 소유하면 여기서 한 발 더 나아갈 수 있습니다. 모델을 내려받을 때의 기본 설정을 엔비디아 자사 추론 런타임(NIM) 쪽으로 당기는 것이죠. 오픈 모델과 엔비디아 하드웨어를 소프트웨어 단에서부터 단단히 붙여두는 깔때기가 되는 셈입니다.

Groq가 채우는 빈칸, 저지연 추론

Groq 인수는 다른 조각을 노립니다. 바로 토큰을 한 개씩 생성하는 단계의 속도입니다.

일반적인 GPU는 모델의 가중치를 칩 바깥의 고대역폭 메모리(HBM)에 두고, 토큰을 만들 때마다 그 값을 메모리 버스로 끌어옵니다. 이 왕복이 지연을 만드는 병목이죠. Groq의 LPU는 접근을 바꿉니다. 연산 유닛 바로 옆 칩 위에 메모리(SRAM)를 얹는 방식입니다. 가중치를 옮기지 않고 제자리에서 처리하니, 토큰을 훨씬 낮은 지연으로 뽑아냅니다.

엔비디아가 그리는 그림은 둘을 나눠 쓰는 하이브리드입니다. 긴 입력을 한꺼번에 읽어들이는 단계는 GPU가 맡고, 그다음 답을 한 글자씩 이어 내보내는 단계는 LPU에 넘기는 식이죠. 배포(허깅페이스)부터 추론 하드웨어(GPU+LPU)까지, 모델이 사용자에게 닿는 경로 전체를 자사 계열 안에 두려는 구성입니다.

다 쥐어도, 칩을 찍는 손은 남의 것

그런데 이 수직 계열에는 큰 구멍이 하나 있습니다. 배포와 추론과 소프트웨어를 전부 손에 넣어도, 정작 칩을 물리적으로 찍어내는 공정은 엔비디아 것이 아니라는 점입니다. 첨단 반도체 제조는 여전히 TSMC의 파운드리, ASML의 노광 장비, 그리고 국가 간 수출 규제라는 사슬에 묶여 있습니다. 소프트웨어 계층을 아무리 장악해도 이 물리적 제약은 돈으로 단번에 풀리지 않습니다.

또 하나는 허깅페이스가 지켜온 중립성입니다. 이 플랫폼은 지금까지 AMD, 인텔 등 엔비디아 경쟁사의 하드웨어까지 두루 지원해왔습니다. 특정 GPU 회사가 주인이 되면 그 중립 지대가 흔들릴 수 있죠. 실제로 허깅페이스는 지난해 엔비디아의 5억 달러 투자 제안을 “의사결정을 좌우할 지배적 투자자를 원하지 않는다”며 거절한 적이 있습니다. 그때 지키려던 것이 지금 인수로 바뀌는 셈입니다.

내 워크플로에 무엇이 달라지나

오픈소스는 그동안 일종의 공용 지대였습니다. 어느 회사 모델이든, 어느 회사 칩이든 한곳에서 받아 비교하고 골랐죠. 그 지대가 한 하드웨어 회사 안으로 들어가면, 내가 모델을 고르고 돌리는 과정의 기본값이 조금씩 그 회사 쪽으로 기울 수 있습니다.

당장 내일 무언가 사라지는 건 아닙니다. 허깅페이스는 여전히 열려 있고, 인수도 아직 서명 전이죠. 다만 내가 매일 쓰는 API의 속도와 가격, 내려받는 모델의 기본 실행 환경이 누구의 이해관계 위에 놓이는지는 지켜볼 만합니다. 저지연 추론이 한 회사의 하이브리드 칩으로 빨라지는 편익과, 선택지가 한쪽으로 수렴하는 대가를 함께 저울에 올려두는 게 좋겠습니다.

참고자료

• Nvidia Has Been in Talks to Buy Hugging Face for More Than $13 Billion – Business Insider
• What is Nvidia up to buying Hugging Face and Groq? – dejan.ai