AI 기술의 발전은 눈부시게 빠르게 진행되고 있습니다. 특히 2025년 초, 중국의 AI 기업 DeepSeek가 선보인 새로운 모델은 AI 업계에 충격파를 던졌습니다. 이 사건은 단순히 새로운 AI 모델의 등장에 그치지 않고, 엔비디아 주가의 17% 하락을 비롯해 AI 데이터센터 관련 주식 전반에 영향을 미치는 큰 파장을 일으켰습니다. 도대체 무슨 일이 벌어진 걸까요? 이 사건의 핵심에는 ‘Test-Time Compute(TTC, 테스트 타임 컴퓨트)’라는 새로운 AI 패러다임의 등장이 있습니다.
AI 발전의 새로운 전환점: 데이터 희소성과 Test-Time Compute
시스템 1 사고와 시스템 2 사고의 차이점 (출처: The Decision Lab)
지금까지 AI 모델의 발전은 주로 더 많은 데이터와 더 큰 모델을 통해 이루어졌습니다. 하지만 최근 주요 AI 연구소들이 인터넷 상의 공개 데이터를 대부분 학습에 활용하면서, 추가적인 학습 데이터 확보가 점점 어려워지는 ‘데이터 희소성’ 문제가 대두되고 있습니다. 이로 인해 사전 학습(pre-training)을 통한 성능 향상이 둔화되고 있는 실정입니다.
이러한 환경에서 AI 기업들은 새로운 돌파구를 찾기 시작했고, 그 중심에 ‘테스트 타임 컴퓨트(TTC)’라는 개념이 있습니다. TTC는 AI 모델이 질문에 응답하는 추론(inference) 과정에서 더 많은 시간과 연산 자원을 투입해 ‘생각’하도록 하는 방식입니다. 이는 마치 인간의 인지 과정을 설명하는 대니얼 카너먼의 ‘시스템 1 사고'(빠르고 직관적인 사고)와 ‘시스템 2 사고'(느리고 신중한 사고) 개념에서, 후자인 ‘시스템 2 사고’를 AI에 적용한 것으로 볼 수 있습니다.
DeepSeek-R1: Test-Time Compute의 성공적 구현 사례
DeepSeek의 R1 모델은 이러한 테스트 타임 컴퓨트를 활용한 대표적인 사례입니다. DeepSeek 연구팀은 다음과 같은 세 가지 경로로 접근했습니다:
DeepSeek-R1 개발에 적용된 세 가지 접근 방식 (출처: Son Ov Man 블로그)
- DeepSeek-R1-Zero: 사전에 레이블링된 데이터 없이 강화학습만으로 모델을 훈련시켰습니다.
- DeepSeek-R1: 소량의 단계별 추론 예제를 사용한 파인튜닝 후 강화학습을 적용했습니다.
- 증류(Distillation): DeepSeek-R1의 추론 능력을 더 작은 모델로 이전해 효율성을 높였습니다.
특히 주목할 점은 DeepSeek-R1이 기존 OpenAI의 o1 모델처럼 추론 시간에 단계적 사고 방식(Chain-of-Thought, CoT)을 활용해 복잡한 문제 해결 능력을 크게 향상시켰다는 것입니다. 이 모델은 AIME 테스트와 같은 추론 벤치마크에서 정확도를 15.6%에서 71%로 높이는 놀라운 성과를 보여줬으며, 더 나아가 다수결 투표 방식을 통해 최대 86.7%까지 성능을 향상시켰습니다.
Test-Time Compute가 AI 산업에 미치는 영향
AI 추론을 위한 고성능 GPU 데이터센터 (출처: Adobe Stock)
TTC와 추론 모델로의 전환은 AI 산업 전반에 광범위한 영향을 미칠 것으로 예상됩니다:
1. 하드웨어(GPU, 전용 칩 및 컴퓨팅 인프라)에 미치는 영향
- 학습 클러스터에서 테스트 타임 “스파이크” 처리로 변화: 대규모 GPU 클러스터를 훈련에 투자하는 대신, AI 기업들은 추론 능력 지원을 위한 인프라에 더 많은 투자를 할 것입니다.
- 추론 최적화 하드웨어의 부상: TTC에 대한 관심이 높아지면서 저지연 추론 시간 연산에 특화된 대안 AI 하드웨어(ASIC 등)에 대한 수요가 증가할 것입니다.
2. 클라우드 플랫폼(AWS, Azure, GCP)에 미치는 영향
- 서비스 품질(QoS)이 핵심 차별화 요소로 등장: 기업에서 AI 채택을 방해하는 요소 중 하나는 추론 API의 불안정성입니다. TTC가 증가하면 이러한 문제가 더 악화될 수 있어, 서비스 품질 보장을 제공할 수 있는 클라우드 공급자가 경쟁 우위를 점할 것입니다.
- 효율성 향상에도 클라우드 지출 증가: 제본스 패러독스(효율성 향상이 소비 증가로 이어지는 현상)에 따라 효율적인 추론 모델이 오히려 더 많은 AI 개발자들의 사용을 유도하여 클라우드 AI 컴퓨팅 수요를 증가시킬 수 있습니다.
3. 기반 모델 제공업체(OpenAI, Anthropic, Cohere, DeepSeek, Mistral)에 미치는 영향
- 사전 훈련된 모델의 방어벽 약화: DeepSeek과 같은 신규 업체가 낮은 비용으로 최고 수준의 AI 연구소와 경쟁할 수 있다면, 독점적인 사전 훈련 모델은 방어벽으로서의 역할이 약화될 수 있습니다.
4. 기업 AI 도입 및 SaaS(애플리케이션 계층)에 미치는 영향
- 보안 및 개인정보 보호 우려: DeepSeek의 중국 기반 서비스는 보안 및 개인 정보 보호 관점에서 많은 서구 기업들에 의해 차단되고 있습니다. 따라서 서구 기업들은 직접 사용보다는 DeepSeek의 혁신에 영감을 받아 자체 모델을 개선하는 방향으로 갈 것으로 보입니다.
- 수직 특화 분야가 주목받게 될 것: 애플리케이션 계층의 기업들은 도메인별 추론 최적화, 지연 시간을 고려한 추론 전략 등을 통해 경쟁력을 확보할 수 있습니다.
Test-Time Compute의 미래 전망과 도전 과제
Test-Time Compute는 AI의 새로운 혁신 방향을 제시하고 있지만, 다음과 같은 몇 가지 도전 과제가 있습니다:
- 과소 사고 문제: 추론 모델이 유망한 아이디어를 너무 빨리 버리거나 여러 아이디어를 너무 빨리 검토할 수 있습니다.
- 지연 시간의 가변성: 간단한 질의는 빠르게 처리되지만 복잡한 질의는 시간이 많이 걸릴 수 있어, 실시간 응용 프로그램에 문제가 될 수 있습니다.
- 컴퓨팅 자원의 비효율적 배분: 일부 질의는 필요 이상의 컴퓨팅 파워를 받거나, 반대로 부족한 컴퓨팅 파워로 최적의 답변을 찾지 못할 수 있습니다.
- 비결정성: 동일한 질의도 시스템 부하 상태 등 외부 요인에 따라 다른 수준의 연산을 거칠 수 있어 일관성 없는 결과가 나올 수 있습니다.
- 예측 불가능한 비용: 질의당 비용이 다양해 예산 관리가 어려울 수 있습니다.
결론: 느린 사고의 시대가 온다
DeepSeek의 발전은 사전 훈련에 대한 의존도가 줄어들고 Test-Time Compute의 중요성이 커지는 새로운 AI 시대를 예고합니다. 이러한 “느린 사고” 모델은 인간의 사고 방식에 더 가까워지고, AI가 인간 수준의 지능에 도달하는 데 더 효과적인 경로가 될 수 있습니다.
앞으로의 AI 발전은 더 많은 데이터를 모으는 것보다 추론 과정에서 어떻게 더 효과적으로 ‘생각’할 수 있는지에 초점을 맞출 것으로 보입니다. 이는 모델 개발자, 하드웨어 제조업체, 클라우드 공급자 및 애플리케이션 개발자 모두에게 새로운 기회와 도전을 제시할 것입니다.
비록 DeepSeek의 모델이 기업 보안 및 개인정보 보호 우려로 인해 서구 기업들에게 직접적으로 채택되기는 어려울 수 있지만, 그들이 개척한 Test-Time Compute 접근 방식은 확실히 AI의 미래 발전 방향에 큰 영향을 미칠 것입니다.
Comments