AI 기술이 발전함에 따라 대형 언어 모델(LLM)의 성능과 효율성을 높이는 새로운 방법이 계속해서 등장하고 있습니다. 2025년 3월, Zoom Communications의 연구진이 발표한 ‘Chain of Draft: Thinking Faster by Writing Less’는 AI 모델이 복잡한 추론 작업을 수행하는 방식에 혁신적인 변화를 가져오는 새로운 접근법을 소개했습니다.

Chain of Draft: 인간의 사고 과정을 닮은 AI 추론 방식

Chain of Draft(CoD)는 기존의 Chain of Thought(CoT) 기법에서 한 단계 더 발전된 접근법입니다. CoT가 AI가 단계적으로 문제를 해결하는 과정을 상세히 기록하도록 하는 반면, CoD는 인간이 문제를 해결할 때처럼 간결하고 핵심적인 중간 사고 과정만을 기록하게 합니다.

인간은 복잡한 문제를 해결할 때 모든 사고 과정을 장황하게 기록하지 않습니다. 대신 중요한 포인트나 중간 결과값만을 간략히 메모하는 경향이 있습니다. Chain of Draft는 바로 이러한 인간의 사고 과정을 AI 모델에 적용한 것입니다.

Chain of Draft vs Chain of Thought: 실제 예시로 이해하기

다음 간단한 산술 문제를 통해 두 방법의 차이점을 살펴보겠습니다:

문제: 제이슨이 사탕을 20개 가지고 있었습니다. 그는 데니에게 몇 개의 사탕을 주었고, 이제 12개가 남았습니다. 제이슨이 데니에게 준 사탕은 몇 개인가요?

1. 표준 응답 (직접 답변)

A: 8

2. Chain of Thought 방식

A: 단계적으로 생각해 봅시다:
1. 처음에 제이슨은 20개의 사탕을 가지고 있었습니다.
2. 데니에게 몇 개를 준 후, 제이슨은 이제 12개의 사탕을 가지고 있습니다.
3. 제이슨이 데니에게 준 사탕의 개수를 찾기 위해서는 초기 사탕 개수와 남은 사탕 개수의 차이를 계산해야 합니다.
4. 간단한 뺄셈 문제를 설정할 수 있습니다: 초기 사탕 개수 - 남은 사탕 개수 = 데니에게 준 사탕 개수
5. 숫자를 대입하면: 20 - 12 = 데니에게 준 사탕 개수
6. 뺄셈을 수행하면: 20 - 12 = 8
따라서, 제이슨은 데니에게 8개의 사탕을 주었습니다.
####
8개

3. Chain of Draft 방식

A: 20 - x = 12; x = 20 - 12 = 8. #### 8

Chain of Draft 방식은 불필요한 단어와 설명을 제거하고 수학적 표현만으로 간결하게 문제를 해결합니다. 이로써 동일한 추론 과정을 훨씬 적은 토큰으로 표현할 수 있습니다.

성능 비교: 정확도는 유지하면서 효율성은 크게 향상

 출처: Zoom Communications의 ‘Chain of Draft: Thinking Faster by Writing Less’ 논문

Zoom Communications 연구팀이 수행한 실험에 따르면, Chain of Draft는 Chain of Thought와 비슷하거나 심지어 더 나은 정확도를 보이면서도 사용하는 토큰 수를 크게 줄일 수 있는 것으로 나타났습니다.

• GSM8k(수학 추론 벤치마크)에서 CoD는 CoT의 95% 정확도에 근접한 91% 정확도를 달성하면서도 토큰 사용량은 80%까지 줄였습니다.
• 스포츠 상식 테스트에서는 CoD가 CoT보다 더 높은 정확도(97.3% vs 93.2%)를 보이면서도 토큰 사용량은 92.4%나 감소했습니다.
• 동전 뒤집기 같은 기호 추론 작업에서는 두 방법 모두 100% 정확도를 달성했지만, CoD는 토큰 사용량을 68%까지 줄였습니다.

특히 주목할 만한 점은 GPT-4o와 Claude 3.5 Sonnet 같은 최신 LLM 모델에서 모두 이러한 개선이 나타났다는 것입니다.

실제 응용: Chain of Draft 구현하기

Chain of Draft는 단순한 프롬프트 수정만으로 쉽게 구현할 수 있습니다. 다음은 OpenAI API를 사용한 간단한 구현 예시입니다:

import openai

cod_prompt = """Think step by step, but only keep a minimum draft for each thinking step, with 5 words at most. Return the answer at the end of the response after a separator ####."""

response = openai.ChatCompletion.create(
    model="gpt-4",
    messages=[
        {"role": "system", "content": cod_prompt},
        {"role": "user", "content": "기차가 시속 60마일로 2.5시간 동안 달린다면, 총 이동 거리는 얼마인가요?"}
    ]
)

print(response.choices[0].message['content'])

Chain of Draft의 한계와 주의사항

Chain of Draft가 가진 장점에도 불구하고 몇 가지 한계점이 있습니다:

1. Few-shot 설정에서 가장 효과적: 예제 없이 바로 적용(Zero-shot)하는 경우 성능이 크게 떨어질 수 있습니다. 이는 CoD 스타일의 추론 패턴이 훈련 데이터에 충분히 포함되어 있지 않기 때문입니다.
2. 작은 모델에서의 성능 저하: 3B 파라미터 미만의 소형 모델에서는 CoT와 CoD 간의 성능 차이가 더 두드러지게 나타났습니다. 작은 모델은 CoD 방식의 간결한 추론을 효과적으로 수행하기 어려울 수 있습니다.
3. 복잡한 맥락 이해가 필요한 작업: 광범위한 맥락 이해가 필요한 작업에서는 더 자세한 추론 과정이 도움이 될 수 있어 기존의 CoT 방식이 더 적합할 수 있습니다.

실용적 활용 방안

Chain of Draft는 다음과 같은 경우에 특히 유용합니다:

1. 비용 및 지연 시간에 민감한 응용 프로그램: 토큰 사용량 감소는 API 비용 절감과 응답 시간 단축으로 직결됩니다.
2. 대량의 추론 요청 처리: 많은 양의 요청을 처리해야 하는 시스템에서 CoD는 처리량을 크게 향상시킬 수 있습니다.
3. 단계적 논리 과정이 필요한 작업: 수학 문제 해결, 기호 추론 등 명확한 논리적 단계가 필요한 작업에서 CoD는 효율성을 유지하면서 정확한 결과를 제공합니다.

결론: AI 추론의 미래를 위한 한 걸음

Chain of Draft는 AI가 인간의 사고 과정을 더 가깝게 모방하면서도 컴퓨팅 자원을 더 효율적으로 사용할 수 있게 해줍니다. 이러한 접근법은 LLM의 실용성을 높이는 중요한 발전으로, 특히 자원이 제한된 환경이나 실시간 응답이 중요한 응용 분야에서 큰 가치를 발휘할 것입니다.

Zoom Communications 연구진의 이 혁신적인 접근법은 AI가 더 효율적으로 추론하는 방법에 대한 새로운 시각을 제공하며, 앞으로 LLM 설계와 훈련 방식에도 중요한 영향을 미칠 것으로 기대됩니다.

LLM이 더 인간적인 방식으로 생각하면서도 컴퓨팅 자원을 효율적으로 사용하는 Chain of Draft는 AI 기술의 실용성과 접근성을 높이는 중요한 발전입니다. 이는 AI가 단순히 더 큰 모델을 만드는 것이 아니라, 더 스마트하게 생각하는 방향으로 진화하는 또 하나의 중요한 진전입니다.

참고자료:

• Chain of Draft: Thinking Faster by Writing Less
• Chain-of-Draft Prompting: A More Efficient Alternative to Chain of Thought

1