파일을 줄이는 압축 프로그램과, 문장을 이어 쓰는 챗봇. 전혀 달라 보이는 이 둘이 속으로는 똑같은 문제 하나를 풀고 있다면 어떨까요.

ngrok 블로그에 올라온 애니 섹스턴(Annie Sexton)의 글은 압축의 기초를 따라가다 이상한 지점에 도달합니다. gzip 같은 압축기와 대규모 언어 모델(LLM)이 본질적으로 같은 문제를 풀고 있다는 것. 그 연결고리는 ‘다음에 무엇이 올지 얼마나 잘 맞히느냐’에 있습니다.

출처: Compression is prediction – ngrok blog

압축은 결국 ‘반복’을 줄이는 일

압축이 파일을 줄이는 방식부터 봅시다. 핵심은 데이터 안의 반복, 즉 예측 가능한 부분을 찾아 짧게 바꾸는 것입니다.

간단한 예로, “A가 9번, B가 4번, C가 2번…” 이어지는 문자열이 있다고 해보죠. 이걸 그대로 쓰면 224비트가 필요하지만, “A9B4C2…”처럼 문자와 반복 횟수만 적으면 96비트로 줄어듭니다. 57% 작아진 거죠. 데이터가 규칙적일수록, 다시 말해 예측하기 쉬울수록 더 많이 압축됩니다.

여기서 이미 실마리가 보입니다. 압축이 잘 된다는 건 그 데이터를 잘 예측할 수 있다는 뜻이기도 하다는 것.

압축기의 심장, ‘확률을 매기는 모델’

현대 압축기는 대략 세 부분으로 나뉩니다. 데이터를 다루기 쉽게 바꾸는 변환기, 각 기호가 나올 확률을 매기는 모델, 그리고 그 확률을 받아 최종 비트로 짜내는 엔트로피 코더입니다.

이 중 눈여겨볼 건 가운데의 ‘모델’이에요. 모델은 데이터에 등장하는 기호(글자든 토큰이든)마다 “이게 나올 확률이 얼마”라는 표를 만듭니다. 엔트로피 코더는 이 확률을 받아, 확률이 높은 기호는 더 짧은 비트로 표현하죠.

원리는 단순합니다. 자주 나올 것 같은 건 짧게, 드물게 나올 것 같은 건 길게. 그래서 확률을 정확히 매길수록, 즉 다음에 뭐가 올지 잘 맞힐수록 압축 결과가 작아집니다. 더 나은 예측이 곧 더 나은 압축인 겁니다.

그렇다면 LLM은 세계 최고의 예측기

이제 LLM 이야기입니다. LLM이 훈련받는 목표가 정확히 이것이거든요. 앞의 문장을 보고 ‘다음에 올 단어(토큰)의 확률’을 매기는 것.

즉 LLM은 압축기의 ‘심장’에 해당하는 모델을, 그것도 어마어마하게 정교한 형태로 갖고 있는 셈입니다. 압축기가 “다음 글자는 A일 확률 43%”라고 표를 채운다면, LLM은 “다음 단어는 ‘커피’일 확률 몇 %”를 채웁니다. 하는 일의 골격이 같죠.

그래서 이론적으로, 잘 훈련된 LLM은 그 자체로 뛰어난 압축기가 될 수 있습니다. 예측을 잘한다는 것과 압축을 잘한다는 것이 같은 동전의 양면이니까요.

왜 이 관점이 중요한가

이 시각은 “LLM이 대체 어떻게 작동하나”라는 질문을 다르게 보게 해줍니다. LLM은 정답을 통째로 외워 꺼내는 창고가 아닙니다. 다음에 올 것을 잘 맞히기 위해, 언어와 세상의 규칙을 압축된 형태로 담고 있는 예측 기계에 가깝죠.

무언가를 잘 압축하려면 그 데이터의 구조를 이해해야 합니다. 반대로 무언가를 잘 이해하면 그걸 짧게 줄일 수 있고요. 그래서 일부 연구자들은 압축 능력을 지능의 한 척도로 보기도 합니다. 원문은 여기서 한 걸음 더 들어가, 확률 하나로 데이터 전체를 표현하는 ‘산술 부호화’ 같은 기법까지 그림과 함께 설명합니다. 원리의 감을 잡았다면 그 대목을 직접 따라가 볼 만합니다.