모델에게 “너 언제까지 배운 거야”라고 물으면 정확한 답이 나올까요? 굳이 묻지 않고도, 퀴즈 몇 개를 내는 것만으로 학습이 끊긴 시점을 밖에서 가늠할 수 있습니다.

엔지니어 슈리부 샹카르가 공개 API만으로 프런티어 모델을 ‘프로빙’한 실험을 정리했습니다. 파라미터 규모나 학습 데이터 구성처럼 밖에서는 알 수 없는 정보를, 모델에 특정한 질문을 던져 역으로 추정하는 방식이죠. 이번 글의 주제는 그중 학습이 끝난 시점, 즉 지식 컷오프입니다. 미리 밝혀둘 점은 여기 나오는 수치가 전부 추정값이고, 검증할 공개 자료가 많지 않아 일부는 틀릴 수 있다는 것입니다.

출처: Exploring Claude/GPT Knowledge Cutoffs – Shrivu Shankar

왜 컷오프를 밖에서 추정할 수 있나

거대 언어모델의 학습은 대체로 세 단계로 굳어졌습니다. 인터넷을 긁어모은 대량의 데이터로 자동완성 모델을 만드는 사전학습, 교과서급 양질의 데이터로 능력을 다듬는 중간 단계, 그리고 조수 페르소나와 추론·도구 사용 능력을 입히는 후처리입니다.

이 중 가장 비싸고 데이터를 많이 먹는 단계가 사전학습 체크포인트를 뽑는 일입니다. 이 체크포인트가 언제까지의 데이터를 담았느냐가 모델의 실질적 지식 한계를 정합니다. 그래서 저자는 궁금해졌습니다. 이 시점을 공식 발표가 아니라 프로빙만으로 짚어낼 수 있을까.

날짜 퀴즈로 신호가 끊기는 지점 찾기

방법은 단순합니다. 위키피디아의 일자별 사건을 모아 “이날 무슨 일이 있었나”를 묻는 8지선다 퀴즈를 만들고, 모든 모델에 풀렸습니다.

날짜별 정답률을 시간 순으로 늘어놓으면, 어느 지점부터 모델이 갑자기 감을 잃는 구간이 보입니다. 그 언저리가 학습 데이터가 끊긴 지점이죠. 곡선이 칼처럼 뚝 떨어지지 않고 완만하게 기우는 건, 모델이 가까운 미래 사건을 어느 정도 추측하는 데다 학습 막바지 데이터는 적게 반영되기 때문입니다.

그래서 저자는 곡선의 시작이나 끝이 아니라 중간점을 컷오프로 잡습니다. 실제로 GPT-5.4는 이렇게 추정한 컷오프가 OpenAI가 공식적으로 밝힌 날짜와 맞아떨어졌습니다.

그래프가 말해주는 것들

저자가 조심스럽게 내놓은 추정은 이렇습니다.

앤트로픽의 Opus 4.7 이후 모델들은 대체로 2025년 12월 말에 끊기는, 같은 학습 런에서 나온 것으로 보입니다. 이 모델들의 실질 컷오프가 서로 비슷하다는 데서 나온 짐작이죠. OpenAI의 GPT-5.6 계열은 GPT-5.5와는 다른 별도 체크포인트에서 나왔고, 2026년 2월 말쯤 마무리된 것으로 추정됩니다.

가장 눈에 띄는 건 Opus 5입니다. 공식 컷오프는 2026년 5월로 적혀 있는데, 정작 아는 내용은 이전의 1월 컷오프 모델과 별로 다르지 않았습니다. 저자는 질문 방식 탓인지 여러 번 확인해봤지만, 코딩 패키지 버전을 기억하는 데서도 같은 한계가 나타났다고 적습니다. 공개된 컷오프 날짜와 모델이 실제로 아는 범위가 늘 일치하지는 않는다는 얘기죠.

공식 컷오프를 곧이곧대로 믿지 않기

이 실험이 개인에게 주는 실용적 교훈은 분명합니다. 내가 쓰는 모델의 ‘지식 유효기간’을 공식 발표만 믿고 단정하기 어렵다는 점이죠. Opus 5 사례처럼 표기된 컷오프보다 실제 아는 게 뒤처질 수 있으니, 최신 정보가 중요한 작업이라면 모델의 기억에만 기대지 말고 검색을 붙이는 편이 안전합니다.

그리고 프로빙이라는 접근 자체가 흥미롭습니다. 안을 열어볼 수 없는 모델도, 바깥에서 질문을 잘 설계하면 학습의 흔적을 어느 정도 읽어낼 수 있다는 것. 다만 이 글의 수치는 1인 실험의 추정이라는 점은 잊지 말아야 합니다. 파라미터 규모나 데이터 혼합을 알아내는 다른 프로빙 기법은 원문에 함께 소개돼 있습니다.