트랜스포머 기반 언어 모델이 문맥을 어떻게 이해하고 활용하는지 N-gram 통계를 통해 분석한 최신 연구를 소개합니다. 모델이 다음 토큰을 예측할 때 사용하는 통계적 규칙과 학습 과정에서 나타나는 커리큘럼 학습, 과적합 감지 방법 등 흥미로운 발견을 알아봅니다.