How to Train Your GPT는 현대 대형 언어 모델의 핵심 구성 요소를 직접 구현하며 배우는 오픈소스 교과서형 저장소다. 12개 챕터와 7,500줄 이상의 주석 달린 코드로 토크나이저, 임베딩, 어텐션, GPT 모델, 학습 루프, 추론 엔진을 단계적으로 만든다.
무엇을 배우는가
| 영역 | 내용 |
|---|---|
| 토크나이저 | BPE 방식으로 텍스트를 토큰으로 나누는 과정 |
| 모델 구조 | RoPE, RMSNorm, SwiGLU, pre-norm, weight tying 등 현대 GPT 계열 구성 |
| 학습 | cross-entropy, backpropagation, AdamW, cosine warmup, mixed precision |
| 추론 | 학습된 모델로 토큰을 생성하고 디코딩하는 루프 |
| 확장 주제 | Flash Attention, LoRA, RLHF/DPO, Mixture of Experts로 이어지는 경로 |
차별점
일반적인 논문 설명은 수식과 추상 개념을 먼저 제시한다. 이 저장소는 실행 가능한 작은 모델에서 시작해 각 줄이 무엇을 하는지 설명한다. 기본 설정은 CPU에서도 몇 분 안에 돌릴 수 있는 작은 모델이며, GPT-2 규모에 가까운 151M 파라미터 설정은 GPU 학습용으로 제공한다.
빠른 시작
git clone https://github.com/raiyanyahya/how-to-train-your-gpt.git
cd how-to-train-your-gpt
python -m venv gpt_env
source gpt_env/bin/activate
pip install -r requirements.txt
python main.pyJupyter Notebook 버전도 제공하므로 각 챕터를 셀 단위로 실행하며 학습 과정을 관찰할 수 있다.
누가 쓰면 좋은가
- LLM을 API 사용자 수준에서 벗어나 내부 구조까지 이해하려는 Python 개발자
- Transformer 논문을 읽기 전에 실행 가능한 코드로 감을 잡고 싶은 학습자
- 자체 모델 학습, 파인튜닝, 추론 최적화의 기초를 다지고 싶은 AI 엔지니어
관련 문서
- llm-inference — LLM 추론이 토큰화부터 KV 캐시까지 흘러가는 과정
- llm-fine-tuning — 학습된 모델을 도메인에 맞게 조정하는 방법
- kv-caching — 추론 속도를 높이는 핵심 캐시 최적화
참고 자료
- raiyanyahya/how-to-train-your-gpt — GitHub 공식 저장소