LoRA Speedrun은 LoRA 파인튜닝을 같은 모델, 같은 데이터, 같은 GPU, 같은 검증 규칙에서 얼마나 빠르게 끝낼 수 있는지 겨루는 공개 리더보드다. modded-nanogpt가 사전학습 최적화 경쟁을 만들었다면, LoRA Speedrun은 PEFT 파인튜닝 최적화 경쟁을 만든다.
왜 필요한가
LoRA, QLoRA, rsLoRA, DoRA, sequence packing, custom kernel 같은 속도 개선 주장은 많지만, 논문·블로그마다 모델, 데이터, GPU, metric이 다르면 비교가 어렵다. LoRA Speedrun은 조건을 고정해 이 기법이 실제 wall-clock을 줄였는가를 검증한다.
GitHub 기준 ★122, MIT 라이선스다.
트랙
| 트랙 | 모델 | 작업 | 목표 | 하드웨어 |
|---|---|---|---|---|
| Track 1 | Qwen2.5-1.5B | GSM8K 수학 | 57.0% 이상 exact match | 1× L40S |
| Track 2 | SmolLM2-1.7B | SQuAD v1.1 QA | 75.5% 이상 EM | 1× L40S |
제약은 어댑터 전용 학습, 30M 이하 trainable parameters, 지정 데이터셋 사용이다. 공식 실행은 Modal L40S 샌드박스에서 이뤄지고, 기록은 fresh seed 3회 재실행을 모두 통과해야 인정된다.
현재 기록의 의미
README 기준 Track 1은 baseline 11분 57초에서 1분 44초까지 줄었다. 기록 기법은 짧은 샘플 중심 데이터 pruning, aggressive learning rate 1 epoch, annotation 제거, GPU-resident packed loop, completion-only cross entropy chunking 등을 결합한다.
중요한 점은 기록 표가 단순 순위표가 아니라 실험 노트 역할도 한다는 것이다. 각 PR은 어떤 기법을 썼고, 무엇이 실패했는지 설명해야 하므로, llm-fine-tuning 실무자가 PEFT 최적화 아이디어를 검토할 때 참고할 수 있다.
검증 프로토콜
PR 제출
-> CI 정적 검증
-> 자동 보안 리뷰
-> maintainer /verify
-> 네트워크 차단 Modal sandbox에서 3회 재실행
-> adapter parameter count와 model/data hash 감사
-> verification report 공개낯선 제출자의 학습 코드를 실행해야 하므로 네트워크 차단, secretless sandbox, harness tampering 검사, 테스트셋 접촉 금지가 포함된다. 이 점은 에이전트가 생성한 최적화 코드를 공개 리더보드에서 검증할 때도 중요한 운영 패턴이다.
누구에게 유용한가
- 파인튜닝 엔지니어: LoRA 학습 속도를 실제 하드웨어 시간 기준으로 줄이고 싶은 경우
- 연구자: 데이터 pruning, packing, loss masking, kernel 최적화가 작은 모델 파인튜닝에 미치는 효과를 비교하려는 경우
- 에이전트 벤치마크 설계자: 공개 PR, 자동 보안 검토, 재실행 검증을 결합한 리더보드 운영 방식을 참고하려는 경우
관련 문서
- llm-fine-tuning — LLM 파인튜닝 기본 방법론
- mlx-tutorial-fine-tuning-apple-silicon — Apple Silicon에서 LoRA로 모델 파인튜닝하기
- llm-fine-tuning-tips-beyond-lora — LoRA 외 PEFT 기법 비교
- meta-harness — 에이전트 하네스 코드를 자동 탐색·최적화하는 프레임워크
참고 자료
- Saivineeth147/lora-speedrun — GitHub 공식 저장소