지금까지 LLM으로 문서를 다루는 방식은 대부분 RAG였습니다. 파일을 올리면 LLM이 쿼리마다 관련 내용을 찾아 답변하는 구조죠. 하지만 이 방식에는 치명적인 한계가 있습니다. 지식이 쌓이지 않는다는 것입니다.
AI 연구자 Andrej Karpathy가 최근 자신이 실제로 사용 중인 대안적 접근법을 공개했습니다. LLM이 단순히 문서를 검색하는 게 아니라, 마크다운 위키를 직접 작성하고 유지하는 방식입니다. 지식 베이스를 운영하는 데 드는 귀찮은 작업 전부를 LLM에게 맡기는 것이 핵심 아이디어입니다.
출처: llm-wiki – Andrej Karpathy (GitHub Gist)
RAG는 왜 한계인가
RAG 방식에서 LLM은 매번 같은 출발점에서 시작합니다. 다섯 개의 문서를 종합해야 하는 질문이 들어오면, 그때그때 관련 조각을 찾아 짜맞춥니다. 누적이 없습니다. 어제 한 분석이 오늘 질문에 반영되지 않고, 문서 간 모순도 매번 다시 발견해야 합니다.
Karpathy가 제안하는 LLM-wiki는 이 구조를 뒤집습니다. LLM이 새로운 자료를 받을 때마다 위키를 업데이트합니다. 모순을 기록하고, 개념 페이지를 갱신하고, 교차 참조를 유지합니다. 지식이 쿼리마다 소비되는 것이 아니라 매번 누적됩니다.
어떻게 작동하는가
구조는 세 레이어로 구성됩니다.
- Raw sources: 원문 자료(논문, 기사, 이미지 등)가 저장되는 곳. LLM은 읽기만 하고 수정하지 않습니다.
- Wiki: LLM이 작성·유지하는 마크다운 파일 모음. 개념 페이지, 요약, 교차 참조가 여기에 있습니다.
- Schema: LLM에게 위키 구조와 작업 규칙을 알려주는 설정 문서(예:
CLAUDE.md). 이 파일이 LLM을 “일관된 위키 편집자”로 만드는 핵심입니다.
운영은 세 가지 동작으로 이루어집니다.
- Ingest: 새 자료를 추가하면 LLM이 읽고, 요약 페이지를 만들고, 관련된 기존 페이지들을 함께 업데이트합니다. 자료 하나가 위키 10~15개 페이지에 영향을 줄 수 있습니다.
- Query: 위키를 기반으로 질문에 답합니다. 답변 결과물(비교표, 분석, 발견한 연결고리)을 다시 위키에 파일로 저장해 지식이 계속 쌓이게 할 수 있습니다.
- Lint: 주기적으로 위키 전체를 점검합니다. 모순된 내용, 링크가 없는 고립 페이지, 오래된 정보를 LLM이 찾아냅니다.
Karpathy 본인은 Obsidian을 뷰어(IDE)로 사용합니다. LLM이 파일을 편집하는 동안 Obsidian에서 실시간으로 결과를 확인하고, 그래프 뷰로 페이지 간 연결 구조를 살핍니다.
왜 이게 가능해졌는가
사람들이 위키를 포기하는 이유는 콘텐츠가 아니라 유지 관리의 부담 때문입니다. 교차 참조 업데이트, 요약 갱신, 모순 기록 — 이 작업들은 가치 있는 지식 축적과 달리 인간에게 지루하고 번거롭습니다. LLM은 이 부분에서 질리지 않고, 15개 파일을 한 번에 처리합니다.
Karpathy는 이 아이디어가 Vannevar Bush가 1945년에 제안한 Memex와 맞닿아 있다고 언급합니다. 문서 간 연결이 문서 자체만큼 중요한 개인 지식 저장소라는 구상이었는데, Bush가 풀지 못했던 문제가 “누가 유지 관리를 하는가”였습니다. LLM이 그 답이 됩니다.
적용 범위도 넓습니다. 연구 주제 심층 탐구, 책 읽기 동반 위키, 팀 내부 문서 자동화, 경쟁사 분석까지 지식이 시간에 걸쳐 쌓이는 모든 상황에 적용할 수 있습니다.
Gist 원문은 이 패턴을 실제로 어떻게 시작할지, 어떤 도구를 조합하면 좋은지에 대한 실용적인 팁도 담고 있습니다.
참고자료: Karpathy X 스레드
답글 남기기