LLM Wikid는 Andrej Karpathy가 제안한 “LLM Wiki” 패턴을 구현한 오픈소스 Obsidian 볼트다. 원본 소스(기사, 트윗, 논문, YouTube URL 등)를 raw/ 폴더에 넣으면, AI 에이전트(claude-code, OpenClaw, Codex 등)가 자동으로 구조화된 위키 페이지를 작성하고 교차 링크를 유지한다. 질문을 던지면 AI가 답변하고 그 답변 자체도 위키에 저장돼 지식 베이스가 누적된다.
RAG와의 차이
LLM Wikid는 RAG가 아니다:
| 기준 | LLM Wikid | RAG |
|---|---|---|
| 처리 방식 | 소스를 한 번 컴파일해 구조화된 페이지로 저장 | 요청 때마다 벡터 검색으로 청크 검색 |
| 교차 참조 | 사전 빌드된 wikilinks | 요청 시 동적 생성 |
| 누적 학습 | 답변이 위키로 저장돼 다음 질문에 활용됨 | 소스가 고정됨 |
| 정확도 (~100개 문서) | Karpathy 실험: RAG보다 Q&A 성능 높음 | 문서 수 적을 때 경쟁력 있음 |
인제스트 파이프라인
원본 소스가 들어오면 AI 에이전트가 다음 단계를 처리한다:
- 분류:
raw/clippings/의 파일을 URL 유형에 따라 적절한 폴더로 이동 - 콘텐츠 해석: YouTube URL → 자막 추출, 트윗 → 텍스트+이미지, PDF → 직접 읽기
- 분류별 추출: 논문은 방법론+결과, 기사는 핵심 주장, 트랜스크립트는 발언자+액션 아이템
- 위키 페이지 작성:
wikilinks교차 링크, 편향 체크(반론·데이터 공백), 인덱스 업데이트
주요 명령어
| 명령어 | 기능 |
|---|---|
/wiki-ingest | raw/ 소스를 위키 페이지로 변환 |
/wiki-query [질문] | 질문에 대해 인용 포함 답변, 위키에 저장 |
/wiki-explore [토픽] | 웹 검색으로 토픽 능동적 확장 |
/wiki-lint | 모순, 고아 페이지, 끊어진 링크 점검 |
/autoresearch [토픽] | 멀티라운드 자율 연구 루프 |
빠른 시작
git clone https://github.com/shannhk/llm-wikid.git my-wiki
cd my-wiki
# Obsidian: File > Open Vault > my-wiki 폴더 선택
# AI 에이전트 시작
claude --dangerously-skip-permissions # Claude Code에이전트가 CLAUDE.md(스키마 파일)를 읽고 전체 시스템을 파악한다.
활용 케이스
- 개인 지식 베이스 구축 (개발자, 연구자, 콘텐츠 크리에이터)
- 팀 내부 기술 위키 자동 관리
- 뉴스레터·블로그 운영을 위한 큐레이션 파이프라인
관련 문서
- claude-code — LLM Wikid의 기본 에이전트
- agent-skills — 에이전트 스킬 작성 가이드
- rag — 비교 대상 검색 증강 생성 기술