Bullshit Detector는 인터넷 글, 영상, 트윗, PDF의 주장을 에이전트가 분해하고 출처 기반으로 검증하게 하는 스킬 모음이다. 핵심 스킬은 주장별 판정, 과장 신호 스캔, “이 주장을 믿으면 누가 이익을 얻는가” 분석, 0–10 BS 점수를 함께 만든다.
문제의식
AI 도구와 돈벌이 콘텐츠는 바이럴될수록 검증보다 확산이 빨라진다. 일반 채팅 모델에게 “이거 진짜야?”라고 물으면 모델 기억이나 그럴듯한 추론에 기대기 쉽다. Bullshit Detector는 판정 근거를 웹 출처에 묶고, 확인 불가능한 주장은 확인 불가능하다고 남기도록 설계됐다.
구성
| 영역 | 역할 |
|---|---|
| 분석 스킬 | 주장 추출, 판정, 과장 신호, 인센티브 분석 |
| 인제스트 스킬 | YouTube·TikTok·Reels 자막과 웹 콘텐츠 수집 |
| 발행 스킬 | 검증 리포트를 읽기 쉬운 형태로 정리 |
| 실행 표면 | Claude Code, Codex, OpenCode 등 스킬 파일을 읽는 하네스 |
설치와 사용
빠른 설치는 skills.sh를 사용한다. Claude Code에서는 플러그인으로 설치할 수도 있지만, README는 복사 설치와 플러그인을 동시에 쓰지 말라고 안내한다. 둘을 같이 쓰면 같은 스킬이 중복 로드될 수 있기 때문이다.
curl -fsSL https://skills.sh/SerhiiKorniienko/bullshit-detector | sh영상 콘텐츠는 자막이 있으면 yt-dlp로 가져오고, 자막이 없으면 Whisper 기반 전사 흐름을 붙이는 방향이다. 이 때문에 브라우저 샌드박스만 있는 채팅 환경보다 로컬 CLI 하네스에서 더 온전히 동작한다.
어디에 적합한가
- AI 수익화, 생산성, 모델 성능 주장 같은 바이럴 콘텐츠를 검증할 때
- 회사 내부에서 구매 후보 도구의 마케팅 문구를 빠르게 근거 점검할 때
- 영상·글·PDF를 같은 검증 리포트 포맷으로 다루고 싶을 때
- agent-skills를 단순 생산성이 아니라 비판적 검증 워크플로에 적용해보고 싶을 때
한계
팩트체크 스킬은 출처 검색 품질에 의존한다. 폐쇄형 자료, 삭제된 영상, 자막 품질이 낮은 콘텐츠, 최신 미공개 정보는 여전히 사람이 확인해야 한다. 또한 BS 점수는 의사결정 보조 지표이지 법적·학술적 검증 결과로 그대로 쓰면 안 된다.
관련 문서
- agent-skills — 에이전트 작업 절차를 재사용 가능한 스킬로 패키징하는 방식
- code-review-skill — Claude Code 리뷰를 구조화하는 모듈형 스킬
- ai-red-teaming-tutorial-garak — LLM 앱 공격 시나리오 점검하기
참고 자료
- SerhiiKorniienko/bullshit-detector — GitHub 공식 저장소