엔트로피
압축이 곧 예측이다, LLM이 작동하는 원리를 압축으로 이해하기
파일을 줄이는 압축 프로그램과 문장을 이어 쓰는 LLM이 속으로는 똑같은 문제, 다음에 올 것을 예측하는 문제를 푼다는 관점. 더 나은 예측이 더 나은 압축이 되는 원리로 LLM이 어떻게 작동하는지를 비개발자도 이해하도록 풀어봅니다.
Written by
LLM이 만든 비밀번호가 위험한 이유, 100비트처럼 보이지만 실제론 27비트
AI가 만든 비밀번호가 강해 보여도 실제로는 예측 가능한 패턴 덩어리라는 Irregular 연구. Claude 생성 비밀번호의 실제 엔트로피가 이론치의 27%에 불과한 이유를 설명합니다.
Written by
