AI 기술 분석
답변 하나만 있으면 프롬프트가 복원된다, IIT 봄베이·어도비의 역방향 모델
IIT 봄베이와 어도비 리서치가 출력 텍스트만으로 원본 프롬프트를 거의 그대로 복원하는 PTP를 공개했습니다. 가중치도 로짓도 필요 없고, 어떤 모델이 만든 글인지 몰라도 됩니다.
Written by
2.78조 파라미터 모델이 램 8GB 노트북에서 돌아갔다
1.56TB짜리 Kimi K3 체크포인트를 램 8.24GB에서 돌린 C99 구현과, 활성 전문가만 NVMe에서 읽는 WARP 엔진. 메모리가 모델 크기의 상한이라는 전제가 흔들리고 있습니다.
Written by
다음 단어가 아니라 다음 ‘세계’를 예측한다, 월드 모델의 부상
AI의 무게중심이 언어에서 ‘세계 예측’으로 옮겨갑니다. Genie 3와 V-JEPA 2의 서로 다른 접근, 그리고 벤치마크가 드러낸 물리 추론의 한계까지 짚습니다.
Written by
암호화된 AI의 ‘속생각’을 통째로 빼냈다, 비밀번호까지 딸려 나왔다
연구팀이 주요 AI의 암호화된 추론 과정을 평문으로 복원했습니다. 세션을 넘어 이동하는 ‘속생각’과 거기서 발견된 비밀번호가 무엇을 뜻하는지 살펴봅니다.
Written by
압축이 곧 예측이다, LLM이 작동하는 원리를 압축으로 이해하기
파일을 줄이는 압축 프로그램과 문장을 이어 쓰는 LLM이 속으로는 똑같은 문제, 다음에 올 것을 예측하는 문제를 푼다는 관점. 더 나은 예측이 더 나은 압축이 되는 원리로 LLM이 어떻게 작동하는지를 비개발자도 이해하도록 풀어봅니다.
Written by
Needle 2, 14MB로 라즈베리파이와 저가폰에서 도는 에이전트 모델
챗봇이 수십 GB를 잡아먹는 시대에, 도구를 호출하는 에이전트 모델 하나가 14MB로 나왔습니다. 45M 파라미터로 라즈베리파이와 저가폰에서 도는 Needle 2가 어떤 발상 위에 서 있는지 정리했습니다.
Written by
Claude와 GPT의 학습 컷오프를 밖에서 알아낸 프로빙 실험
모델에 날짜 퀴즈를 내는 것만으로 학습이 끊긴 시점을 밖에서 가늠할 수 있습니다. 한 엔지니어가 공개 API만으로 Claude와 GPT의 학습 컷오프를 역추정한 실험과, 공개 컷오프와 실제 지식이 어긋난 사례를 정리했습니다.
Written by
Gemma 4에서 뉴런 수천 개를 지웠더니 이름이 Bard로 돌아왔다
Gemma 4에게 이름을 물으면 Gemma 4라고 답합니다. 그런데 한 레이어에서 MLP 뉴런 수천 개를 지우자 “내 이름은 Bard”로 바뀌었죠. 2024년에 사라진 이름이 몇 년 뒤 모델 안에 잠들어 있었다는 얘기, 그리고 그게 모델 내부 구조에 대해 알려주는 것을 정리했습니다.
Written by
같은 모델인데 응답이 느릴 때, LLM 추론 배칭 3종의 차이
같은 모델에 같은 질문을 넣어도 어떤 날은 즉시 답이 나오고 어떤 날은 한참 걸리죠. 모델이 바뀐 게 아니라 내 요청이 다른 요청들과 묶이는 방식이 달라진 겁니다. 정적·동적·연속 배칭이 어떻게 다르고, 첫 토큰이 늦는 것과 이후가 느린 것이 왜 다른 문제인지 짚었습니다.
Written by
RAG 청킹 전략 7가지, 문서를 어떻게 자르느냐가 검색 품질을 가른다
RAG를 붙였는데 자꾸 엉뚱한 문서를 물고 온다면 원인은 검색이 아닐 수 있습니다. 문서를 어떤 단위로 잘라 넣었는지가 그 앞에서 결과를 결정하죠. 고정 크기 자르기부터 표 보존 청킹까지 일곱 가지 전략의 작동 방식과, 자동화할수록 오히려 흔들리는 지점을 정리했습니다.
Written by
