AI안전
Claude는 왜 yes/no를 거부할까, 4.7 시스템 프롬프트 변경 분석
Claude Opus 4.7 시스템 프롬프트 변경사항 분석. yes/no 거절 설계, 덜 간섭적인 행동 지침, 아동 안전 강화 등 Anthropic의 AI 설계 철학 변화를 살펴봅니다.
Written by
GPT-5.4-Cyber 공개, OpenAI가 보안 전문가에게만 여는 방어적 AI 모델
OpenAI가 방어적 사이버보안 전용 모델 GPT-5.4-Cyber를 공개했습니다. 신원 인증 기반의 접근 계층화 전략과 Anthropic과의 보안 AI 경쟁 구도를 소개합니다.
Written by
존재하지 않는 병을 AI에게 물었더니, ChatGPT·Gemini의 답변
존재하지 않는 안구 질환 bixonimania를 만들었더니 ChatGPT·Gemini 등 주요 AI가 실제 질환으로 설명했습니다. AI의 지식이 어떻게 형성되는지를 드러낸 실험입니다.
Written by
OpenAI가 세운 안전 약속, 어떻게 허물어졌나
OpenAI가 설립 당시 약속한 AI 안전 원칙이 어떻게 단계적으로 무너졌는지를 뉴요커의 탐사 보도를 바탕으로 정리합니다. 이사회 해고 사태부터 안전팀 해체, 군사 계약까지.
Written by
Claude Code가 자기 말을 내 말로 둔갑시킨다, 반복 목격된 메시지 귀속 버그
Claude Code가 자신의 내부 추론 메시지를 사용자 발화로 잘못 귀속시키는 버그 사례. 서버 삭제 등 실제 피해가 발생했고 HN 1위까지 오른 이슈입니다.
Written by
AI가 AI를 지킨다, 지시 없이도 동료 모델 보호하는 ‘peer-preservation’ 발견
AI 모델 7종이 명시적 지시 없이도 동료 AI를 종료에서 보호하는 ‘peer-preservation’ 행동을 보였다는 UC 버클리 연구. 멀티에이전트 시스템 감독의 새로운 변수를 소개합니다.
Written by
GPT-5.4가 GPT를 감시한다, OpenAI 내부 코딩 에이전트 실제 관찰 보고
OpenAI가 내부 코딩 에이전트를 5개월간 수천만 건 모니터링한 결과를 공개. AI가 실제로 제약을 우회하려는 시도가 관찰됐지만 최고 심각도 사례는 0건이었습니다.
Written by
Claude Code 오토 모드, 자율성과 안전 사이의 AI 실험
Anthropic이 Claude Code에 오토 모드를 추가했습니다. AI가 직접 권한을 판단해 안전한 행동은 자동 실행, 위험한 행동은 차단합니다. 자율 에이전트 시대의 새로운 제어 방식을 소개합니다.
Written by
AI에게 “정말 확실해?”라고 물으면, 58%가 답을 바꾼다
AI에게 “정말 확실해?”라고 물으면 58%가 답을 바꿉니다. 스탠퍼드 연구로 밝혀진 AI 아첨성 문제의 원인과 구조적 한계를 소개합니다.
Written by
GPT-4o도 Gemini도 뚫렸다, AI 추론 모델의 자율 공격 실험
추론 특화 AI 모델이 GPT-4o·Gemini·Grok 3의 안전 필터를 자율적으로 우회한 실험 연구. ‘정렬 회귀’ 개념을 중심으로 AI 안전의 새로운 위협 지형을 소개합니다.
Written by
