지금까지 AI 에이전트에게 일을 시키려면 작업을 말로 풀어 써야 했습니다. 그런데 매번 똑같이 하는 작업, 그것도 클릭 순서나 개인적인 선호가 섞인 작업을 글로 정확히 옮기기란 쉽지 않습니다.
OpenAI가 macOS용 Codex 앱에 ‘Record & Replay’ 기능을 추가했습니다. 사용자가 자기 컴퓨터에서 작업을 한 번 시연하면, Codex가 그 과정을 재사용 가능한 ‘스킬(skill)’로 만들어 이후 같은 일을 알아서 반복하는 기능입니다. 말로 설명하는 대신 직접 보여주는 방식으로 작업을 가르친다는 점이 핵심입니다.
출처: Record & Replay – Codex – OpenAI Developers
설명하기에서 보여주기로
프롬프트로 작업을 지시하는 방식에는 한계가 있습니다. 머릿속에서는 명확한 절차도 글로 옮기면 빠지는 부분이 생깁니다. 파일 이름을 붙이는 규칙, 특정 항목의 기본값, 어떤 화면에서 무엇을 먼저 누르는지 같은 암묵적인 습관은 특히 그렇습니다.
Record & Replay는 이 문제를 다른 각도에서 풉니다. 작업을 설명하는 게 아니라 시연합니다. 경비 정산서를 제출하거나, 정기 보고서를 내려받거나, 메타데이터와 썸네일을 갖춰 영상을 올리는 것처럼 반복적이고 손에 익은 작업일수록 잘 맞습니다. OpenAI는 단계가 안정적이고 성공 기준이 분명한 작업에 가장 효과적이라고 설명합니다.
녹화에서 스킬까지
작동 흐름은 크게 네 단계입니다.
- Codex 앱에서 녹화를 시작하고, 무엇을 하려는지와 매번 달라질 수 있는 입력값을 미리 알려줍니다.
- 사용자가 자기 Mac에서 실제로 작업을 수행합니다. 이때 Codex는 작업을 배우는 데 필요한 동작과 화면 내용을 관찰합니다.
- 작업이 끝나 녹화를 멈추면, Codex가 캡처한 과정을 분석해 스킬 초안을 작성합니다. 이 스킬에는 언제 이 작업을 쓰는지, 어떤 입력이 필요한지, 어떤 단계를 따르는지, 결과를 어떻게 검증하는지가 담깁니다.
- 이후 새 작업에서 그 스킬을 불러오고, 이번에 달라진 값(올릴 파일, 처리할 날짜 범위 등)만 알려주면 Codex가 실행합니다.
흥미로운 지점은 실행 방식입니다. 스킬은 ‘무엇을 하는지’와 사용자의 선호를 담고 있을 뿐, 실행 자체는 현재 환경에서 쓸 수 있는 도구에 맞춰 이뤄집니다. Codex는 화면을 직접 제어하는 Computer Use, 브라우저 액션, 연결된 플러그인을 상황에 따라 조합해 작업을 완성합니다.
데모를 재현 가능한 자산으로
이 기능의 의미는 일회성 자동화를 넘어섭니다. 한 번의 시연이 검토하고 편집할 수 있는 스킬로 남기 때문입니다. 녹화 후에 사용자가 숨은 선호(명명 규칙, 항목 기본값, 판단 분기점 등)를 직접 보완할 수도 있습니다. 사람이 일하는 방식을 관찰해 구조화된 절차로 바꾸고, 그 절차를 다시 꺼내 쓰는 셈입니다.
물론 모든 작업에 어울리는 건 아닙니다. 단계가 자주 바뀌거나 성공 기준이 모호한 작업에는 적합하지 않고, 현재 macOS에서만 쓸 수 있으며 유럽 경제 지역과 영국, 스위스에서는 아직 제공되지 않습니다. Computer Use 기능이 켜져 있어야 한다는 조건도 있습니다. OpenAI는 또한 녹화 시 비밀번호 같은 민감한 정보는 피하라고 권합니다.
직접 써보고 싶다면 OpenAI 공식 문서에 녹화 준비와 스킬 다듬기에 대한 안내가 더 자세히 정리되어 있습니다.
참고자료: OpenAI’s Codex can now watch you work once and repeat the task forever – The Decoder
답글 남기기