AI Sparkup

최신 AI 쉽게 깊게 따라잡기⚡

마이크로소프트 Skill Recorder, 한 번의 작업 녹화가 에이전트 스킬이 되기까지

지금까지 에이전트에게 반복 작업을 맡기려면 그 절차를 한 단계씩 글로 적어야 했습니다. 마이크로소프트가 내놓은 도구는 순서를 뒤집어, 작업하는 모습을 한 번 녹화하면 나머지를 Copilot이 정리하게 만들죠.

사진 출처: Microsoft Skill Recorder GitHub

마이크로소프트가 공개한 Skill Recorder는 화면 위 작업 세션을 녹화한 뒤, GitHub Copilot CLI로 그 기록을 ‘하나의 의도와 순서 있는 단계’로 재구성하는 데스크톱 앱입니다. 녹화된 절차는 에이전트가 필요할 때 실행하는 SKILL.md가 되거나, 일정·트리거로 도는 자동화가 되죠. 스킬을 직접 문서로 써야 한다는 진입장벽을 없애는 게 이 도구의 노림수입니다.

출처: Skill Recorder – Microsoft (GitHub)

스킬 만들기의 진짜 장벽은 ‘글쓰기’였다

에이전트에게 일을 시키려면 그 일을 말이 아니라 글로 넘겨야 합니다. Claude Code든 Copilot이든, 반복 작업을 자동화하려면 절차를 문서로 정리해 스킬 파일에 담아야 하죠. 문제는 이 ‘글로 옮기는’ 단계 자체가 만만치 않다는 점입니다.

머릿속으로는 익숙한 작업이라도 막상 적으려면 다릅니다. 어떤 순서로 무엇을 클릭하고 왜 그렇게 하는지 빠짐없이 언어화하는 일이 남죠. 손은 아는데 글로는 잘 안 나오는, 그 간극이 스킬 작성을 미루게 만드는 진짜 이유라는 것. 스킬이 단순한 마크다운 한 장이 아니라 여러 유형과 구조를 갖는다는 점은 이전 글에서도 짚은 적이 있습니다.

Claude Code Skills, “마크다운 파일” 아닙니다, Anthropic 엔지니어가 밝힌 9가지 유형과 실전 원칙

녹화하고, 분석하고, 생성한다

Skill Recorder는 이 부담을 화면 녹화로 대신합니다. 실제 흐름은 크게 네 단계로 이어지죠.

  1. 녹화 — 단축키로 녹화를 켜고 평소대로 작업하면, 화면과 활동이 로컬에서 배경 기록된다.
  2. 제어 — 녹화 중 항상 위에 뜨는 작은 바에서 마이크를 켜고 끄거나, 잘못된 테이크를 버릴 수 있다.
  3. 분석 — Analyze를 누르면 Copilot이 전체 의도 하나와 순서 있는 단계 목록으로 기록을 재구성한다. 사람이 읽고 다듬을 수 있다.
  4. 생성 — 승인된 분석에서 재사용 가능한 스킬이나 예약 자동화를 만든다.

원한다면 말로 하는 나레이션도 얹을 수 있습니다. 왜 이 버튼을 누르는지 설명해두면, 재구성 단계에서 그 의도까지 함께 반영되는 식이죠. ‘한 번 제대로 해 보이는 것’이 문서 작성을 통째로 대신하는 셈입니다.

UI 클릭 재생이 아니라 ‘의도’를 일반화한다

녹화 기반 자동화라고 하면, 흔히 클릭 좌표를 그대로 다시 누르는 매크로를 떠올리기 쉽죠. Skill Recorder는 그런 매크로와 다릅니다. 재구성된 절차는 UI 클릭을 재생하기보다 에이전트가 원래 쓰는 도구를 우선하도록 짜이죠. gh CLI나 web_fetch처럼 이미 에이전트 손에 있는 수단으로 같은 목적을 달성하는 방식입니다.

여기에 한 번의 예시에서 일반화하는 성질이 더해지죠. 폼 하나를 제출하는 장면을 녹화하면, 같은 종류의 폼 전부를 제출하도록 배웁니다. 화면 동작을 그대로 흉내 내는 게 아니라, 그 뒤에 있는 ‘무엇을 하려 했는가’를 뽑아내는 셈이죠.

처리는 로컬에서, 분석은 클라우드에서

편의만큼 짚어야 할 경계도 있죠. 녹화와 저장, 화면 프레임 추출, 음성 나레이션 변환까지는 모두 내 컴퓨터 안에서 이뤄집니다. 나레이션은 Whisper 모델로 기기에서 바로 텍스트로 바뀌고, 녹화하는 동안에는 아무것도 밖으로 나가지 않죠.

다만 Analyze를 누르는 순간부터는 얘기가 달라집니다. 이때 창·문서 제목, URL, 클립보드 미리보기, 추출된 화면 이미지, 나레이션 텍스트가 Copilot 처리를 위해 GitHub 클라우드로 넘어가죠. 그래서 마이크로소프트는 비밀번호·토큰·API 키 같은 정보를 녹화에 담지 말라고 반복해 경고합니다.

써보려면

필요한 것: Copilot 접근 권한이 있는 GitHub 계정. Copilot CLI는 앱에 함께 들어 있습니다. macOS가 주 대상이고 Windows 11(x64·ARM64)도 지원합니다. 소스 릴리스 방식이라 설치할 때 고정된 버전의 Node.js 런타임을 자동으로 내려받아 빌드합니다.

시작 지점: 최신 릴리스 페이지에서 플랫폼별 설치 명령을 복사해 실행하면 ‘Skill Recorder (Source)’ 앱이 추가됩니다. 첫 실행에서 화면 녹화 권한을 허용하고, 단축키(⌘⇧R / Ctrl+Shift+R)로 녹화한 뒤 Analyze, Create 순으로 진행하면 됩니다.

잘 맞는 상황 / 안 맞는 상황: 반복되는 화면 작업을 Scout·Copilot Cowork·Copilot Studio용 스킬이나 자동화로 넘기고 싶을 때 잘 맞습니다. 반대로 비밀번호·토큰·기밀이 화면에 드러나는 작업에는 쓰지 않는 편이 좋죠. Analyze 단계에서 기록이 GitHub 클라우드로 전송되기 때문입니다.


AI Sparkup 구독하기

최신 게시물 요약과 더 심층적인 정보를 이메일로 받아 보세요! (무료)

Comments

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다