영상 한 편의 프레임을 전부 모델에 읽히면 4,500만 토큰이 듭니다. video-use는 12KB짜리 텍스트로 같은 일을 하죠.

browser-use 팀이 video-use를 공개했습니다. 원본 푸티지를 폴더에 넣고 Claude Code와 대화하면 edit/final.mp4가 나오는 오픈소스 도구죠. 토킹 헤드든 몽타주든 튜토리얼이든 프리셋이나 메뉴 없이 다룬다고 밝히고 있습니다.

출처: video-use — Edit videos with coding agents – browser-use

폴더에 넣고 말하면 된다

사용 흐름은 짧습니다. 원본 테이크가 담긴 폴더로 이동해 에이전트를 띄우고, “이걸로 런칭 영상 만들어줘” 정도로 말하면 됩니다.

그다음은 에이전트가 진행합니다. 먼저 소스를 훑어 목록을 만들고, 어떻게 자를지 전략을 제안하죠. 사용자가 승인하기 전까지는 컷에 손을 대지 않습니다. 승인이 떨어지면 원본 옆에 edit/ 폴더를 만들어 결과물을 그 안에만 넣고요.

프리셋도 메뉴도 없습니다. 매번 소스를 보고, 묻고, 그다음에 편집한다는 게 설계 원칙 중 하나로 못 박혀 있죠.

보지 않고 읽는다

이 도구에서 LLM은 영상을 보지 않습니다. 읽습니다. 여기가 핵심이죠.

1층은 오디오 전사입니다. 소스마다 ElevenLabs Scribe를 한 번씩 호출해 단어 단위 타임스탬프, 화자 구분, 그리고 웃음이나 박수, 한숨 같은 오디오 이벤트까지 받아옵니다. 모든 테이크를 합쳐도 12KB 정도의 파일 하나로 정리되고, 이게 LLM이 늘 들여다보는 기본 화면이 됩니다.

2층은 시각 정보인데 필요할 때만 부릅니다. 특정 구간을 지정하면 필름스트립과 파형, 단어 라벨을 한 장에 합친 이미지를 만들어주죠. 애매한 침묵 구간을 판단할 때, 여러 테이크를 비교할 때, 컷 지점이 맞는지 확인할 때만 호출하는 식입니다.

계산을 보면 왜 이렇게 짰는지 분명해집니다. 프레임 3만 장을 장당 1,500토큰으로 넘기면 4,500만 토큰의 잡음이 되니까요. 만든 사람들은 이걸 browser-use에서 하던 것과 같은 발상이라고 설명합니다. 스크린샷 대신 구조화된 DOM을 주던 방식을, 이번엔 영상에 적용한 것.

렌더한 결과를 스스로 검사한다

파이프라인은 여섯 단계로 돌아갑니다.

1. 전사 — 소스별 음성을 단어 단위로 받아옴
2. 패킹 — 모든 테이크를 하나의 읽기용 파일로 압축
3. 추론 — LLM이 어디를 자를지 판단
4. EDL — 편집 결정 목록 생성
5. 렌더 — 실제 영상 출력
6. 자체 평가 — 결과물 점검

마지막 단계가 특이합니다. 자체 평가는 원본이 아니라 방금 렌더한 출력물을 대상으로, 컷 경계마다 시각 뷰를 다시 뽑아 확인하죠. 화면이 튀는지, 오디오에 팝 소리가 남았는지, 자막이 다른 요소에 가려졌는지를 잡아냅니다.

문제가 발견되면 고쳐서 다시 렌더합니다. 최대 세 번까지. 이 검사를 통과한 다음에야 사람에게 미리보기가 넘어옵니다.

실제로 손대는 것들

편집 항목은 구체적입니다. umm이나 uh 같은 필러 워드와 잘못 시작한 부분을 걷어내고, 테이크 사이의 빈 구간을 없앱니다. 구간마다 컬러 그레이딩도 자동으로 들어가고요.

작은 디테일이 규칙으로 박혀 있는 것도 눈에 띕니다. 모든 컷 지점에 30밀리초짜리 오디오 페이드를 넣어 팝 소리가 나지 않게 하는 식이죠.

자막은 기본값이 두 단어씩 끊은 대문자 덩어리인데 원하는 대로 바꿀 수 있습니다. 애니메이션 오버레이가 필요하면 HyperFrames나 Remotion, Manim 같은 도구를 붙여 만드는데, 애니메이션 하나당 서브에이전트를 하나씩 병렬로 띄웁니다.

세션 기억은 project.md에 남습니다. 다음 주에 다시 열어도 지난번 멈춘 지점에서 이어갈 수 있죠.

정확성은 규칙으로, 취향은 열어두고

설계 원칙의 마지막 항목이 이 도구의 성격을 요약합니다. 하드 룰 12개는 반드시 지키고, 나머지 영역은 자유롭게 둔다는 것.

제작상의 정확성은 협상 대상이 아니지만 취향은 아니라는 구분입니다. 오디오에 팝이 남았다면 그건 틀린 결과지만, 어떤 톤으로 색을 잡을지는 틀리고 맞고의 문제가 아니라는 거죠.

에이전트에게 일을 맡길 때 어디까지를 규칙으로 고정하고 어디부터 놔둘지, 그 선을 명시적으로 그어둔 사례로 볼 만합니다.

써보려면

필요한 것: 셸 접근이 가능한 코딩 에이전트(Claude Code, Codex 등), ffmpeg, 그리고 ElevenLabs API 키. 온라인 소스를 받아 쓸 생각이면 yt-dlp도 함께 필요합니다.

시작 지점: 저장소에 있는 셋업 프롬프트를 에이전트에 그대로 붙여넣습니다. 클론과 의존성 설치, 스킬 등록까지 에이전트가 처리하고 API 키는 필요한 시점에 한 번 물어봅니다. 그다음 푸티지 폴더로 이동해 에이전트를 띄우고 원하는 결과를 말하면 됩니다.

잘 맞는 상황 / 안 맞는 상황: 말이 중심인 영상에 잘 맞습니다. 토킹 헤드, 인터뷰, 튜토리얼처럼요. 컷 기준이 음성 경계와 침묵 구간에서 나오는 구조라서 그렇습니다. 반대로 대사가 거의 없는 영상이나 프레임 단위 타이밍이 생명인 편집에서는 이 방식이 붙잡을 근거가 얇습니다.

참고자료: video-use SKILL.md — 전체 제작 규칙과 편집 기준