거의 같은 문장으로 시작한 두 세션이 있습니다. 한쪽에서 AI는 33초 일하고 멈췄죠. 다른 쪽에서는 26분을 사용자 없이 계속 일했습니다.

Perplexity에는 성격이 다른 두 제품이 있습니다. 질문에 답을 찾아주는 Search, 그리고 사용자를 대신해 컴퓨터를 조작하며 일을 끝까지 처리하는 Computer죠. 하버드 경영대학원의 제레미 양과 Perplexity의 제리 마 등이 이 두 제품의 실제 사용 기록을 놓고 무엇이 달라지는지 쟀습니다.

출처: How AI Agents Reshape Knowledge Work: Autonomy, Efficiency, and Scope – arXiv

같은 일을 두 도구로 시켰을 때

두 제품을 그냥 비교하면 곤란한 문제가 하나 생깁니다. 사람들이 애초에 다른 종류의 일을 시켰을 수 있으니까.

연구진은 첫 문장으로 이 문제를 걸렀습니다. 거의 똑같은 문장으로 시작한 세션 쌍만 골라내, 같은 과제를 두 도구로 시도한 경우로 다룬 겁니다. 실험실에서 조건을 통제한 게 아니라 실제 로그에서 짝을 찾아낸 셈.

그렇게 맞춰 놓고 잰 것이 ‘자율 작업 시간’입니다. 사용자가 손을 대지 않는 동안 시스템이 혼자 돌아간 시간이죠. Search는 33초, Computer는 26분이었습니다.

26분 동안 무엇이 넘어갔나

Search로 같은 일을 하려면 사람이 중간을 다 채워야 합니다. 검색어를 바꿔가며 여러 번 던지고, 흩어진 결과를 모으고, 순서를 정해 하나씩 처리하는 식.

Computer에서는 그 중간이 통째로 시스템 안으로 들어갑니다. 논문이 ‘과제 분해와 실행의 자동화’라고 부른 게 이 부분. 26분은 그 자동화가 돌아간 시간입니다.

결과는 완료 시간에서 드러났습니다. 짝지어진 과제 기준으로 269분이 36분으로 줄었죠. Search만 쥔 사람과 비교하면 추정 시간 87%, 추정 비용 94% 절감입니다.

뒤 두 숫자에는 ‘추정’이 붙어 있습니다. 사람이 같은 일을 했을 때의 소요 시간과 인건비를 모형으로 환산한 값. 실측된 26분과 나란히 놓기는 어렵습니다. 데이터도 저자도 Perplexity 쪽에 걸쳐 있다는 점 역시 감안할 대목이죠.

다음 질문이 달라진다

시간보다 눈에 띄는 건 그다음 질문입니다. Search 쪽에서 이어지는 건 다음 실행 단계를 지시하는 질문. “이제 이걸 찾아줘”, “그다음은 이렇게 해줘” 하는 식이죠.

Computer에서는 후속 질의 분포가 검증과 확장 쪽으로 옮겨갔습니다. “이게 맞는지 확인해줘”, “여기서 한 걸음 더 나가보자” 쪽으로. 실행을 넘기고 나면 사람이 서 있는 자리가 검토와 판단으로 밀린다는 이야기입니다.

품질 지표도 같은 방향이었습니다. 질의당 중간 이상 불만족 비율이 Computer에서 55% 낮게 나왔죠.

안 하던 일을 시키기 시작한다

세 번째 발견은 일의 범위. Computer에 들어온 질의는 직업 경계를 넘나드는 경우가 잦았고, 여러 분야의 지식을 한꺼번에 끌어왔습니다.

형태도 달랐습니다. 서로 얽힌 하위 작업 여러 개를 한 문장에 묶어 던지는 복합 과제가 늘었죠. 자료를 모으고, 정리하고, 표로 만들고, 요약까지 한 번에 시키는 식입니다.

가장 눈에 띄는 건 마지막 대목입니다. 같은 사용자가 Search에서는 사실상 시도조차 하지 않던 종류의 업무 활동이 Computer에서 나타났다는 것. 있던 일이 빨라진 게 아니라, 없던 일이 생긴 겁니다.

언제 저울이 기우나

논문은 이 차이를 비용 구조로 설명합니다. 에이전트는 시작 비용이 비싼 대신 단계당 비용이 싸다는 것. 무엇을 원하는지 처음에 제대로 설명해야 하니 초반이 무겁고, 일단 굴러가기 시작하면 그 뒤가 가볍습니다.

그래서 30초면 끝나는 확인은 여전히 검색이 낫습니다. 설명하는 수고를 치를 만큼 덩어리가 클 때, 그때 저울이 에이전트 쪽으로 기울죠.

이 기준을 뒤집으면 이렇게 됩니다. 지금까지 손이 너무 많이 가서 아예 시작하지 않았던 일들, 그게 먼저 넘어갈 후보라는 것. 논문에 나온 26분은 그 후보들이 실제로 넘어가는 중이라는 기록이죠.