AI 에이전트의 가치는 답변을 더 빨리 보여주는 데만 있지 않다. Perplexity Search와 Computer의 실제 사용 데이터를 비교한 연구는, 작업을 직접 분해·실행하는 자율성이 사용자가 시도하는 업무의 시간, 비용, 범위까지 바꿀 수 있음을 보인다.
관찰된 변화
연구진은 비슷한 초기 질문으로 같은 과업을 두 제품에서 시도한 세션을 자연 실험처럼 비교했다. Computer는 세션당 자율 실행 시간이 26분으로 Search의 33초보다 길었지만, 매칭된 작업의 총 완료 시간은 269분에서 36분으로 줄었다고 추정했다.
| 지표 | Computer 대 Search | 해석 |
|---|---|---|
| 세션당 자율 실행 | 26분 대 33초 | 사용자가 직접 하던 분해·실행을 에이전트가 맡음 |
| 불만족률 | 쿼리당 55% 낮음 | 결과 품질·완결성의 연관 신호 |
| 매칭 작업 완료 시간 | 269분 → 36분 | 인간의 대기·수작업 단축 추정 |
| 추정 시간·비용 | 각각 87%·94% 감소 | 특정 제품·과업 표본의 관찰치 |
생산성 수치를 읽는 법
이 결과는 무작위 통제 실험이 아니라 제품 로그와 유사 질문 쌍에 기반한 관찰 연구다. 사용자가 어떤 제품을 선택했는지, 작업 난이도와 성공 기준, 품질의 장기 영향은 완전히 통제되지 않는다. 따라서 “모든 지식 업무가 87% 빨라진다”는 일반 규칙으로 쓰면 안 된다.
대신 에이전트 도입 평가는 다음처럼 설계하는 편이 낫다.
- 단순 검색 횟수 대신 작업 완료까지 걸린 전체 시간을 측정한다.
- 에이전트가 수행한 행동과 사람이 검증·수정한 시간을 분리해 기록한다.
- 절약한 시간으로 검증·확장 같은 더 높은 차수의 일을 실제로 늘렸는지 확인한다.
관련 문서
- agent-harness — 자율 실행의 품질을 결정하는 도구·피드백·승인 설계
- ai-agent-evaluation — 긴 작업과 도구 사용을 평가하는 방법
참고 자료
- How AI Agents Reshape Knowledge Work: Autonomy, Efficiency, and Scope — arXiv (2026-06-11)