OpenAI가 GPT-5.6을 공개하며 가장 앞세운 장면은 모델이 데스크톱 화면을 직접 조작하는 모습이었습니다. 창을 열고 버튼을 누르는 이 모든 동작의 전제는, 화면을 제대로 봐야 한다는 것이죠.

컴퓨터 비전 플랫폼 Roboflow가 GPT-5.6 라인업(Sol·Terra·Luna)의 시각 능력을 자체 VLM 벤치마크로 측정했습니다. 결과부터 말하면 Sol은 OpenAI가 지금까지 낸 모델 중 가장 잘 보는 모델입니다. 특히 물체 탐지에서 이전 세대를 세 배 이상 앞섰죠.

출처: GPT 5.6 Sol is the best “vision” model OpenAI ever released – Roboflow

화면을 조작하려면 먼저 봐야 한다

화면을 조작하는 에이전트는 사람이 화면을 보듯 UI를 읽어야 합니다. 어디에 버튼이 있고, 어떤 아이콘이 무엇을 뜻하고, 표의 어느 칸에 값이 들어 있는지. 이걸 못 읽으면 그다음 클릭은 찍기나 다름없습니다.

OpenAI가 출시 발표에서 UI 에이전트와 정교한 3D 시각화를 강조한 것도 결국 시각 이해가 받쳐줬기 때문입니다. 화려한 데모 뒤에는 ‘얼마나 정확히 보는가’라는 질문이 놓여 있는 셈이죠. Roboflow는 바로 그 부분을 탐지·세기·OCR·데이터 추출로 나눠 실측했습니다.

물체 탐지, 약점에서 실용으로

가장 큰 변화는 물체 탐지입니다. 이미지 속 대상이 어디 있는지 네모 상자로 짚어내는 작업이죠. 직전 모델 GPT-5.5는 이 벤치마크에서 13.8점(mAP@50)에 그쳤는데, Sol은 46.2점까지 올라왔습니다. Terra와 Luna도 각각 44.7, 43.3점으로 뒤를 바짝 따랐고요.

VLM은 전통적인 탐지 모델과 방식이 다릅니다. 좌표를 숫자로 하나씩 ‘적어서’ 내놓는 구조죠. 그래서 대상이 많아질수록 답이 길어지고, 빠뜨리거나 겹치거나 좌표가 어긋날 위험도 커집니다. 그런데도 Sol은 알약이나 달걀처럼 비슷한 물체가 빽빽이 몰린 장면에서 대부분을 짚어냈고요. 문서에서 제목·문단·표·서명을 구분해내는 것도 강점이었습니다.

세는 능력도 함께 올랐습니다. Sol은 73.0%로 GPT-5.5(64.9%)를 넘었고, 라인업에서 가장 싼 Luna(66.2%)조차 이전 세대를 앞섰죠. 겹쳐 있는 금속 브래킷을 세거나, 지정한 점수 구역 안의 탄흔만 골라 세는 것처럼 ‘무엇을 어디서 세야 하는지’까지 이해하는 사례도 나왔습니다.

도약은 균일하지 않았다

모든 시각 작업이 좋아진 건 아닙니다. 글자를 읽어내는 OCR은 오히려 살짝 뒷걸음쳤습니다. Sol은 90.7%로 GPT-5.5(91.2%)보다 낮았고, 특정 정보만 뽑아내는 텍스트 추출은 82.5% 대 87.6%로 차이가 더 벌어졌죠. 탐지와 세기는 크게 뛰었는데 읽기는 제자리거나 후퇴한 셈입니다.

실사용에서 걸리는 지점도 있습니다. Roboflow가 엉뚱한 사례를 공유하자, OpenAI는 Sol이 2000×2000픽셀 안팎을 넘는 큰 이미지에서 불안정해진다고 확인했습니다. 추론을 적게 돌릴수록 심했죠. 추론을 늘리면 안정적이지만 그만큼 토큰과 지연, 비용이 함께 붙습니다. 큰 이미지는 미리 줄이거나 잘라 보내는 게 현실적인 해법이라고 하네요.

가끔은 실제 물체와 상관없이 상자를 반듯한 줄이나 격자 모양으로 그려버리는 실패도 나왔습니다.

그래서 지금 무엇을 맡길 수 있나

화면을 대신 조작하는 AI에 대한 기대가 커지고 있습니다. 이번 실측은 그 바탕이 어디까지 왔는지를 구체적인 숫자로 보여주죠. 물체가 어디 있는지 짚고 개수를 세는 일은 이제 맡겨볼 만합니다. 반면 작은 글씨나 낮은 대비의 텍스트, 큰 화면을 정확히 읽어야 하는 작업은 아직 사람이 한 번 더 확인하는 편이 안전하죠.

같은 vision이라도 잘하는 축과 못하는 축이 갈린다는 것. AI에게 화면 일을 넘길 때 무엇을 믿고 무엇은 지켜봐야 하는지, 그 경계를 가늠하는 기준이 되어줍니다.