캘리포니아 샌리앤드로의 한 창고. 파일럿(로봇 훈련 전문가를 부르는 회사 내부 호칭) 앤드루 세하가 젠가 탑에서 나무 블록 하나를 조심스레 빼내고 있습니다. 그는 시선을 기록하는 카메라가 달린 헤드셋을 쓰고 있는데, 여기까지는 로봇 학습 데이터 수집에서 흔한 장면입니다. 다른 점은 이 헤드셋에 그의 뇌파를 측정하는 센서까지 달려 있다는 겁니다.

로봇 학습 데이터 회사 Encord가 사람이 물건을 조작할 때의 뇌파까지 훈련 데이터로 태깅하는 실험을 하고 있습니다. TechCrunch가 이 회사의 샌리앤드로 시설을 직접 방문해 취재한 내용입니다. 배경에는 로보틱스 업계가 챗봇과는 전혀 다른 종류의 데이터 병목에 부딪혔다는 사정이 있습니다.

출처: Are brain waves the next unlock for physical AI? – TechCrunch

인터넷에 없는 데이터는 직접 만들어야 한다

챗봇을 만들 때는 인터넷에 널린 텍스트를 긁어와 학습시키면 됐습니다. 로봇은 사정이 다릅니다. “로봇이 컵을 정확히 쥐고, 커피를 흘리지 않고 따르고, 케이블을 서버 뒤에 정밀하게 꽂는” 식의 물리적 조작 데이터는 인터넷 어디에도 없습니다.

Encord에서 로봇 학습을 이끄는 비니스 벨무루간은 이 문제를 두고 “데이터가 아예 존재하지 않는다”고 말합니다. 자율주행 회사들은 직접 도로를 달리며 데이터를 모으지만 확장이 어렵죠. 영상만으로 학습시키는 방법도 있지만 실제 물리 환경의 정밀도를 따라가지는 못합니다. 벨무루간은 이 벽을 넘으려면 유튜브 전체 영상 분량의 5배쯤 되는 데이터셋이 필요하다고 봅니다. 데이터를 그냥 모으는 게 아니라 아예 “제조”해야 하는 사업이 된 이유입니다.

시선 추적에서 뇌파, 근전도까지

Encord는 이 데이터를 두 갈래로 모읍니다. 하나는 작업자가 직접 카메라를 쓰고 찍는 1인칭 시점 영상이고, 다른 하나는 원격으로 조작하는 로봇에서 나오는 데이터입니다. 샌리앤드로 시설에서는 사람이 직접 로봇팔 한 쪽을 조작하면 다른 쪽 로봇팔이 그 움직임을 그대로 따라 하는 리더-팔로워 방식으로, 커피를 따르거나 포커 칩을 쌓는 것 같은 미묘한 손동작 데이터를 만듭니다.

여기에 더해 팔뚝에 부착한 센서로 근육의 전기 신호를 읽어 손 전체의 3차원 움직임을 재구성하는 방식도 개발 중입니다. 카메라 영상만으로는 손 전체가 화면에 다 담기지 않는 경우가 많은데, 근전도 센서는 이 빈틈을 메워줍니다.

이번 뇌파 실험은 여기서 한 단계 더 나아간 시도죠. 독일 뇌과학 스타트업 Zander Labs가 만든 헤드셋으로 오류를 느낀 순간, 의도한 순간, 놀란 순간 같은 정신적 상태를 측정합니다. Zander의 신경과학자 루카스 게르케는 특정 작업 중 뇌 활동이 얼마나 활발했는지가 모델 개발자들에게 “이 순간엔 가장 정교한 모델을 투입해야 한다”는 신호로 쓰일 수 있다고 설명합니다. 아직은 시범 단계입니다. Encord는 뇌파를 태깅한 데이터셋을 먼저 만들어 실제로 모델 성능이 좋아지는지 확인한 뒤 확장 여부를 결정할 계획입니다.

정밀한 데이터일수록 비싸다는 계산

Encord는 수집한 영상에 “오른손이 볼트를 조인다” 같은 물리적 설명을 달아 언어모델 기반 로봇이 상황을 이해하도록 돕습니다. 벨무루간은 이런 밀도 높은 주석이 특정 작업 학습에는 대충 찍은 1인칭 영상보다 100배 가치 있다고 추정합니다. 다만 제작 비용도 20배 더 듭니다. 계산상으로는 남는 장사지만, 20배라는 숫자 자체는 결코 작지 않습니다.

이 지점이 물리 AI와 챗봇을 같은 틀로 비교하기 어려운 이유입니다. 언어모델 회사들은 스택오버플로우를 비롯한 웹 텍스트를 거의 공짜로 긁어와 모델을 키웠죠. 물리적 훈련 데이터는 그렇게 되지 않습니다. 수집이 아니라 제조가 필요하고, 그 제조 비용이 로봇 AI가 얼마나 빨리 발전할 수 있는지를 좌우하는 변수가 되고 있는 겁니다.