인공지능 기술이 비약적으로 발전하는 가운데, 우리는 종종 AI가 거의 모든 분야에서 인간의 능력을 곧 넘어설 것이라는 전망을 듣곤 합니다. 그러나 최근 연구에 따르면, 최첨단 AI 모델들이 기본적인 물리적 작업, 특히 제조 분야에서는 여전히 심각한 한계를 보이고 있습니다. 이번 글에서는 AI 모델들이 왜 물리적 세계의 작업에 취약한지, 그리고 이것이 우리 사회에 어떤 영향을 미칠 수 있는지 살펴보겠습니다.
AI의 시각적 인식과 물리적 추론 능력 평가
평가에 사용된 황동 부품 – 출처: Adam Karvonen
최근 Adam Karvonen은 GPT-4.5, Claude 3.7, O1-Pro, Gemini 2.5 Pro 등 최신 AI 모델들을 대상으로 간단한 황동 부품의 CNC 가공 계획을 세우는 능력을 평가했습니다. 이 평가는 AI의 시각적 인식 능력과 물리적 추론 능력을 함께 테스트하는 것이었습니다.
평가 결과는 놀랍게도 거의 모든 AI 모델이 이 간단한 작업에서 심각한 실패를 보였습니다. 모델들이 보인 문제점은 크게 두 가지로 나눌 수 있습니다.
1. 시각적 인식의 한계
대부분의 모델들은 기본적인 시각적 인식에서 심각한 문제를 보였습니다. Anthropic과 OpenAI의 모델들(Claude 3.5, Claude 3.7, GPT-4.5, GPT-4o, O1-Pro)은 부품에 있는 명백한 특징들, 예를 들어 둥근 표면에 절삭된 평면이나 구멍과 같은 특징들을 인식하지 못했습니다. 때로는 실제로 존재하지 않는 특징들을 상상해내기도 했습니다.
유일하게 Gemini 2.5 Pro만이 시각적 인식에서 약간의 진전을 보였습니다. 평균적으로 네 번의 시도 중 한 번 정도는 주요 특징들을 올바르게 식별했습니다. 하지만 이러한 향상된 시각 능력은 더 깊은 문제를 드러내는 계기가 되었습니다.
2. 물리적 추론의 실패
시각적 인식이 향상되었다 하더라도, 모든 모델들은 물리적 추론에서 실패했습니다. Gemini 2.5 Pro가 부품의 특징을 비교적 정확하게 인식했을 때조차, 실제 가공 계획은 여전히 실용적이지 않았습니다.
주요 물리적 추론 오류:
- 강성과 채터(chatter) 무시: AI 모델들은 길고 가느다란 부품의 특성을 무시하고, 가공 중에 발생할 수 있는 휨이나 진동(채터)을 고려하지 않았습니다.
- 물리적으로 불가능한 가공 방법 제안: 모델들은 부품을 고정하는 방법(워크홀딩)이나 가공 순서를 물리적으로 불가능한 방식으로 제안했습니다.
- 현실적이지 않은 공구 선택: 가공 공간의 제한이나 공구와 부품 간의 충돌 가능성을 고려하지 않은 공구 선택을 제안했습니다.
CNC 가공 과정에서 고려해야 할 물리적 제약 사항들 – 출처: 3ERP
AI가 물리적 작업을 이해하기 어려운 이유
왜 최신 AI 모델들이 이런 기본적인 물리적 작업에 실패하는 걸까요? 여기에는 몇 가지 근본적인 이유가 있습니다.
데이터의 부족
물리적 작업에 관한 암묵적 지식(tacit knowledge)은 디지털화하기 어렵습니다. 숙련된 장인들은 경험을 통해 습득한 수많은 미묘한 세부사항들을 바탕으로 작업하지만, 이런 지식은 대개 명시적으로 문서화되지 않습니다.
이는 소프트웨어 엔지니어링이나 법률과 같은 분야와 큰 차이가 있습니다. 소프트웨어 엔지니어나 변호사들은 코드, 버전 관리 이력, 계약서 등 매우 풍부하고 상세한 정보를 담은 산출물을 생산합니다. 반면 물리적 작업에서는 이에 상응하는 정보가 3D 공간에서의 도구, 재료, 물리적 힘 사이의 상호작용으로 존재하지만, 이를 효과적으로 디지털화하기는 매우 어렵습니다.
학습의 어려움
물리적 작업에 대한 AI의 이해를 향상시키는 것은 여러 이유로 어려울 수 있습니다:
- 명확한 보상 신호의 부재: 복잡한 물리적 작업에 대한 보상 신호를 정의하기 어렵습니다. 부품의 결함이 실패로 이어지는 데 수 년이 걸릴 수도 있고, 결과를 자동으로 측정하기도 어렵습니다.
- 비용이 많이 드는 시행착오: 물리적 작업에서의 실수는 수십만 달러의 손해를 초래할 수 있습니다. 이는 코드에서의 버그와 달리 중대한 결과를 낳을 수 있어, 학습 과정에서의 시행착오가 매우 비쌀 수 있습니다.
그러나 이러한 도전을 극복할 수 있는 몇 가지 가능성도 있습니다:
- 합성 데이터: 시뮬레이션을 통해 많은 데이터를 생성할 수 있지만, 시뮬레이션과 현실 사이에는 여전히 격차가 있습니다.
- 자동화된 AI 연구원: AI가 코딩과 AI 연구에서 큰 진전을 이루고 있으므로, 미래에는 이러한 과제들을 더 쉽게 해결할 수 있는 자동화된 AI 연구원이 등장할 수도 있습니다.
불균형한 자동화가 가져올 수 있는 영향
이러한 현상이 지속된다면, 우리는 지식 노동은 크게 자동화되는 반면, 물리적 작업을 요구하는 직업은 상대적으로 덜 영향을 받는 시기를 맞이할 수 있습니다. 이 “자동화 격차 기간”은 여러 중요한 영향을 미칠 수 있습니다:
계층 갈등
자동화된 직업군과 비자동화된 직업군 사이에 갈등이 발생할 수 있습니다. 특히 화이트칼라 직업이 더 많은 자동화를 경험할 가능성이 높은데, 이들은 일반적으로 소득이 더 높고 정치적 성향이 더 진보적인 경향이 있습니다. 이러한 차이는 긴장을 악화시키고 자동화된 그룹에 상당한 경제적 어려움을 초래할 수 있습니다.
AI에 대한 대중적 반대
블루칼라 직업군은 자동화가 얼마나 빠르게 진행될 수 있는지에 대한 증거를 이미 보고 있으며, 자신들의 직업이 자동화되는 것을 원하지 않을 수 있습니다. 이는 AI 연구에 대한 대중적 반대로 이어져 발전을 늦출 수 있습니다.
지정학적 병목 현상
대부분의 지식 노동이 자동화된다면, 제조와 같은 물리적 능력이 기술 발전이나 방위(예: AI 군비 경쟁 중)의 병목 현상이 될 수 있습니다. 중국과 같이 산업 기반이 훨씬 강력한 국가들은 상당한 전략적 이점을 얻을 수 있습니다.
결론
AI의 발전에도 불구하고, 물리적 세계와의 상호작용에서는 여전히 큰 도전에 직면해 있습니다. 이러한 불균형한 발전은 우리 사회와 경제에 중대한 영향을 미칠 수 있으므로, 이에 대한 준비와 대응이 필요합니다.
향후 AI가 물리적 작업에서도 인간의 능력에 근접할 수 있을지, 아니면 근본적인 한계에 부딪힐지는 여전히 불확실합니다. 그러나 현재로서는 물리적 작업에서의 인간의 전문성과 경험이 여전히 대체하기 어려운 가치를 가지고 있다는 점은 분명합니다.
정책입안자, 기업, 그리고 개인 모두 이러한 불균형한 자동화 시나리오의 잠재적 영향을 심각하게 고려하고, 이에 대비하는 전략을 마련해야 할 것입니다.
Comments