ChatGPT, Claude, Gemini. 지금 우리가 쓰는 거의 모든 AI는 트랜스포머라는 단일 아키텍처 위에서 작동합니다. 그런데 이 트랜스포머를 만든 사람이 최근 샌프란시스코 TED AI 컨퍼런스 무대에 올라 이렇게 말했습니다. “솔직히 이제 트랜스포머는 질렸습니다(absolutely sick of transformers).”
핵심 포인트:
- 성공의 역설: 트랜스포머가 너무 잘 작동해서 모두가 이것만 연구하게 됐고, 다음 혁신이 눈앞에 있을 수도 있는데 아무도 찾지 않는다
- 투자와 창의성의 반비례: AI 업계에 전례 없는 돈과 인재가 몰렸지만, 오히려 연구는 더 좁아지고 안전한 주제만 다루게 됐다
- 자유가 혁신을 만든다: “Attention Is All You Need” 논문은 점심시간 대화와 화이트보드 낙서에서 나왔다. 압박 없는 환경이 세상을 바꿨다
자신의 작품을 버리는 창시자
Llion Jones. 그는 2017년 구글에서 발표한 “Attention Is All You Need” 논문의 공동 저자입니다. ‘Transformer’라는 이름도 그가 지었죠. 이 논문은 지금까지 10만 번 이상 인용됐고, 21세기 컴퓨터 과학에서 가장 영향력 있는 논문 중 하나가 됐습니다.
그런데 지금 그는 도쿄에 본사를 둔 AI 스타트업 Sakana AI의 CTO로 일하면서 트랜스포머에서 완전히 벗어나려 합니다. “올해 초 저는 개인적으로 결정을 내렸습니다. 트랜스포머에 쓰는 시간을 대폭 줄이기로요. 이제 명확히 다음 혁신을 찾고 있습니다.”
이상하지 않나요? 자신이 만든 기술이 전 세계를 바꾸고 있는데, 왜 그걸 버리려는 걸까요?
더 많은 돈이 더 적은 창의성을 만들다
Jones의 진단은 명확합니다. AI에 유례없는 투자와 관심이 쏟아지면서, 역설적으로 연구가 획일화됐다는 겁니다.
“지금 표준적인 AI 연구를 하고 있다면, 아마 3~4개 팀이 비슷하거나 똑같은 걸 연구하고 있다고 봐야 합니다.” 연구자들은 끊임없이 자신이 다른 팀에게 ‘선수’ 맞았는지 확인합니다. 학계는 출판 가능한 안전한 프로젝트를 선택하고, 위험하지만 혁신적일 수 있는 연구는 피합니다.
압박이 과학을 망가뜨리고 있다는 거죠. 사람들은 논문을 서둘러 냅니다. 창의성은 줄어듭니다.
Jones는 AI에서 흔히 쓰는 개념을 빌려와 설명합니다. ‘탐색(exploration) 대 활용(exploitation)’. 알고리즘이 너무 활용에만 치중하고 탐색을 게을리하면, 평범한 국소 최적점에 갇혀 더 나은 해법을 놓칩니다. “우리는 거의 확실히 지금 AI 업계에서 그런 상황에 있습니다.”
트랜스포머가 너무 잘 작동하는 게 문제
Jones는 RNN(순환 신경망) 시절을 떠올립니다. 트랜스포머가 등장하기 직전, 연구자들은 RNN을 조금씩 개선하는 데 매달렸죠. 그런데 트랜스포머가 나오자 그 모든 작업이 한순간에 의미를 잃었습니다.
“만약 그 연구자들이 트랜스포머 같은 게 곧 나올 거라는 걸 알았다면, RNN 개선에 얼마나 시간을 썼을까요?”
지금도 똑같은 일이 벌어지고 있을지 모른다는 게 Jones의 우려입니다. “우리가 지금 하나의 아키텍처에만 집중해서 이것저것 바꿔가며 시도하고 있는데, 혁신은 바로 코앞에 있을 수 있습니다.”
더 아이러니한 건, 트랜스포머가 너무 강력하고 유연해서 사람들이 더 나은 걸 찾지 않게 됐다는 점입니다. “현재 기술이 형편없었다면, 더 많은 사람이 더 나은 걸 찾았을 겁니다.” 성공이 다음 혁신을 가로막는 셈이죠.
“Attention Is All You Need”는 어떻게 탄생했나
그럼 트랜스포머는 어떻게 만들어졌을까요? Jones는 당시를 회상합니다.
“매우 유기적이고 상향식이었습니다. 점심 먹으며 대화하거나 사무실 화이트보드에 낙서하면서 시작됐죠.”
중요한 건 자유였습니다. “솔직히 우리는 좋은 아이디어가 있었던 것도 아니었어요. 하지만 시간을 들여서 연구할 자유가 있었습니다. 더 중요한 건, 경영진의 압박이 전혀 없었다는 겁니다. 특정 프로젝트를 하라는 압박도, 일정 수의 논문을 내라는 압박도, 특정 지표를 올리라는 압박도 없었죠.”
그 자유가 세상을 바꿨습니다.
그런데 지금은 어떨까요? 연구자들이 연봉 백만 달러를 받고 스카우트됩니다. “새 직책을 시작할 때 그들이 과감한 아이디어를 시도할 수 있다고 느낄까요? 아니면 자신의 가치를 증명하라는 엄청난 압박을 느끼고, 또다시 쉬운 과일만 따려 할까요?”
자유가 보상을 이긴다
Jones는 Sakana AI에서 그 자유로운 환경을 재현하려 합니다. 자연에서 영감받은 연구, 출판 압박 최소화, 경쟁자와 직접 부딪히지 않기.
그는 직원들에게 엔지니어 Brian Cheung의 말을 인용합니다. “당신이 하지 않으면 일어나지 않을 연구만 하세요.”
한 예가 ‘Continuous Thought Machine’입니다. 뇌의 신경 동기화를 신경망에 접목한 아이디어죠. 이 아이디어를 낸 직원은 Jones에게 이전 직장이나 학계에서는 시간 낭비라며 회의적인 반응을 받았을 거라고 말했습니다. Sakana에서는? Jones가 일주일을 줬습니다. 그 프로젝트는 결국 주요 AI 컨퍼런스 NeurIPS에 소개될 만큼 성공했습니다.
Jones는 이렇게 말합니다. “자유로운 환경은 인재를 끌어들이는 정말 좋은 방법입니다. 생각해보세요. 똑똑하고 야심 있는 사람들은 자연스럽게 이런 환경을 찾을 겁니다.”
백만 달러보다 자유가 더 강력한 무기라는 거죠.
경쟁이 아니라 탐색
Jones의 메시지는 명확합니다. 탐색의 다이얼을 높이고, 발견한 걸 공개적으로 공유하자는 겁니다. 경쟁 비용을 감수하더라도요.
“제 관점에서 이건 경쟁이 아닙니다. 우리 모두 같은 목표를 가지고 있습니다. 이 기술이 발전해서 모두가 혜택을 받길 원하죠. 우리가 함께 탐색 다이얼을 높이고 발견한 것을 공개적으로 공유한다면, 목표에 훨씬 빨리 도달할 수 있습니다.”
AI 업계는 지금 갈림길에 서 있습니다. 수백억 달러가 쏟아지고, 연구실들은 비밀주의와 빠른 출판 사이클에 갇혀 있습니다. Jones가 말하는 탐색적 연구 환경은 점점 멀어지는 것 같습니다.
하지만 Jones의 경고는 무게감이 있습니다. 그는 현재 기술을 만든 사람이고, 혁신에 무엇이 필요한지 아는 사람이니까요. 그의 결정 – 자신의 명성을 만든 아키텍처를 버리는 것 – 은 그 메시지에 신뢰를 더합니다.
결국 다음 ‘Attention Is All You Need’는 어디서 나올까요? 아마 탐색할 자유가 있는 연구자에게서 나올 겁니다. 혹은 Jones 본인이 말했듯, 지금 수천 명의 연구자가 트랜스포머의 점진적 개선을 경쟁하며 쫓는 동안, 탐색되지 못한 채 방치되고 있을지도 모릅니다.
트랜스포머와 함께한 시간이 누구보다 긴 그가 이제 떠날 때라고 말합니다.
Llion Jones는 올해 10월 TED AI 2025에서도 다시 무대에 섭니다. 1년간의 탐색 끝에 그가 어떤 새로운 메시지를 내놓을지 궁금합니다. 혹시 다음 혁신의 단서를 발견했을까요?
참고자료:
답글 남기기