2025년 1분기 코인베이스 코드베이스에 머지된 코드 중 AI가 쓴 비율은 5.7%였습니다. 같은 해 4분기에 처음 50%를 넘었고, 지금은 거의 100%에 가깝습니다. 그러자 불편한 질문이 하나 남았습니다. 45분 시계를 걸어놓고 맨손으로 코드를 짜게 하는 면접이 아직 의미가 있는가.

코인베이스가 1년에 걸쳐 엔지니어 면접 루프를 다시 만든 과정을 공개했습니다. 지원자가 AI를 어떻게 지시하고, 그 결과물을 어떻게 평가하며, 모델이 못 미치는 지점에서 어떤 판단을 내리는지를 보는 쪽으로 옮겼다는 내용이죠. 코드는 여전히 사람이 전부 리뷰합니다.

출처: Interviewing Engineers in the AI Era: Lessons from a Year of Rebuilding – Coinbase

희소했던 자원이 더는 희소하지 않다

“URL 단축기를 설계하라”, “메시지 큐를 만들어라” 같은 질문은 아키텍처 지식이 희소 자원이던 시절에 만들어졌습니다. 캐싱 전략, 샤딩 방식, 일관성 트레이드오프를 머리에 넣어뒀다가 압박 속에서 꺼낼 수 있는지를 봤죠.

지금은 웬만한 엔지니어가 AI에게 물어 1분 안에 방어 가능한 참조 아키텍처를 받습니다. 그러자 기존 면접에 두 가지 오류가 반대 방향으로 쌓였습니다. 열심히 외운 지원자가 실무에서 필요한 판단력을 거의 보여주지 않고도 통과했고, 반대로 아키텍처 판단은 좋은데 암기가 약한 지원자가 걸러졌습니다. 후자는 AI 네이티브 환경에서 오히려 잘할 사람들이었죠.

여기에 구조적 문제도 있었습니다. 내부 분석에서 서로 다른 두 면접 라운드의 상관계수가 84%로 나왔습니다. 비싼 라운드 두 개가 거의 같은 신호를 뽑아냈고, 그나마 둘 다 정작 필요한 걸 재고 있지 않았다는 뜻입니다.

AI를 켜기만 해서는 안 됐다

첫 시도는 2025년 하반기 프론트엔드 파일럿이었습니다. 여기서 나온 교훈이 이 글에서 가장 실용적인 대목입니다.

기존 코딩 문제에 AI 사용을 그냥 허용했더니, AI가 문제 대부분을 그냥 풀어버렸습니다. 당연한 결과죠. 그 문제들은 사람이 작업 기억에 담아둘 수 있는 게 무엇인지를 재도록 설계된 것이었으니까요.

그래서 문제를 처음부터 다시 만들었습니다. 지원자에게 AI 도구를 주되, 흥미로운 신호가 결과물이 아니라 과정에서 나오도록 구조를 짰습니다. 프롬프트의 질, 출력을 평가하는 방식, 오류를 잡아내는 지점, 다시 시도하는 방법. AI로 답을 만드는 건 쉽습니다. 좋은 답을 만들고, 언제 믿을지와 언제 밀어낼지를 아는 건 다른 일이었습니다.

실제 레포에서 일하게 한다

2026년 1월에는 백엔드로 확장했는데, 기존 문제를 손보는 대신 새로 만들어야 했습니다. 지원자가 실제에 가까운 코드베이스 안에서 작업하는 형식이죠. 문제를 디버깅하고, 정확성과 성능 관점에서 코드를 리뷰하고, 롤백 시나리오를 따져보는 일을 AI 도구와 함께 합니다.

회사가 이 형식으로 재려던 건 자기네 엔지니어가 실제로 하는 일이었습니다. 백지에서 쓰는 게 아니라, 이미 있는 코드베이스와 AI 협업자를 상대로 더 나은 결과를 만들어내는 일. 실제 이슈를 분류할 수 있는가, AI가 슬쩍 집어넣은 버그를 잡아내는가, 그리고 AI가 만든 변경을 승인할 때 자기가 무엇을 승인하는지 이해하고 있는가.

AI 유창성의 세 축

2026년 3월에는 면접 전 단계에 AI 신호를 넣었습니다. 기존 절차 위에 얹는 방식이 아니라 모든 지원자를 평가하는 기본 축으로 바꾼 것이죠. 정의는 세 가지로 나뉘고, 주니어와 시니어에 똑같이 적용됩니다.

사용(Usage) — AI 도구를 효과적이고 책임 있게 쓰는가. 맞는 도구를 골라 워크플로의 맞는 자리에 적용해서 측정 가능한 개선을 만들어내는가.

적용(Application) — AI가 답이 되는 상황과 아닌 상황을 구분하는가. 단순 자동화가 아니라 실제 임팩트를 내는 워크플로를 설계할 수 있는가.

한계 이해(Understanding Limits) — AI가 무너지는 지점을 아는가. 프라이버시와 보안 함의를 짚고, 사람의 판단을 안전장치로 어디에 배치할지 아는가.

초기 신호는 나쁘지 않습니다. 새 AI 보조 코딩 평가를 통과한 지원자가 이후 온사이트 면접을 통과하는 비율이 기존 평가 통과자보다 유의미하게 높았다고 하죠. 다만 회사 스스로 표본이 아직 작다고 밝히고 있습니다.

만드는 비용이 0에 가까워질 때

이 글에서 가장 오래 남는 문장은 코인베이스 엔지니어링 리더의 말입니다. “만드는 비용이 0으로 가면, 무엇을 만들지 파악하고 그게 맞는지 검증하고 안전하게 내보내는 비용이 제약 조건이 된다.”

시니어 엔지니어의 일이 이미 그 방향으로 옮겨갔다는 게 회사의 설명입니다. 스펙을 쓰고, AI에게 구현을 지시하고, 나온 PR을 정확성과 보안 관점에서 검토하고, 모델이 자신 있게 저지르는 아키텍처 오류를 잡아내고, 트레이드오프와 롤백 위험과 시스템 경계에 대한 판단을 내리는 일. 백지에서 코드를 쓰는 자리는 더 이상 가치가 만들어지는 곳이 아니라는 것이죠.

물론 한 회사의 자체 보고입니다. AI 생성 코드 비율이 거의 100%인 조직은 아직 흔치 않고, 그래서 이 면접 설계가 다른 곳에 그대로 옮겨갈지는 알 수 없습니다. 다만 면접이 재는 것은 대개 그 회사가 실제로 필요로 하는 능력을 뒤따라갑니다. 채용 기준이 먼저 바뀐 게 아니라, 일이 먼저 바뀌었다는 순서를 기억해두면 이 사례를 읽는 각도가 달라집니다.