AI 모델을 학습시킬 때 learning rate는 얼마로 하고, batch size는 어떻게 설정해야 할까요? 수백 개의 파라미터 조합을 일일이 시도하기엔 시간도 비용도 만만치 않습니다. Meta가 이 문제를 해결하는 오픈소스 도구를 내놨습니다.
Meta Engineering 블로그가 Ax 1.0이라는 적응형 실험 플랫폼을 공개했습니다. 머신러닝을 사용해 복잡한 실험을 자동으로 설계하고 최적 설정을 찾아주는 도구죠. 하이퍼파라미터 튜닝부터 인프라 최적화, 심지어 AR/VR 하드웨어 설계까지 Meta 내부에서 수천 명의 개발자가 실제로 사용하고 있다고 합니다.
출처: Efficient Optimization With Ax, an Open Platform for Adaptive Experimentation – Meta Engineering
탐색과 활용의 균형
Ax의 핵심은 베이지안 최적화(Bayesian Optimization)입니다. 이 방법은 두 가지를 동시에 고려합니다. 첫째는 탐색(exploration) – 아직 시도하지 않은 새로운 설정들을 테스트하는 것이고, 둘째는 활용(exploitation) – 이미 좋은 결과를 보인 설정들을 더 세밀하게 조정하는 거죠.
구체적으로 어떻게 작동할까요? Ax는 먼저 몇 가지 설정을 테스트하고 그 결과를 가우시안 프로세스(Gaussian Process)라는 통계 모델로 학습합니다. 이 모델은 “이 설정은 아마 이 정도 성능일 것 같은데, 불확실성은 이 정도야”라고 예측하죠. 그다음 ‘기대 개선(Expected Improvement)’이라는 기준으로 다음에 시도할 설정을 선택합니다. 지금까지 최고 성능보다 얼마나 더 나아질 가능성이 있는지를 계산하는 겁니다.
이 과정을 반복하면서 모델은 점점 더 정확한 예측을 하게 되고, 적은 횟수의 실험만으로도 최적값에 가까워집니다. 특히 실험 한 번 하는 데 시간과 비용이 많이 드는 경우에 이런 효율성이 빛을 발하죠.
저탄소 콘크리트부터 Ray-Ban까지
Meta는 Ax를 어디에 쓰고 있을까요? 가장 흥미로운 사례는 데이터센터 건설에 사용되는 콘크리트 배합 최적화입니다. 빨리 굳으면서도 탄소 배출이 적은 새로운 콘크리트 배합을 찾는 데 Ax를 활용했고, 실제로 건설 현장에 투입됐다고 합니다.
1세대 Ray-Ban Stories를 개발할 때는 자연어 모델을 스마트글라스에 맞게 최적화해야 했습니다. 모델 크기는 줄이면서 성능은 최대한 유지하는 것, 이 두 가지 목표 사이의 최적 균형을 Ax를 통해 찾았죠.
Instagram의 추천 시스템 튜닝에도 Ax가 활용됩니다. 핵심 지표는 개선하되 다른 지표들은 악화되지 않도록 제약을 걸어가며 최적화하는 복잡한 작업이 가능합니다.
최적값을 넘어 시스템 이해까지
Ax가 단순히 최적 설정만 알려주는 건 아닙니다. 실험이 진행되면서 각 파라미터가 결과에 얼마나 영향을 미치는지, 여러 목표 사이의 트레이드오프는 어떤지를 시각화해줍니다. 민감도 분석을 통해 “이 파라미터는 크게 신경 쓸 필요 없고, 이쪽에 집중하면 되겠구나”라는 통찰을 얻을 수 있죠.
결국 개발자는 최적 설정과 함께 시스템에 대한 깊은 이해를 동시에 얻게 됩니다. 이게 Ax가 단순한 AutoML 도구를 넘어서는 지점입니다.
Ax는 MIT 라이선스로 공개됐고, pip install ax-platform으로 바로 사용할 수 있습니다. 내부적으로는 Meta의 또 다른 오픈소스인 BoTorch를 활용하고 있어요. 복잡한 실험 설계에 고민이 많은 개발자라면 한번 살펴볼 만한 도구입니다.
참고자료:
답글 남기기