마키나락스는 4년만에 파리에서 오프라인으로 개최된 JupyterCon 2023에 국내는 물론 아시아 기업 중 유일하게 발표 세션에 참여하였습니다. JupyterCon은 데이터 과학자, 비즈니스 분석가, 연구원, 교육자, 개발자 및 핵심 프로젝트 관리자들이 한 자리에 모여 Jupyter 생태계에 대해 깊이 있는 토론을 나누는 장으로 올해에는 AWS, Zerve, Databricks, Bloomberg, Hugging Face, MakinaRocks 등 800명이 넘는 글로벌 리더 기업이 방문하여 성황리에 마무리 되었습니다.

마키나락스는 Jupyter 기반 AI 모델 개발 툴인 링크(Link) 출시부터 Jupyter와 뗄레야 뗄 수 없는 관계를 지금까지 이어오고 있는데요. Jupyter에서 시작해서 MLOps 플랫폼 Runway를 개발하기까지 마키나락스의 스토리를 전 세계 각지에서 모인 Jupyter Geek들에게 전할 수 있는 아주 값진 경험이었습니다. 이번 포스팅에서는 창립자이자 마키나락스 CTO인 심상우(Sangwoo Shim)님의 From Jupyter to MLOps : Jupyter as a key integrator for MLOps의 발표 내용을 전달해 드리고자 합니다.

성공적인 MLOps 구축의 길 : 확장성 있는 AI 만들기

ML 파이프라인과 다양한 배포 방식의 이점

성공적인 MLOps 구축을 위해서 꼭 필요한 요소는 무엇일까요? ML엔지니어의 역할이 기존에 학습된 모델을 전달하는 것 뿐만 아니라, 새로운 데이터/파라미터 등을 가지고 모델을 자동으로 학습할 수 있는 파이프라인을 제공하는는 데까지 확장되는 것입니다. 하지만 이러한 과정에서 ML엔지니어에게 추가적인 부담이 생기게 되는데요. 아래 도표를 통해 자세히 설명해보겠습니다.

ML모델을 개발하는 일반적인 절차

위의 도식화된 장표는 ML 모델을 개발하는 일반적인 절차라고 볼 수 있습니다. ML엔지니어는 데이터를 준비한 뒤 학습 코드, 모델 구조, 실행 환경, 파라미터를 사용하여 모델을 학습합니다. 이후 테스트 데이터로 성능을 평가하고 실험 내용 기록하며 만족할 만한 성능을 갖춘 학습 모델을 얻을 때까지 이를 반복합니다.

원하는 정도의 성능이 나오면 소프트웨어 엔지니어들은 학습된 모델을 사용하여 제품 또는 서비스를 구현 합니다. 하지만 ML 모델은 시간이 지나면 성능이 떨어지게 되고 새로운 데이터와 파라미터로 업데이트가 필요합니다. 모델을 다시 훈련하기 위해서는 소프트웨어 엔지니어들이 ML엔지니어에게 재학습을 요청합니다. 이러한 과정이 반복되면서 전반적인 모델 개발 과정은 느려지게 됩니다.

MLOps는 이러한 반복적인 과정을 ML 파이프라인과 다양한 배포방식을 통해 간소화합니다.

1. ML엔지니어가 모델을 파이프라인으로 구성한다면 모델을 운영하는 운영자는 ML엔지니어의 개입 없이도 새로운 데이터와 새로운 파라미터로 파이프라인을 실행하여 새롭게 학습된 모델을 얻을 수 있습니다.
2. 또한 MLOps 환경에서는 서빙을 위한 다양한 모델 배포 방식을 제공하기 때문에 애플리케이션 코드를 변경하지 않고 모델을 업데이트하고, 재학습 시 ML엔지니어를 개입시키지 않을 수 있습니다.

결과론적으로 본다면 MLOps는 ML엔지니어의 부담을 줄여주는 필수적인 역할을 한다고 볼 수 있습니다. 하지만 아이러니하게도 MLOps를 도입하면 ML엔지니어에게 추가적인 태스크가 생기게 됩니다. 왜일까요?

ML엔지니어는 본연의 일에만 집중할 수 있도록

MLOps를 구축하기 위해 ML엔지니어들은 이미 알고 있는 Python과 Machine Learning 라이브러리에 추가로 도커(Docker), 쿠버네티스(Kubernetes)와 같은 컨테이너 관련 기술을 익히고 실행 환경을 다루는 방법을 배워야 합니다. 파이프라인 작성할 수 있는 방법도 필요합니다. 파이프라인 작성을 위해 대부분의 경우 argo workflow, airflow, kubeflow, luigi 등의 새로운 툴들을 학습해야 합니다. 모델만 전달했던 과거와 비교했을 때, ML엔지니어의 역할이 상당히 확장되는 것이죠. 하지만 새로 확장된 역할은 기존 ML엔지니어들이 일하는 방식이나 스킬셋과 잘 맞지 않을 수 있으며, 실질적인 ML프로젝트의 성공을 위해서 ML엔지니어들에게 시스템을 구성하는 일보다는 분석과 모델링에 더 많은 시간을 투자하는 것이 바람직합니다.

그래서 마키나락스는 ML엔지니어들이 오로지 본연의 일에만 집중할 수 있도록 하는 방법에 대해 많은 고민을 하였고 그 결과 ML엔지니어들에게 사랑받는 JupyterLab에 모델 학습 파이프라인을 구성하는 아키텍처를 개발하고 이를 통해 모델 서빙과 운영까지 효율적으로 관리할 수 있는 MLOps 플랫폼을 개발했습니다.

마키나락스가 제안하는 MLOps 방법론

MakinaRocks Runway는 모델 학습 및 서빙 파이프라인을 효과적으로 관리하기 위한 포괄적인 MLOps 솔루션을 제공합니다. 또한 새로운 데이터셋과 파라미터로 모델을 재훈련하는 과정을 단 한 번의 클릭으로 간편하게 수행할 수 있습니다. Runway에서는 모델에 대한 파라미터, 파이프라인 소스 코드, 학습 실행에 사용된 환경을 추적할 수 있기 때문에 사용자는 모델에 대한 HTTP API 및 실시간 추론을 쉽게 구성하고 업데이트할 수 있습니다. 재훈련된 모델로 실행 중인 추론 내에서 ML 모델을 업데이트하는 것도 UI로 간편하게 진행할 수 있습니다.