지난 7월 25일, 마루 180에서 ‘알짜 기업이 쓰는 진짜 AI 도입∙활용 세미나’가 열렸습니다. 대한민국을 대표하는(!) B2B AI 스타트업인 마키나락스, 슈퍼브에이아이, 올거나이즈가 합동으로 개최한 만큼 모집 때부터 이번 세미나에 대한 관심이 뜨거웠는데요. 무더운 날씨에도 AI를 향한 뜨거운 열정으로 90여명이 참석해 주셨습니다.데이터 파이프라인 셋업부터 MLOps(Machine Learning Operations, 이하 MLOps) 및 LLM 애플리케이션까지, 기업은 AI 프로젝트의 전 과정에서 필연적으로 어려움을 마주하게 됩니다. 마키나락스의 허영신 CBO, 슈퍼브에이아이의 이현동 부대표, 그리고 올거나이즈의 이창수 대표는 각각의 회사를 대표하여 실전 AI 프로젝트를 통해 성공적으로 AI를 활용할 수 있는 노하우를 공유하는 시간을 가졌습니다.

알짜기업이 쓰는 진짜 AI 도입∙활용 세미나 주요 Agenda
Session 1) 산업 현장에서 AI 서비스가 실패하는 이유 — by Superb AI
Session 2) 산업 현장의 데이터를 가치있게 만드는 MLOps 전략 — by MakinaRocks
Session 3) 생산성 혁신을 위한 강력한 동반자 LLM APP — by Allganize

마키나락스에서는 CBO를 맡고 있는 허영신 님이 ‘산업 현장의 데이터를 가치 있게 활용하기 위한 MLOps 전략’이라는 주제로 발표를 진행했습니다. 이 세션에서는 4,000여 개에 달하는 마키나락스의 AI 모델 운영 사례를 바탕으로, 기업이 AI를 활용해 실질적인 비즈니스 가치를 극대화할 수 있는 방안으로서의 MLOps 전략을 소개했습니다.아쉽게도 3사의 합동세미나를 참석하지 못하신 분들, 핵심만 빠르게 훑어보고 싶은 분들을 위해 이번 포스팅을 준비했습니다. 타임라인으로 살펴보는 ‘산업 현장의 데이터를 가치있게 활용하기 위한 MLOps 전략’, 지금부터 만나보세요.

(03:04) AI-powered Industrial Operations : MLOps, 반드시 필요할까?

• 2030년까지 AI 및 분석이 창출할 잠재적 연간 가치는 6.7조 달러(약 8912.6조 원), AI를 ‘필수’로 여기고 생산 환경에 AI 구현을 목표로 세운 경영진 비율은 89%에 달합니다. 하지만 AI 관련 목표를 성공적으로 달성한 기업의 비율 16%에 불과합니다.
• 많은 기업의 AI 관련 목표는 AI 서비스를 통한 이윤 창출입니다. 여기서 ‘AI 서비스’는 AI 모델을 개발하고, 정기적인 추론한 결과를 안정적으로 수집할 수 있는 표준화/자동화된 시스템이 있다는 것입니다. 여전히 적은 기업만이 AI 목표 달성하고 있다는 사실은 아직도 AI가 연구를 넘어 실질적인 서비스로 이어지지 못하는 것을 나타냅니다.

(07:47) With or Without MLOps

• 머신러닝은 소프트웨어와 다르게 ‘데이터’에 영향을 받으며, 코드가 안정적이더라도 데이터가 불안정하면 머신러닝 결과물도 불안정할 수 있습니다.
• Uber는 MLOps를 도입한 대표적인 첫 번째 사례입니다. Uber는 자동차 배차 서비스를 효율적으로 하기 위해 초기에 좋은 AI 모델을 다수 만들었으나, 시스템적인 한계로 안정적인 서비스에 어려움을 겪었습니다. 이러한 어려움을 극복하기 위해 Uber는 빠르게 MLOps 체제를 도입하기 시작했습니다.
• Uber의 사례에서 볼 수 있듯 AI를 도입하는 많은 기업들에게 최신 AI 기술이나 모델의 성능은 큰 걸림돌(bottle-neck)이 되지 않습니다. 대다수의 기업은 AI 모델 운영을 전문적으로 지원해줄 수 있는 조직의 부재, 그리고 AI 모델을 안정적으로 운영할 수 있는 시스템의 부재 때문에 AI 도입 과정에서 좌절합니다. MLOps는 이러한 한계를 극복하도록 돕는 방법론이라고 할 수 있습니다.

(10:39) MLOps의 비즈니스 가치 : 자동차 전통 제조 혁신 사례

• 1900년대의 GM은 1개의 차종을 1년 간 2500대 제조했습니다. 2000년대의 도요타는 어떻게 변했을까요? 도요타는 생산 라인의 표준화와 자동화로 90개의 차종을 1년 간 800만대 제조할 수 있었습니다. 일관된 품질을 유지하면서도 안정적으로 생산 라인을 운영함으로써 생산성을 향상한 대표적인 제조 혁신 사례입니다.
• AI의 혁신도 제조업에서의 혁신과 같은 맥락에서 해석할 수 있습니다.
  1) AI 자동화 ⇒ Time-To-Value 가속화 : AI 개발-배포-운영 등의 반복 작업을 자동화함으로써 모델 성능의 빠른 향상과 이슈에 대한 빠른 대응으로 개선 주기(cycle)을 가속화할 수 있습니다.
  2) AI 표준화 ⇒ AI 시스템의 ROI 향상 : AI 개발과 운영 과정에서 일관된 품질과 재현성을 확보함으로써, 전반적인 AI 운영 비용을 줄이고 인당 생산성을 향상시킬 수 있습니다.

(15:09) 우리 조직에는 어떤 MLOps가 필요할까?

• 그렇다면 AI 개발-운영-활용 확대를 위해 갖춰야 할 MLOps 요건들은 어떤 것들이 있을까요? 무수한 요건이 있겠지만 마키나락스가 꼽는 핵심적인 3가지 요건은 다음과 같습니다. *마키나락스 제공 영역
  1) 자원의 효율적 활용 : CUDA(Compute Unified Device Architecture)를 잘 다루지 못하더라도, 쉬운 인터페이스로 자원 관리가 이루어져야 합니다. (예 : NVIDIA의 GPU Time-Slicing 등)
  2) 쉬운 AI 모델 개발 : AI 전문 인력은 한정되어 있으므로 Data Science를 모르는 사람도 사용할 수 있도록 전통적인 ML 워크플로우의 일부 영역을 자동화 할 수도 있어야 합니다. (예 : AutoML 등)
  3) AI 개발/운영의 생산성 및 품질* : ML워크플로우 상에 있는 ML Engineer, Data Engineer, Data Scientist, Software Engineer 등 다양한 이해관계자들이 소통하고 협업을 강화할 수 있도록 MLOps를 활용한 표준화와 자동화가 필요합니다.
• MLOps 구축 과정에서 기업에서 반드시 고려해야 할 3가지 핵심 고려사항(Key Consideration)은 다음과 같습니다.
  1) Build or Buy? 1년 내 자체 구축(Build) 시 폭넓은 스택을 갖춘 기술 인력이 최소 8명 필요하며, 외부 솔루션 도입(Buy) 시 모든 요구사항을 100% 충족하기는 어렵습니다. 따라서 조직에 꼭 필요한 기능을 정의하고, 그 기능들을 구축 또는 도입을 통해 내부 시스템과 연결할 수 있는 방법을 모색해야 합니다.
  2) Specialty vs All-in-one? 조직의 규모와 필요에 따라 고려할 수 있는 MLOps 솔루션은 각기 다릅니다. 예산이 충분하고, ML 워크 플로우 상의 많은 기능을 소화할 수 있는 전문 인력을 갖췄다면 AWS와 같이 모든 기능을 갖춘 all-in-one 솔루션을 고려해볼 수 있습니다. 반면, 한정된 예산으로 ML 워크 플로우의 일부 기능만을 이용한다면 산업 도메인, 조직의 기술 스택 등을 고려해 특화된 솔루션을 선별해야 합니다.
  3) Cloud vs Edge? 기업이 AI 모델을 배포하고 운영하는 환경은 다양합니다. AWS, Google, 네이버와 같은 클라우드부터, 보안이 중요한 비즈니스 현장의 경우 온프레미스(On-Premise) 환경을 구성하고 있습니다. 최근 제조 현장에서는 컴퓨팅 리소스 비용을 낮추기 위한 노력으로 네트워크의 엣지(Edge)에 모델을 배포하는 경우도 있습니다. 조직이 가진 다양한 환경에 유연하게 적용 가능한지 여부를 고려하는 것도 반드시 필요합니다.

(27:00) Enterprise AI 스타트업 마키나락스의 MLOps

• 마키나락스는 2017년 설립되어 현재는 100여명의 팀원들이 함께 하고 있는 엔터프라이즈 AI 스타트업입니다. AI 기술로 산업의 지능화를 실현하고 마키나락스는 세계 100대 AI 스타트업(제조 분야 세계 유일), 세계경제포럼 글로벌 이노베이터 등에 선정되며 글로벌 명성을 이어가고 있습니다.
• 마키나락스가 자체 개발한 Runway는 AI 모델의 개발과 운영 프로세스를 표준화하고 자동화하여, ML 워크 플로우를 가속화 하는 Enterprise MLOps Platform 입니다. 제품의 주요 feature는 다음과 같으며, 더 자세한 정보와 상세한 데모가 궁금하다면 Runway 홈페이지를 방문해 보세요. 🙂
  1) ML 개발-운영 간 seamless한 운영
  2) 다양한 유형의 ML 모델과 서빙 방식 지원
  3) UI 기반의 쉬운 ML 라이프
  4) 기존 환경과의 손쉬운 연동
• AIIA(AI Infrastructure Alliance)는 인공지능 보급 및 활용 확대를 목표로 데이터 과학자, 데이터 엔지니어, 기업용 인공지능 및 기계학습(AI/ML) 솔루션을 연결시키기 위해 창설된 글로벌 비영리 협회입니다. 전 세계적으로 약 40,000명의 데이터 과학자 및 인공지능 전문가들과 약 40여개의 글로벌 AI/ML 솔루션 사업자들이 멤버로 참여하며, 엔비디아(Nvidia), 휴렛패커드(HPE), 웨이트앤바이어스(Weights&Biases) 등도 파트너사로 등록되어 있습니다.
• AIIA는 AI 개발 및 운영에 필요한 22개의 요건들을 선정하여 각 솔루션의 대응 여부와 수준을 확인할 수 있는 AI Infrastructure Landscape를 멤버들에게 제공합니다. 2023년 7월 발표된 AI Infrastructure Landscape에는 마키나락스의 Runway가 포함되었습니다. Runway는 22개 요건 중 18개를 높은 수준(Full)으로 충족하며 AWS의 SageMaker, 구글의 Vertex AI, 마이크로소프트, 데이터로봇(Datarobot) 등과 유사한 세계 최고 수준의 AI 플랫폼으로 평가되었습니다.

  

  AIIA에서 평가한 마키나락스 MLOps(런웨이) [출처 : https://ai-infrastructure.org/ai-infrastructure-landscape]