기계 학습 시스템의 기술 준비 수준

Nature Communications 13권, 기사 번호: 6039(2022) 이 기사 인용

23,000회 액세스

5 인용

113 알트메트릭

측정항목 세부정보

기계 학습 시스템의 개발 및 배포는 최신 도구를 사용하여 쉽게 실행할 수 있지만 프로세스는 일반적으로 성급하고 수단을 통해 이루어집니다. 부지런함이 부족하면 기술적 부채, 범위 확장, 잘못된 목표, 모델 오용 및 실패, 값비싼 결과를 초래할 수 있습니다. 반면 엔지니어링 시스템은 잘 정의된 프로세스와 테스트 표준을 따라 고품질의 신뢰할 수 있는 결과를 위한 개발을 간소화합니다. 극단은 임무 수행에 필수적인 조치와 프로세스 전반에 걸쳐 견고성을 갖춘 우주선 시스템입니다. 우주선 엔지니어링 및 기계 학습(도메인 영역에 걸친 제품을 통한 연구) 경험을 바탕으로 우리는 기계 학습 및 인공 지능을 위한 입증된 시스템 엔지니어링 접근 방식을 개발했습니다. 기계 학습 기술 준비 수준 프레임워크는 강력하고, 기존 소프트웨어 엔지니어링과의 주요 차이점을 포함하여 기계 학습 워크플로를 위해 간소화되는 동시에 신뢰할 수 있고 책임감 있는 시스템, 그리고 팀과 조직 전반의 사람들이 기계 학습 및 인공 지능 기술에 대해 공동으로 작업할 수 있는 공용어입니다. 여기에서는 프레임워크를 설명하고 물리학 연구부터 컴퓨터 비전 앱, 의료 진단에 이르는 사용 사례를 설명합니다.

소프트웨어, 하드웨어, 데이터 및 사람 시스템에서 인공 지능(AI) 및 기계 학습(ML) 기술의 사용이 가속화되면서 동적이고 신뢰할 수 없는 동작으로 인해 취약점과 위험이 발생합니다. 기본적으로 ML 시스템은 데이터로부터 학습하여 이러한 시스템이 환경과 작동하고 상호 작용하는 방식에 대해 알려지거나 알려지지 않은 문제를 도입합니다. 현재 AI 기술 구축에 대한 접근 방식은 사일로입니다. 모델과 알고리즘은 실제 환경과 격리된 테스트베드에서 개발되며 더 큰 시스템이나 광범위한 제품의 맥락 없이 배포를 위해 통합됩니다. 주요 관심사는 모델이 일반적으로 향후 시나리오에 대한 측정 및 보호 조치 없이 선별된 소수의 데이터 세트에서만 훈련 및 테스트되고 다운스트림 작업 및 사용자를 인식하지 못한다는 것입니다. 더욱이 모델과 알고리즘은 숨겨진 ML 구성 요소의 고유한 확률성과 실패 모드를 고려하지 않고 소프트웨어 스택에 통합되는 경우가 많습니다. 예를 들어, 무작위 시드가 심층 강화 학습 모델 성능에 미치는 엄청난 영향을 생각해 보세요1.

토목 및 항공우주와 같은 기타 엔지니어링 영역에서는 잘 정의된 프로세스 및 테스트 표준을 따라 개발을 간소화하여 고품질의 신뢰할 수 있는 결과를 얻습니다. TRL(기술 준비 수준)은 대규모 기술2 및 과학적 노력을 위한 시스템 엔지니어링 프로토콜로, 많은 상호 의존적 구성 요소와 교차 기능 팀을 통합하는 데 이상적입니다. TRL이 NASA3 및 DARPA4의 표준 프로세스이자 용어라는 것은 놀라운 일이 아닙니다.

우주 비행 프로젝트에는 사전 컨셉부터 프로토타입 제작, 운용 배치, 수명 종료까지 정의된 여러 단계가 있으며 각 단계에는 일련의 엄격한 개발 주기와 검토가 포함됩니다. 이는 빠른 반복, 신속한 배포 및 간단한 선형 진행을 촉진하는 일반적인 기계 학습 및 소프트웨어 워크플로와는 극명한 대조를 이룹니다. 그러나 우주선 시스템에 대한 NASA의 기술 준비 프로세스는 과도합니다. 소프트웨어, 하드웨어, 데이터 및 인간으로 구성된 더 큰 시스템과 통합된 강력한 ML 기술이 필요하지만 화성 임무에는 반드시 그런 것은 아닙니다. 우리는 린 머신러닝 기술 준비 수준(MLTRL) 프레임워크를 정의하고 실행함으로써 시스템 엔지니어링을 AI 및 ML에 적용하는 것을 목표로 합니다. 우리는 의료 진단 및 소비자 앱의 컴퓨터 비전, 자율 주행 차량 및 공장 로봇 공학의 자동화, 과학적 발견 및 인과 관계를 위한 도구 등 다양한 영역과 다양한 데이터 시나리오에 걸쳐 연구부터 생산까지 수십 년간의 AI 및 ML 개발을 활용합니다. 추론, 예측 유지 관리 및 재무 분야의 스트리밍 시계열.