Create ML의 새로운 기능

♪ 부드러운 힙합 음악 ♪ ♪ 나마스카! WWDC22에 오신 여러분, 환영합니다 저는 Create ML 팀 엔지니어인 Vrushali Mundhe라고 합니다 Create ML의 새로운 기능을 공유하게 되어 매우 기쁩니다 Create ML을 사용하면 수집한 데이터로 강력한 머신러닝 모델을 쉽게 교육하여 고유한 경험을 제공하고 앱을 향상시킬 수 있습니다 Create ML은 Xcode와 함께 제공되는 앱으로 코드 없이 Mac에서 곧바로 Core ML 모델을 빠르게 구축하고 교육할 수 있습니다 Create ML은 SDK에서 Swift 프레임워크 제공으로도 사용할 수 있습니다 이 API를 사용하면 모델 생성을 쉽게 자동화하거나 자체 앱 내에서 직접 교육을 통해 동적 경험을 생성할 수 있습니다 Create ML의 핵심 기능에 대해 자세히 알아보려면 이전 세션을 확인하세요 이번 세션에서는 Create ML의 새로운 기능에 대해 알아보죠 모델의 정확성과 유용성을 평가하는 데 도움이 되는 Create ML 앱의 새로운 기능부터 살펴보겠습니다 그런 다음 Create ML 프레임워크 확장된 기능 사용자의 앱에 맞게 모델을 고도로 사용자 정의하는 기능에 대해 알아보겠습니다 먼저 모델 생성을 위한 일반적인 워크플로부터 검토하겠습니다 식별된 작업이 주어지면 데이터를 수집하고 주석을 다는 것으로 시작합니다 예를 들어 식료품을 시각적으로 식별하고자 한다고 가정합시다 이 이미지 분류 작업에서 시작점은 이미지를 수집하고 레이블링하는 겁니다 여기에서는 일부 과일과 야채가 있죠

Create ML은 이어서 앱에서 사용할 수 있는 이 데이터로 모델을 교육하도록 도와줍니다 그러나 이 모델을 사용하기 전에 성능이 얼마나 우수한지 평가하는 게 중요합니다 여기서는 교육 집합의 일부가 아닌 이미지에서 모델이 얼마나 정확한지 확인합니다 평가에 따라 추가 데이터와 수정된 교육 설정을 사용하여 모델을 반복할 수도 있고 모델이 충분히 잘 수행하고 나면 모델을 앱에 통합할 준비가 됩니다 이 평가 단계에 대해 자세히 알아보겠습니다 평가를 수행할 때는 교육에서 빠진 새 데이터에 대해 모델을 테스트하여 측정한 일련의 메트릭을 사용하는 경우가 많습니다 최상위 정확도 메트릭을 살펴보면서 시작하거나 클래스별 통계를 분석하여 모델의 행동과 모델이 훈련받은 것 이상으로 일반화하는 능력을 이해할 수 있습니다 궁극적으로 이 모델은 앱에서 데이터 중심 경험을 강화하는 역할을 하며 여러분은 평가 중에 입력 또는 시나리오 범주 측면에서 모델의 주요 강점과 약점을 식별하려고 합니다 모델은 잘 작동하거나 기대에 미치지 못할 수 있죠 Create ML 앱에는 모델 생성 과정의 이 부분에 도움이 되는 새로운 기능이 있습니다 제가 작업 중인 프로젝트를 보여드리겠습니다 여기서 저는 식료품을 식별하는 모델을 만드는 프로젝트를 설정해 뒀죠 교육 자료로 다양한 과일과 채소 이미지를 수집하기 시작했고 적절하게 레이블링했습니다 다음은 다양한 클래스와 클래스별 이미지 개수입니다

이미 이미지 분류기를 25회 반복으로 교육했죠 이제 평가 탭을 클릭하면 테스트용으로 남겨 둔 교육 데이터와 별개로 새 테스트 데이터인 이미지 세트를 추가할 수 있습니다

다음으로 평가를 클릭하여 테스트를 시작합니다 평가를 마친 후 UI는 결과에 대한 세부 정보를 제공합니다 상단에는 테스트 정확도를 빠르게 파악할 수 있는 상위 수준 개요 섹션이 있습니다 여기서 이 테스트 데이터의 정확도는 89%입니다 이 메트릭 탭 아래에는 각 클래스에 대한 풍부한 메트릭이 표로 제공됩니다 이러한 드롭다운 메뉴를 사용하여 여기에 표시되는 항목을 조정하고 거짓 양성 및 거짓 음성 같은 추가 메트릭을 추가할 수 있습니다 이 클래스 중 하나를 검토해 보죠 토마토는 어떨까요? 이 모델은 토마토 이미지 32개 중 29개를 정확하게 분류했습니다 또한 이 클래스의 정확도가 91%라는 사실을 보여주는데 이는 모델이 무언가가 토마토라고 말하는 경우 그중 9%는 틀렸다는 의미입니다 이런 숫자와 통계는 매우 유용하지만 때로는 데이터 자체의 맥락에서 숫자와 통계를 보는 게 훨씬 더 중요합니다 정밀도를 클릭하면 토마토로 잘못 분류된 이미지로 이동합니다 다음은 테스트 데이터에 있는 세 가지 사례입니다 앱은 각 이미지의 섬네일과 모델이 예측한 클래스 진짜 레이블을 아래 보여 주죠 이 첫 번째 예제에서는 모델이 이미지를 토마토로 분류했지만 레이블은 감자입니다 하지만 이건 저한테 확실히 토마토처럼 보여요 이건 테스트 데이터 레이블이 잘못된 경우 같습니다 사실 이 세 가지 예 모두 잘못 표기된 것 같습니다 이건 해결하기 쉽겠죠 제 테스트 세트 레이블을 다시 확인하고 사용하도록 메모를 작성하겠습니다 결국 분명히 제 쪽의 오류였네요 이게 유일한 오류일까요? 저는 무작위로 선택한 클래스의 메트릭스를 조사하다가 여기까지 왔죠 여러분은 어디서 시작해야 할지 아니면 다음에는 무엇을 탐색해야 할지 궁금할 수 있습니다 상위 수준 요약 섹션이 여러분을 도와드립니다 앱은 탐색을 시작하기에 매우 좋은 위치일 수 있는 가장 중요한 일부 평가 세부 정보를 선택했습니다 처음부터 다시 시작하여 성공한 사례를 검토해 보죠 여기를 클릭하면 정확한 카운트가 표시됩니다 여기서는 모델이 정확하게 분류한 이미지 162개를 모두 한눈에 볼 수 있습니다 이어서 틀린 항목을 클릭하여 모든 실패에 대한 검토와 한번 비교해 보죠 실패는 총 21개 있어요

여기 또 토마토가 레이블링되어 있네요 눈에 띄는 다른 오류 유형은 없는지 확인해 보죠 이건 어떤가요? 이미지는 당근이라고 레이블링되어 있지만 모델은 감자로 예측했습니다 이 작은 섬네일로는 구분하기가 어려우니 이 이미지를 클릭해서 더 자세히 보겠습니다 제가 볼 때는 발 같은데요? 분명히 제게 익숙한 길고 마른 당근 모양은 아니지만 감자로 착각하기 쉽습니다 당근에 대한 교육 데이터에 더 많은 모양 변형을 추가하는 것을 고려해야 할 것 같네요 이것도 메모해 두죠 이번에는 파일 이름 옆에 있는 화살표를 클릭하여 Finder의 이 이미지로 이동합니다

마우스 오른쪽 버튼을 클릭하고 빨간색으로 레이블링하면 다음번 데이터 수집 때 다시 방문하고 싶은 항목이 있다는 사실을 상기시킬 수 있죠 이 확장된 뷰에서 탐색을 계속하겠습니다 참고로 이 뷰에서는 모든 클래스에 대한 모델의 신뢰도를 나열하는 전체 예측 결과도 표시됩니다 또한 왼쪽 및 오른쪽 화살표를 사용하여 예를 살펴볼 수도 있죠 여기서 다른 예로 넘어가겠습니다 이건 흥미로운 사례군요 이미지 하나에 채소가 여러 개 있습니다 가지라고 되어 있고 가지가 있는 게 사실이긴 하지만 다른 채소도 있어요 이게 제가 앱에서 고려할 중요한 사용 사례인지 생각해 봐야 합니다 UI를 통해 사용자에게 한 번에 한 가지 유형의 식료품만 가리키도록 안내할 수도 있고 여러 유형을 지원하려면 전체 이미지 분류기 대신 앱의 다른 템플릿인 객체 탐지기를 사용하는 것을 고려해 볼 수도 있습니다 요약 섹션으로 돌아가서 상위 혼동에 대한 이 줄을 확인해 보겠습니다 ‘고추’라고 돼 있는데 콩으로 분류됐어요 한번 클릭해서 이 사례를 살펴볼게요 고추로 레이블링된 이미지 4개가 콩으로 잘못 분류됐죠 제가 보기에는 매운 고추 같은데 콩처럼 초록색이긴 하네요 모델이 전반적으로 고추 분류에 문제가 있는지 궁금합니다 이 쿼리 옵션을 오답에서 정답으로 전환하여 정확하게 분류된 고추와 이 실패들을 대조합니다 32개 이미지를 정확하게 분류했죠 하지만 대부분 피망이라는 걸 알 수 있습니다 다양한 고추를 잘 표현하도록 제 교육 데이터를 확인해야겠습니다 이 빠른 탐색을 통해 머신 러닝에 있어 교육 및 테스트 데이터의 양과 품질 다양성이 얼마나 중요한지 다시 깨달을 수 있었습니다 몇 분 만에 앱은 레이블링 및 표현과 관련된 몇 가지 문제를 시각적으로 식별하도록 도움을 줬습니다 이제 교육 데이터를 수정하여 우리가 봤던 문제가 해결되는지 확인해야 합니다 또 미처 고려하지 않았던 문제도 발견됐습니다 사용자가 사진 하나에 채소를 여러 개 담으면 어떻게 될까요? 제 앱 디자인에 대해 더 생각해 봐야겠네요 이 모든 탐색은 평가에 사용할 레이블링된 데이터 모음이 있었기 때문에 가능했지만 레이블링되지 않은 예제를 빨리 테스트해야 하거나 더 많은 카메라 각도나 조명 조건을 살펴봐야 할지 고려하고 싶다면 어떻게 해야 할까요? 여기에서는 프리뷰 탭이 도움이 됩니다 동료가 방금 보내 준 몇 가지 예를 여기로 끌어와서 얼마나 효과가 있는지 볼게요

아니면 제 iPhone을 연속성 카메라로 사용해 실시간으로 테스트할 수도 있죠

제가 이 실제 채소들을 가리기면 모델은 실시간으로 채소들을 정확히 분류할 수 있습니다 자, 여기 고추와 토마토가 있습니다 요약하자면 이제 레이블링된 데이터 세트에서 교육된 모델의 동작에 대해 자세히 살펴볼 수 있습니다 평가 창에는 상세 메트릭 요약이 확장된 옵션과 함께 제공됩니다 새 탐색 탭에서는 이미지 분류기 및 손동작 분류기 객체 탐지 템플릿에 현재 사용할 수 있는 새로운 대화형 UI에서 테스트 평가 결과와 관련 데이터를 필터링하고 시각화할 수 있는 옵션을 제공합니다 실시간 프리뷰를 통해 피드백을 즉시 받을 수 있죠 이미지 분류기와 손동작 분류기 신체 동작 분류기 템플릿으로 확장되었습니다 또한 부착된 웹캠에서 선택할 수 있도록 기능을 확장했으며 MacOS Ventura에서 연속성 카메라도 지원합니다 Create ML의 새로운 기능을 간략하게 요약해 봤습니다 다음으로 Create ML 프레임워크의 새로운 기능에 대해 살펴보겠습니다

Create ML 프레임워크는 macOS, iOS 및 iPadOS에서 사용할 수 있습니다 올해는 tvOS 16으로 일부 지원을 확대하고 있죠 프로그래밍 인터페이스를 사용하면 개발 시 모델 생성을 자동화할 수 있을 뿐 아니라 사용자의 입력 또는 기기 동작에서 직접 학습하는 동적 기능을 구축할 수 있는 많은 기회를 열어 사용자 개인 정보를 보호하는 동시에 개인화되고 적응 가능한 경험을 제공합니다 참고로 작업 지원은 플랫폼마다 다릅니다 예를 들어 표 분류기와 회귀자를 어디서나 사용할 수 있지만 비디오 같은 더 큰 데이터와 계산 요구 사항이 있는 일부 작업의 경우 macOS가 필요합니다 이제 다음 질문이 일반적으로 떠오르겠죠 “제 아이디어를 이러한 Create ML 사전 정의 작업 중 하나로 매핑할 수 없다면요?” 이 질문에 대한 답변을 돕기 위해 Create ML 제품군의 새로운 구성원을 소개합니다 Create ML Components입니다 Create ML Components는 Create ML의 기본 구성 블록을 표시합니다 이 제품으로 블록을 결합하여 사용 사례에 맞게 맞춤화된 파이프라인 및 모델을 만들 수 있죠 자세한 내용을 보려면 이 세션들을 확인하는 편이 좋습니다 ’Create ML Components 알아보기’에서는 구성 블록과 그들이 어떻게 함께 구성되는지 배우게 됩니다 Create ML Components로 고급 모델 구성’에서는 비동기 임시 구성 요소를 사용하고 교육을 사용자 정의하는 방법을 자세히 설명합니다 기능은 무한히 많습니다 제가 개인적으로 매우 흥분하고 있는 기능을 보여 드리죠 동작 반복 카운팅입니다 제가 일하지 않을 때는 춤추는 걸 자주 보실 겁니다 저는 전문 교육을 받은 인도 고전 무용 카타크 예술가거든요 제 몸매를 개선하려고 저는 종종 춤동작을 반복적으로 연습합니다 안무가이자 교사로서 저는 제 공연자들이 스텝을 특정 횟수만큼 연습해서 제출하길 바랍니다 Create ML의 새로운 반복 카운팅 기능은 그게 가능하게 도와줍니다! 여기, 회전 동작인 차카르는 카타크 춤에서 필수적인 동작입니다

저는 몸매와 체력을 기르기 위해 이 동작을 일정 횟수만큼 매일 연습하려고 합니다 Create ML을 사용하여 구축한 내 움직임을 세는 iOS 앱이 있죠 직접 한번 해 볼게요

제가 차카르를 출수록 차카르에 맞춰 카운트가 늘어납니다 여기서 저는 차카르를 5번 췄고 카운트는 정확히 이 횟수를 반영합니다 다음으로 오른쪽과 왼쪽 움직임으로 구성된 다른 작은 춤동작을 시도해 보겠습니다 카운터는 이걸 하나로 계산해요

여기서 카운트는 3을 나타내죠 한쪽 팔을 빠르게 한 번 더 움직일게요

4개입니다 액션 분류와 함께 사용하면 반복적인 동작을 카운트하는 동시에 분류할 수 있습니다 반복 카운트는 런타임 API로 사용할 수 있습니다 교육 데이터가 필요하지 않으며 이 기능을 앱에 추가하는 것은 코드 몇 줄만으로 가능할 수 있습니다 구현은 클래스에 구애받지 않도록 설계된 사전 교육 모델을 기반으로 하죠 따라서 점핑 잭, 스쿼트 빙글빙글 돌기, 차카르 같은 피트니스나 춤 동작에도 작동하지만 다양한 전신 반복 동작에도 적용할 수 있습니다 샘플 코드와 이 세션에 연결된 문서를 확인하여 이 모델과 사용 사례 가능성에 대해 자세히 알아볼 수 있습니다 Create ML의 새로운 기능을 간략하게 알아봤습니다 Create ML 앱의 대화형 평가 및 실시간 프리뷰를 통해 여러분이 교육하는 모델을 자세히 이해할 수 있습니다 Create ML 프레임워크는 tvOS 지원, 반복 카운팅을 추가했으며 다양한 기본 구성 요소에 액세스할 수 있도록 확장되어 앱 요구에 맞게 고도로 맞춤화된 모델을 만들 수 있습니다 감사합니다 이 모든 흥미로운 새로운 기능들이 즐거우셨기를 바라며 여러분이 이 기능으로 무엇을 만들어 낼지 어서 보고 싶네요 ♪