使用 Create ML 将手势和动作分类

使用 Create ML 将手势和动作分类

借助 Create ML，您的 app 能够更轻松地理解人类手势的表达。了解如何在 Vision 中构建对手势检测的支持，并使用 Create ML app 和框架训练自定义手势和手部动作分类器。了解收集数据、训练模型并将其与 Vision、Camera 和 ARKit 集成从而创造新奇有趣的 app 体验是何等简单。要了解有关 Create ML 和模型训练相关概念的更多信息，请查看 WWDC20 的“使用 Create ML 构建动作分类器”。另外不要错过“使用 Create ML 框架构建动态 iOS app”以了解如何在 app 中即时地以及在设备上训练模型。

资源
相关视频

WWDC23
- 使用 DockKit 与电动 iPhone 支架集成
WWDC22
- 了解 Create ML 组件
- Create ML 的新功能
WWDC21
WWDC20
- 使用 Vision 侦测身体与手部位姿
- 用 Create ML 构建 Action Classifier
下载

♪ ♪ 嗨欢迎来到《使用Create ML 对手势和动作进行分类》我是内森.渥特曼今天加入的还有我的同事布利特妮.维诺特和杰比.帕加列今天我们将讨论手部姿势的分类但在我们深入研究之前让我们先谈谈手本身手有两打以上的骨骼、关节和肌肉堪称工程奇迹尽管有这种复杂性但手是婴儿最早用于与周围世界互动的工具之一婴儿在能够说话之前就能通过简单的手部动作学习交流的基础知识在我们学会说话后手就会继续在交流中发挥作用并转而增加重点和表达过去一年里为了拉近人们的距离我们的双手变得比以往任何时候都更加重要在2020 年 Vision Framework 引入了手势检测这让开发人员能识别景框中的手以及手上的21个可识别关节这当中的每一个这是很好的工具如果你正在尝试识别手是否存在景框中但如果你想分类手的动作这可能是一个挑战虽然手的表达能力是无限的但在本环节的其余部分我想专注于简短的单手姿势例如停止、安静、和平和简短的单手动作例如后退、走开过来这里我说的就是手的姿势和动作那么更具体的定义是什么呢？一方面我们的姿势作为静止图像是有意义的这两个视频虽然是静止的但主题的意图仍表达得很清楚把姿势想象成一个图像另一方面我们有一个动作它需要动态来充分传达意义这两个动作的含义并不明确只看这一帧影像是不够的但是随着一系列帧慢慢出现比如视频或实况照片动作的意义就显而易见了亲切的“你好”和“过来” 在厘清这一点后我很高兴在今年介绍两个新的Create ML模板 “手势分类” 和“手部动作分类” 这些新模板让你训练手势和动作模型时，可以要么使用Create ML app 要么使用Creat ML框架这些型号兼容macOS Big Sur及更高版本还有iOS和iPadOS 14及更高版本
至于今年的新功能我们增加了使用Create ML框架在 iOS设备上训练模型的能力你可以在《通过Create ML框架构建动态iOS应用》这个专题中了解更多相关信息首先我想谈谈手势分类它可以让你轻松训练机器学习模型对Vision Framework侦测到的手部位置进行分类由于你负责训练模型因此你可以定义应用程序应该分类的姿势以尽量达到其需求来看这个训练过模型的简短演示从一个简单的原型应用程序开始我能够轻松集成手势分类模型我的应用程序现在可以对手势进行分类并显示相应的表情符号和分类姿势的置信度它能分类手势一还有二但是你会注意到它没识别的所有姿势被归类为背景的一部分包括张开手掌的姿势我想添加对它的支持稍后我将把这个模型交给我的同事布利特妮来向你展示如何将手势分类模型整合到你的应用中在此之前我想添加对张开手掌姿势的支持这真的很容易但我们应该先谈谈模型是如何被训练的就像所有其他Create ML 项目一样你可以轻易地把手势分类器整合到你的应用中该过程分为三个步骤收集和分类训练数据训练模型将模型整合到你的应用程序中让我们从收集训练数据开始对手势分类器来说你需要的是图像请记住姿势跟图像都相当富有表现力这些图像应分类到名称与图像姿势相匹配的文件夹中在这里我们有两个姿势需要识别：一、二以及一个背景类
背景类包含了所有你的应用并不在意姿势识别正确与否的目录在我的演示中这包括许多不是一或二的手势定义明确的背景类别帮助你的应用了解用户什么时候摆出的姿势并不重要这有两种类型的图像构成了一个背景类首先我们有个随机分类的手部姿势都不是你会期望你的应用能分类的重要姿势这些姿势应该包括多种肤色年龄、性别和光照条件其次我们会有一组手势非常类似于你希望应用程序分类的手势这些过渡姿势经常发生在当用户手部运动的姿态接近你的应用程序在乎的表情的时候当我手掌呈张开姿势时请注意我在几个姿势之间转换这类似于、但不完全是我希望我的应用程序对张开手掌的判定当我之后放下手臂时也会出现这些姿势这不是张开手掌独有的当我举起手臂做出两个姿势时也会出现相同类型的过渡姿势当我降低它时也会所有这些过渡姿势都应该和随机姿势添加进入背景类这种组合允许模型正确区分你的应用程序在乎的姿势以及所有其他背景姿势
随着训练数据的收集和分类该来让Create ML 应用程序训练我们的模型了让我们来亲自动手吧先从现有的Create ML项目开始我在之前的演示中曾用它来训练过模型训练结果看起来不错所以我预期这个模型会表现很好幸运的是 Create ML 应用程序允许你在将模型整合到应用程序之前预览它在预览标签页上你会发现对于手势分类器我们在此版本中添加了实时预览功能利用FaceTime摄像头实时预览来向你显示实时预测使用实时预览我们可以验证该模型是否正确分类了“1”和“2”的手势我希望它也能正确地对手掌张开的状态进行分类但它目前将该姿势分类为背景类的一部分在我用来训练这个模型的数据源中请注意它不包含张开手掌的类别只有1、2和背景的类别现在让我们训练一个支持张开手掌的新模型首先我将为此创建一个新的模型源
我有一个数据集其中包含我想用于这次训练的张开手掌类别我会选择这个数据集
来看这个新的数据源我们会发现它现在包括手掌张开的条目以及来自先前数据集的类别回到模型源我想加些东西来扩展训练数据并使我的模型更加健壮
这就对了该来按下训练了
在训练开始之前 Create ML需要做一些初步的图像处理以及特征提取我们要CreateML 经过80次迭代的训练这是个很好的起点但你可能需要根据你的数据集调整一下数字这个过程需要一些时间幸运的是我已经训练好了一个模型现在让我把它抓过来实时预览显示我们新训练的模型现在可以正确识别打开手掌的姿势为了确定我会验证它是否继续识别1和2的手势
很容易不是吗？我要把这个模型发给我的同事布利特妮她会谈论如何将它整合到应用程序中谢谢内森的模型你好我是布利特妮.维诺特我是Vision Framework 团队的成员当我第一次学习手势分类时我立刻想到我可以用它来用手创造特殊效果我知道使用CoreML 对手部姿势进行分类使用Vision来侦测和跟踪手部这两个技术结合在一起会很完美让我们来看看能否赋予自己超能力我已经为这个演示创建了管道的初稿让我们检查一下首先我们将有一个提供一连串帧的相机我们会把每一帧进行通过Vision请求来侦测手在景框中的位置和关键点 DetectHumanHandPoseRequest 就是我们正在使用的请求它会为它在帧中找到的每只手返回一个 HumanHandPoseObservation 我们要发送到 CoreML手势分类模型的数据是一个MLMultiArray 和HumanHandPoseObservation 上的属性称之为keypointsMultiArray 然后我们的手势分类器将会返回给我们可能性最高的手部动作标签这个可能性是基于它的置信度得分这个标签，我们可以用来确定app内的操作现在我们已经讲完了 App高级功能的细节来看一下代码吧先看看如何使用Vision 侦测帧中的手部对我们想要做的只需要一个 VNDetectHumanHandPoseRequest 的实例并且我们只需要侦测一只手所以我们将 maximumHandCount设置为1
如果你设好了maximumHandCount 并且有比帧中所指定的更多的手则算法将侦测的是景框中最突出和中央的手 maximumHandCount的默认值为2 我们建议在此处设置修改以便你不会对后续请求的更新吓到但如果你总是想选择你连结的SDK支持的最新算法那你不必设置它另外请注意我们将通过ARKit 对ARSession 检索到的每一帧进行侦测但这只是从相机来源中抓取帧的一种方法你可以使用任何喜欢的方法 AVCaptureOutput 也是一个有用的选择对接收到的每一帧我们需要创建一个 VNImageRequestHandler 它能处理图像上的所有请求手部姿势请求的结果属性将会被 VNHumanHandPoseObservations 所填满而手的最多数目为一只正如我们之前在请求中指定的那样
如果请求没有侦测到手部姿势我们就要来排除当前正在显示的任何影响否则我们只会有单一的 handObservation
接下来我们要使用 CoreML模型预测我们的手部姿势我们不想每帧都做一次预测因为我们不希望效果渲染是抖动的每隔一段时间进行一次预测会带来更流畅的用户体验当我们要进行预测时我们首先把MLMultiArray 传递到手势CoreML模型然后从返回的单一预测中检索顶部标签和置信度我只想在以高置信度预测标签时触发对显示效果的更改这也是关键能防止行为可能会开关得太快或是抖动在这里背景分类通过保持高度置信阈值来帮助我们
如果1的手势的预测信心很大我们可以设置 effectNode来渲染但如果1的手势的预测信心不大那我想停止屏幕上的效果来配合我的手的动作让我们来测试一下结果如果我用手比出一的姿势它应该会触发单一的能量束特效很酷吧！模型能看出我做了手指比1的姿势并触发了特效虽然如果它能跟着我的手指会更酷而如果它在我手指上的特定点呈现那就更好了让我们回去修改代码我们需要做的是将手部的关键点位置馈送到图形资产中这代表使用视图将标准化的关键点平移到相机视图空间里你可能也需要考虑通过查看置信度分数来修剪你保存的关键点在这里我只关心食指尖我们得将关键点平移到坐标空间因为Vision使用标准化坐标此外 Vision的原点位于图像的左下角所以在进行转换时请记住这点最后我们保存索引位置如果没有找到关键点我们默认为空值我们看一下负责渲染效果的代码以及我如何把它调整为跟随我的手指我们要找到图形对象的位置是在那里设定 setLocationForEffects 在每一帧都会被异步调用默认情况下我们会让效果出现在视图的中心将其切换为之前的 indexFingerTipLocation CGPoint 我们就能获得预期的效果
太棒了！看起来越来越酷了让我们再迈出一步为了创造一个充斥着超能力的更好玩的图像故事再多加利用几个应用程序中的手势分类会很不错在这种情况下我们要选择 2的手势和手掌张开的分类我已经扩展了我的应用程序让它在侦测到这两个姿势时采取行动你看我让能量束集中出现在我的食指尖就像之前的1的手势那样两个能量束出现在我的中指和食指尖端这是2的手势而最后的能量束是由手掌张开手势所触发的并锚定在我中指底部和手腕关键点之间的一个关键点
好的内森和我介绍的所有内容都涵盖了完全整合手势分类模型的步骤另外Vision中还有一项新功能你可能会发现它很有帮助所以让我向你介绍一个可能有助于触发和控制此应用程序功能的API Vision正在引入了这个新属性来允许用户在VNHumanHand-PoseObservation上区分左手和右手：也就是“手性” 这个列举表明了 VNHHumanHandPoseObservation 最有可能是哪只手并且可以是三个值之一：左手、右手以及未知你大概可以猜到前两个值背后的含义但只有在旧版本的 HumanHandPoseObservation 被反序列化并且从未设置过该属性时才会出现未知值正如内森之前提到的想要获取更多有关 Vision手部姿势侦测信息的话请回顾WWDC2020的讲座《通过Vision侦测身体和手部姿势》顺带一提对于在帧中侦测到的每只手底层算法将会尝试分别预测每只手的掌性这意味着一只手的预测不会影响同一帧中对其他手的预测让我向你展示一个使用手性的代码会长什么样子我们已经介绍了创建和运行 VNDetectHumanHandPoseRequest 的设置在执行请求后观察将会具有列举属性的手性你可以使用它对Vision的手部姿势观察采取行动或进行排序
到目前为止一切都是有关如何使用手势的分类但正如内森之前提到的手部动作分类是今年的另一项新技术这里交给杰比与你谈谈谢谢布利特妮你好我叫杰比帕加列我是一名机器学习工程师来自Create ML团队除了手势分类今年Create ML还引进了一个执行手部动作分类的新模板我会展示如何在你的应用程序中使用它也因此我会通过一些手势来扩展布利特妮的超能力演示并点出手部姿势和手部动作之间的一些重要区别
请参考讲座《使用Create ML 构建动作分类器》来自WWDC2020 来获取更多信息和比较结果因为手部动作和身体动作是两个非常相似的任务但现在让我解释一下什么是手部动作
手部动作是由在运动过程中需要经由ML模型分析的一系列手部姿势所组成该序列中的姿势数量应该要大到足以捕捉从头到尾的整个手部动作
你使用了视频来捕捉手部动作训练手部动作分类器的方法与训练手势分类器相同正如内森之前向我们展示的那样只有一些细微的差别
静态图像表示手部姿势而视频则用于捕捉和表示手部动作所以要训练一个手部动作分类器你所使用的短视频其中每个视频都代表了手部动作这些视频可以被整理成文件夹其中每个文件夹名称代表一个动作类别
也别忘了要包括一个有着动作不同的视频的背景类别而不是你希望分类器识别的动作
作为替代表示法你可以把所有范例视频文件添加到一个文件夹里
然后使用CSV或 JSON格式来添加注释文件
注释文件中的每个条目代表视频文件的名称、关联的类别手部动作的开始和结束时间
此外在这种情况下记得背景的类别也要包括在内
记住多少都要使用相同长度的视频来训练模型实际上你提供的动作持续时间会作为训练参数然后Create ML会根据你所提供的值它的连续帧数来做随机取样你也可以提供视频帧率和训练迭代除此之外该应用程序还提供了不同类型的数据增强这将有助于模型更好地概括并提高其准确性特别是时间插值和丢帧这是手部动作分类内新增的两个增强这能提供更接近实例的视频变化
所以我为了演示训练好了一个手部动作分类器来看看它的实际效果吧好既然我是超级英雄我需要一些能量来源
就在这里你看我使用手势来使我的能量来源具象化但是现在我要用我的超能力来激活它
在这种情况下我会使用手部动作这很酷
现在手部姿势和手部动作分类器正在同时执行我正在善用 Vision新的“手性”功能并用我的左手来摆姿势用我的右手做动作
这太酷了所以这是可行的这多亏了CreateML 所采取的优化对每个模型的训练时间释放了 Apple神经引擎的所有力量
现在让我回到现实世界向你解释如何将 Create ML手部动作分类器整合到我的演示中
先来看看模型的输入当你把手部动作分类器时整合进入你的应用时你需要确保你为模型提供了正确数量的预期手势我的模型需要一个大小为 45乘3乘21的MultiArray 因为我可以在XCode预览中检查你看 45是分类器需要分析才能识别动作的姿势数 Vision Framework 为每只手提供的关节数是21个最后 3是x和y坐标以及每个关节的置信度值那45是从哪来的？那是预测窗口的大小取决于训练时使用的视频的长度和帧率
就我而言我决定使用以每秒30帧录制的1.5秒视频来训练我的模型这意味着模型在每个手部动作中会使用45格来进行训练因此在推断过程中该模型会期待相同数量的手部姿势另外须额外考虑的是就是在推断时间手部姿势到达的频率重要的是在推断过程中呈现给模型的手部姿势的速率必须要配合用于训练模型的姿势的速率在我的演示中我使用了ARKit 所以我不得不将每秒抓取的姿势数量减半因为ARKit提供每秒60帧而我的分类器是用每秒30帧的视频训练的如果不这样做分类器可能会提供错误的预测
现在让我们进入源代码向你展示如何实现这一点首先我会使用计数器将Vision姿势的速率从每秒60帧降低每秒到30帧来匹配我预期模型能够顺利工作的帧率
然后我得到包含场景中每只手的关节和手性的数组接下来我丢弃左手的关键点因为在我的演示中我使用右手来激活一些用手部动作的效果
好的现在我需要为分类器积累手部姿势为了做到这点我使用FIFO队列并累积了45个手部姿势并确保队列始终包含最后的45个姿势队列在最初会是空的当一个新的手部姿势到来时我会把它添加到队列中并重复此步骤直到队列已满一旦队列已满我就能开始读取它的全部内容每当我从Vision收到新的手部姿势时我都可以读取队列但请记得我正在处理的是每秒30帧根据使用的情况这可能会是在浪费资源
所以我在定义帧数后会使用另一个计数器来读取队列
你应该选择队列采样率作为应用程序响应性与以及你预期获得的每秒预测数量两者之间的权衡
此时我读取了于MLMultiArray中整个整理好的45个手部姿势的序列并将其输入分类器来预测手部动作
然后我提取预测标签和置信度值最后如果置信度值大于我们定义的阈值我会将粒子效果添加到场景中所以请记得当你把Create ML 手部动作分类器整合到你的应用时请确保以模型期望的帧速率来输入手势序列将用于训练分类器的视频匹配至相同的帧率使用先进先出队列收集模型预测的手部姿势以正确的帧率来读取队列我期待看到你将使用手部动作模型来构建所有很酷的应用程序并使用Create ML进行训练现在交给内森进行最后的总结和回顾谢谢你杰比你和布利特妮在应用上做得非常好我很想试一下但在事情失控之前你应该记住以下几点以确保为你的用户提供高质量的体验请注意手与摄像头的距离距离应保持在11英尺或3米半以下来获得最佳效果最好避免极端的光照条件不管是太暗或太亮笨重、松散或五颜六色的手套会导致手部姿势难以准确侦测这可能会影响分类质量与所有机器学习任务一样训练数据的质量和数量是关键对于本还节中展示的手势分类器我们在每类别使用了500张图像至于手部动作分类器我们每个类使用了100部视频但你的情况的数据要求可能会有所不同最重要的是你要收集足够的训练数据来捕捉你的模型将于应用中所见的预期变化现在也是时候来回顾了所以我们学到了什么？好吧从2021年起你可以打造能够解读人手表情的应用程序我们讨论了两种范畴的手部表情姿势和动作之间的差异我们讲了如何准备训练数据包括在Create ML应用程序中用于训练模型的背景分类我们讨论了如何将训练过的模型整合到应用程序中最后我们讨论了将多个模型合并到一个应用程序中并使用掌性来区分是哪只手当然今天的演示只不过是触及了皮毛 Vision Framework 是一种强大的技术能用于侦测手部的出现姿势、位置和掌性 Create ML是个有趣简单的方法能帮助训练及分类手部姿势和手部动作当它们一起运作时将会为人类最强大的也最具表现力的工具注入深刻的见解我们等不及要看到你们能用它们做什么了再见 [轻快音乐]

func session(_ session: ARSession, didUpdate frame: ARFrame) {

    let pixelBuffer = frame.capturedImage 
    let handPoseRequest = VNDetectHumanHandPoseRequest()
    handPoseRequest.maximumHandCount = 1
    handPoseRequest.revision = VNDetectHumanHandPoseRequestRevision1

    let handler = VNImageRequestHandler(cvPixelBuffer: pixelBuffer, options: [:])
    do { 
        try handler.perform([humanBodyPoseRequest]) 
    } catch {
        assertionFailure("Human Pose Request failed: \(error)")
    }

    guard let handPoses = request.results, !handPoses.isEmpty else {
        // No effects to draw, so clear out current graphics
        return
    }
    let handObservation = handPoses.first

11:03 - Predicting hand pose

if frameCounter % handPosePredictionInterval == 0 {

    guard let keypointsMultiArray = try? handObservation.keypointsMultiArray() 
else { fatalError() }
    let handPosePrediction = try model.prediction(poses: keypointsMultiArray)
    let confidence = handPosePrediction.labelProbabilities[handPosePrediction.label]!

    if confidence > 0.9 {
       renderHandPoseEffect(name: handPosePrediction.label)
    }
}

func renderHandPoseEffect(name: String) {
	switch name {
        case "One": 
            if effectNode == nil {
               effectNode = addParticleNode(for: .one)
            }
        default:
			removeAllParticleNode()
	}
}

12:25 - Getting tip of index finger to use as anchor

let landmarkConfidenceThreshold: Float = 0.2

let indexFingerName = VNHumanHandPoseObservation.JointName.indexTip

let width = viewportSize.width
let height = viewportSize.height

if let indexFingerPoint = try? observation.recognizedPoint(indexFingerName),
   indexFingerPoint.confidence > landmarkConfidenceThreshold {
    
    let normalizedLocation = indexFingerPoint.location
    indexFingerTipLocation = CGPoint((x: normalizedLocation.x * width,
                                      y: normalizedLocation.y * height))
} else {
    indexFingerTipLocation = nil
}

15:47 - Getting hand chirality

// Working with chirality

let handPoseRequest = VNDetectHumanHandPoseRequest()
try handler.perform([handPoseRequest])
let detectedHandPoses = handPoseRequest.results!

for hand in detectedHandPoses where hand.chirality == .right {
    // Take action on every right hand, or prune the results
}

22:16 - Hand action classification by accumulating queue of hand poses

var queue = [MLMultiArray]()
// . . .
frameCounter += 1
if frameCounter % 2 == 0 {
    let hands: [(MLMultiArray, VNHumanHandPoseObservation.Chirality)] = getHands()
    for (pose, chirality) in hands where chirality == .right {
        queue.append(pose)
        queue = Array(queue.suffix(queueSize))
        queueSamplingCounter += 1
        if queue.count == queueSize && queueSamplingCounter % queueSamplingCount == 0 {
            let poses = MLMultiArray(concatenating: queue, axis: 0, dataType: .float32)
            let prediction = try? handActionModel?.prediction(poses: poses)
            guard let label = prediction?.label, 
              let confidence = prediction?.labelProbabilities[label] else { continue }
            if confidence > handActionConfidenceThreshold {
                DispatchQueue.main.async {
                    self.renderer?.renderHandActionEffect(name: label)
                }
            }
        }
    }
}

正在查找特定内容？在上方输入一个主题，就能直接跳转到相应的精彩内容。

提交你查询的内容时出现错误。请检查互联网连接，然后再试一次。

资源

相关视频

WWDC23

WWDC22

WWDC21

WWDC20