visionOSでの空間アクセサリ入力の詳細

visionOSでの空間アクセサリ入力の詳細

空間アクセサリをアプリに統合する方法を学びましょう。バーチャルコンテンツの表示、アプリの操作、空間内でのトラッキング、インタラクションに関する情報の取得により、visionOSでのバーチャル体験を向上させることができます。

関連する章
- 0:00 - スタート
- 2:41 - 彫刻アプリの構築
- 13:37 - ARKitによるアクセサリのトラッキング
- 14:45 - デザインに関する考慮事項
リソース
- Tracking a handheld accessory as a virtual sculpting tool
- - HDビデオ
  - SDビデオ
関連ビデオ

WWDC25
- RealityKitの新機能
WWDC24
- ARKitを活用したより高度な空間コンピューティング体験の創出
- RealityKitによる空間描画アプリの構築
WWDC21
- バーチャルゲームコントローラと物理ゲームコントローラの活用
WWDC20
- ゲームコントローラの進歩
こんにちは RealityKitチームのエンジニアの Amanda Hanですこのセッションでは新しい空間アクセサリのサポートを使用して visionOS向けの空間彫刻アプリを作成する方法を説明します visionOSでは視線と手による入力の強力なパラダイムが採用されています視線と手だけで Apple Vision Proをスムーズに操作できます皆さんが Vision Proでより広範な体験を構築できるように細かい制御、触覚フィードバック、ボタン入力のためのツールも提供しています今年これらのツールに空間アクセサリのサポートが加わります 2つの空間アクセサリがサポートされます PlayStation VR2 Senseコントローラと Logitech Museです
PS VR2 Senseはゲームに最適なコントローラですボタン、ジョイスティック、トリガが搭載されていますタップなどの標準的なジェスチャでシステムを操作することもできます
空間でのトラッキング精度が高いため Resolution Gamesの「Pickle Pro」のようなスポーツゲームも楽しめます
もう1つはLogitech Museです Logitech Museには感圧センサーがあり先端とサイドボタンによる可変入力と効果的な触覚フィードバックに対応しています
精度が高く仕事効率化アプリにもクリエイティブ分野のアプリにも最適ですこれはこのセッションで構築する彫刻アプリで制作した作品例です横に写真アプリを開いています先述のアクセサリはフルスペースアプリと共有スペースアプリで使用できます空間アクセサリの位置と回転のトラッキングに使用するのは Apple Vision Proのカメラと空間アクセサリのセンサーの組み合わせです触覚フィードバックを使用すればアプリのイマーシブ感を高めることができます空間アクセサリへの接続には Game Controllerフレームワークを使います RealityKitやARKitを使用してアンカーデータにアクセスできますこのセッションでは空間アクセサリによる入力をアプリで使用する方法を解説します Game Controllerフレームワーク、 RealityKit、ARKitを組み合わせて使用し彫刻アプリを構築します ARKitを使用して空間アクセサリを直接トラッキングする方法を紹介しますデザイン上の考慮事項についても説明します
では彫刻アプリの作成を始めましょうまず Xcodeプロジェクトをセットアップし
Game Controllerフレームワークで空間アクセサリに接続します彫刻ツールをバーチャルで表示しますアプリを操作してバーチャルの粘土を彫りますインタラクションデータのトラッキングに応答するツールバーを表示して完成ですまずは Xcodeのセットアップです
Game Controllerフレームワークでアクセサリとの接続を管理します Xcodeの機能エディタを使用して空間ゲームコントローラのサポートを plistに追加しますゲームコントローラで空間アクセサリのトラッキングをサポートすることを示すためににチェックを入れます
アプリのplistのフィールドにアクセサリの用途の説明を記入します
この彫刻アプリでは「アクセサリの動きをトラッキングしてバーチャル粘土を彫る」という内容にしますこの説明はユーザーにポップアップ表示されトラッキングの目的を伝えます
次はアクセサリをトラッキングします空間アクセサリでは慣性センサーデータを送信するために有効な接続が確立されている必要があるためその接続の検出は彫刻ツールの構築プロセスでは必須です
空間アクセサリへの接続の検出には Game Controllerフレームワークを使用します接続および切断のイベントをリッスンするか現在の接続を反復処理しますゲームコントローラの詳細については「Tap into virtual and physical game controllers」をご覧ください空間アクセサリトラッキングをサポートする Game Controllerのクラスは2つあります GCControllerとGCStylusですこれらはそれぞれコントローラとスタイラスペンに対応します両方とも GCDeviceプロトコルに準拠しています
空間アクセサリのトラッキングに非対応のコントローラやスタイラスペンもあります彫刻アプリでそれを調べる方法を紹介しますアプリ起動時にデジタル彫刻ツールがアクセサリに未接続の可能性がありますそのためアクセサリへの接続タイミングをリッスンする必要がありますスタイラスペンの場合は GCStylusDidConnectの通知をリッスンし GCStylusを取得します GCStylusが空間アクセサリのトラッキングをサポートするかどうか調べるには productCategoryが SpatialStylusであることを確認しますアクセサリはアプリの使用中に切断される可能性もあるので切断イベントも同様に実装します GCController APIを使用する場合は GCStylusをGCControllerに置き換えて GCControllerのproductCategoryが SpatialControllerであることを確認します接続を設定できましたがアクセサリにはまだ何も表示されませんバーチャルの先端を表示しましょう visionOSでは空間内でのオブジェクトの位置と方向のトラッキングにアンカーを使用します使用するのが RealityKitとARKitのいずれかでもまたはそれらの組み合わせでもアクセサリへのアンカーはフルスペースと共有スペースの両方のアプリで利用できます彫刻アプリでは共有スペースを使用しますがこれは彫刻の際に参照する画像を Safariや写真など他のアプリで呼び出せると便利であるためですプライバシー保護のためアクセサリの動きをトラッキングできるのは認証済みの現在フォーカスされているアプリのみです
各アクセサリにはアンカーの位置を示す一連の固有のラベルが付与されます PS VR 2 Senseコントローラには照準、グリップ、グリップ面のラベルがあります Logitech Museにはグリップの位置のラベルはなく照準の位置のラベルのみ付与されます彫刻アプリでは各空間アクセサリの照準にアンカーします RealityKitのAnchorEntityでアクセサリにバーチャルコンテンツをアンカーします AnchorEntityはバーチャルコンテンツを実世界に固定するためのエンティティであり RealityKitシーンの他の要素とやり取りできますアンカーの使用がコードではどのようになるか見てみましょう AccessoryAnchoringSourceを空間アクセサリから作成します
アクセサリのaimの位置をターゲットにしますアクセサリがこの位置をサポートしない場合アンカーは適用しません
accessoryをターゲットにして AnchorEntityを作成します locationは先ほどのaim trackingModeはpredictedです
左側にAnchorEntityを作成しました predictedのトラッキングモードでは高度なモデルを使用してコンテンツのレンダリング時のアクセサリの位置を予測しますただし急な動きがあるとオーバーシュートが生じる場合があります画面のフレーム4では紫色の予測フレームが灰色の実際の位置と一致していませんこのモードはレンダリングや低遅延が求められるインタラクションに使うべきです高精度が必要な場合は continuousモードを使用します遅延は大きいですがポーズの精度が高くオーバーシュートが発生しませんこの例のアクセサリでは応答性を最大化するためにトラッキングモードはpredictedにします彫刻アプリではツールを使う手が急な動きをすることは想定されませんこれでアクセサリにバーチャルの先端をアンカーできました問題なさそうですがこの彫刻ツールはアプリの他の要素とやり取りできませんアクセサリの位置に合わせて粘土を彫れるようにするとともに触覚フィードバックを実装しましょうバーチャル粘土に彫るには彫刻ツールの transformを取得する必要があります昨年追加されたSpatialTrackingSessionを使用して構成済みのターゲットのAnchorEntity型の transformを取得できます今年新たに SpatialTrackingSession.Configurationのサポート対象に.accessoryが追加されました SpatialTrackingのConfigurationに .accessoryを追加するとアクセサリのAnchorEntityのtransformを取得するセッションが実行可能になります「Build a spatial drawing app with RealityKit」で Adrianによる SpatialTrackingSessionについての詳しい説明をご覧ください次は彫刻の際に触覚を感じられるようにしましょう空間アクセサリに触覚を付与すれば優れたフィードバックメカニズムとなります粘土を扱っている感じを出せるように彫刻アプリに触覚を追加しますアクセサリからhapticsを取得し hapticsEngineを作成して起動します
触覚パターンの設定などの触覚の詳細については「Advancements in Game Controllers」をご覧くださいこの彫刻ツールを使って粘土を彫るところを見てみましょうアクセサリを粘土上で動かすと素材が取り除かれ触覚が再現されてイマーシブ体験が得られますでもご覧のように作品から素材を削りすぎることもあるでしょうそこで付加彫刻モードも用意しましょうユーザーとアクセサリのインタラクションに基づいて表示される彫刻モードを切り替えるためのツールバーをお見せしますこのツールバーはアクセサリをどちらの手で持っているかに応じてアクセサリの左か右に表示されます ARKitのAccessoryAnchorを使用します ARKitのAccessoryAnchorには次の4つのプロパティがありますアクセサリを持つ手を示すhandedness、空間内におけるアクセサリの相対的な動き、空間内における相対的な回転運動、トラッキングの状態ですセンサーやカメラのカバー範囲が狭くなるとトラッキングの質が低下します
空間アクセサリを使用して実世界の測定を行うなどの特定のユースケース向けに ARKitではメトリックスアンカーのtransformを受け取るためのAPIも提供しています詳細についてはドキュメントの Coordinate spaces APIの説明をご覧くださいサンプルに戻りましょう ARKitのAccessoryAnchorにアクセスする必要がありますが従来は RealityKitの AnchorEntityしかありませんでした今年からは任意の RealityKitのAnchorEntityから ARKitのアンカーを取得できます SpatialTrackingSessionが構成され実行されていれば取得可能です RealityKitのAnchorEntityから ARKitのAccessoryAnchorを取得する関数を設定しましょう AnchorEntityの ARKitAnchorComponentにアクセスし ARKitAnchorを取得して条件付きで AccessoryAnchorにキャストします ARKitAnchorComponentの詳細についてはビデオ「What’s new in RealityKit」で Laurenceによる説明をお聞きください
ツールバーの表示に進みましょう先ほど作成したヘルパー関数を使用して AnchorEntityから AccessoryAnchorを取得します handednessを使用してツールバーの位置を特定しますそのプロパティがaccessoryAnchorの heldChiralityに格納されます
handednessがleftの場合はツールバーがx軸の右に表示され rightの場合は左に表示されますそれ以外の場合アクセサリを手に持っていないので左右どちらにも表示しません
アプリ内でツールバーを見てみましょう右手に持った状態でボタンを押すとツールバーはアクセサリの左に表示されます付加彫刻モードに切り替えてさっき削りすぎた箇所を修正できます
いい感じです！おさらいしましょう新しい空間アクセサリのAPIを使用してイマーシブな彫刻アプリを作成しました Game Controllerフレームワークを使用してアクセサリに接続しました RealityKitのAPIを使用して彫刻ツールを作成しましたリアクティブなツールバーを表示するために RealityKitとARKitの機能を組み合わせて使用しました完成したアプリは見た目も操作感も良好です一方 ARKitを直接使用したい場合やカスタムレンダリングを使用してアプリを構築したい場合はご紹介したものと同じように空間アクセサリのトラッキングに利用できる APIがあります詳しく見てみましょう AccessoryTrackingProviderと AccessoryAnchorの新機能を活用した ARKitによるアクセサリトラッキングの重要ポイントを解説します GCStylusまたはGCControllerを使用して Accessoryを作成します
AccessoryTrackingProviderを使用して Accessoryオブジェクトをトラッキングしますアクセサリがアプリに接続または切断された場合適切に処理する必要がありますつまり Accessoryの構成を変更して ARKitセッションを再実行する必要があります
この実装方法については ARKitのサンプルアプリをご覧ください「Tracking accessories in volumetric windows」ですアクセサリのアンカーの更新パターンは手のアンカーと似ていますストリームで正確な更新を受け取るかオンデマンドの予測でインタラクティブなユーザーフィードバックを取得します ARKitの予測機能の詳細については「Create enhanced spatial computing experiences with ARKit」をご覧くださいここまで各種の優れた空間アクセサリのAPIを見てきました次はアプリを構築する際のデザイン上の考慮事項を紹介しますまずはジェスチャを使ったUIの操作ですジェスチャではなくボタンやトリガなどのゲームコントローラの入力を受け付けるようビューに指示することは以前からできました今年標準的なハンドジェスチャとゲームコントローラの両方をビューの入力として処理できるようになりました
コードでは次のように記述しますゲームコントローライベントを受け付けるよう SwiftUIビューに指示します次にジェスチャイベントも受け付けるよう指示するために .receivesEventsInViewモディファイアを設定します
空間アクセサリトラッキングがゲームコントローラにある場合 SpatialEventGestureにゲームコントローラの chirality つまり先ほどのhandednessが入力されます
フルスペースで実行されるアプリの場合は .persistentSystemOverlays APIを使用してホームインジケータを非表示にしたり .upperLimbVisibility APIを使用してユーザーの腕やアクセサリを非表示にしたりできますこれによりアプリやゲームのイマーシブ感がさらに高まります空間アクセサリにより今までにない強力な方法でアプリやゲームを操作できますまたアプリでできるだけ幅広いユーザーをサポートできるように空間アクセサリと手の両方に対応するアダプティブなサポートを提供できます
今年 ARKitはネイティブのハンドトラッキングが高速化し手と視線による入力が向上しています
空間アクセサリのトラッキングに対応したゲームコントローラをサポートしていることをアピールするために「Spatial game controller support」バッジを App Storeで表示できます空間アクセサリのトラッキングに対応したゲームコントローラが必須のアプリでは「Spatial game controller required」バッジを表示できますバッジを表示するためにアプリのplistに追加するキーについてはドキュメントでご覧ください本セッションのまとめです空間アクセサリにより細かい入力制御と触覚フィードバックを実現できますアクセサリの導入に使うのはGame Controller フレームワーク、RealityKit、ARKitですアプリのデザインでは手やアクセサリに対応したアダプティブなサポートを組み込みます今回ご紹介したのは空間アクセサリを使用してアプリやゲームを構築する方法のほんの一例です皆さんの作品を楽しみにしています WWDC25をお楽しみください

// Get in-app transforms

let session = SpatialTrackingSession()

let configuration = SpatialTrackingSession.Configuration(tracking: [.accessory])

await session.run(configuration)

4:57 - Check for accessory support

// Check spatial accessory support

NotificationCenter.default.addObserver(forName: NSNotification.Name.GCControllerDidConnect, object: nil, queue: nil) {
  notification in
    if let controller = notification.object as? GCController,
       controller.productCategory == GCProductCategorySpatialController {
             
    }
}

7:20 - Anchor virtual content to an accessory

// Anchor virtual content to an accessory

func setupSpatialAccessory(device: GCDevice) async throws {

    let source = try await AnchoringComponent.AccessoryAnchoringSource(device: device)

    guard let location = source.locationName(named: "aim") else {
        return
    }
  
    let sculptingEntity = AnchorEntity(.accessory(from: source, location: location),
                                       trackingMode: .predicted)

}

9:45 - Add haptics to an accessory

// Add haptics to an accessory

let stylus: GCStylus = ...

guard let haptics = stylus.haptics else {
    return
}

guard let hapticsEngine: CHHapticEngine = haptics.createEngine(withLocality: .default) else {
    return
}

try? hapticsEngine.start()

11:25 - Access ARKit anchors from AnchorEntity

// Access ARKit anchors from AnchorEntity

func getAccessoryAnchor(entity: AnchorEntity) -> AccessoryAnchor? {
    if let component = entity.components[ARKitAnchorComponent.self],
       let accessoryAnchor = component.anchor as? AccessoryAnchor {
        return accessoryAnchor
    }
    return nil
}

関連する章

リソース

関連ビデオ

WWDC25

WWDC24

WWDC21

WWDC20