リファレンスモードについて

こんにちは Ben Bodnerです AppleのDisplay and Color Technologiesチームに所属しています このビデオでは iPad Proの新しいリファレンスモードの 機能 ユースケース API について説明します 皆さんにリファレンスモードについて 理解していただくため 最初に リファレンス用ディスプレイ とは何かを説明します 多くのディスプレイでは 画像の カラー コントラスト シャープネスが 意図的に処理されています たとえば テレビには一般的に 固有の美しさを映し出すための 異なるモードが用意されており モバイルデバイスでは多くの場合 表示は環境光に合わせて変化します ほとんどの状況では このような機能は効果的ですが コンテンツクリエイターにとっては 問題となる場合があります コンテンツクリエイターは通常 画像がディスプレイでどのように レンダリングされるかを 正確に把握する必要があるためです この理由から リファレンス用ディスプレイでは 各メディア形式に応じて 色が正確にレンダリングされます これは 異なるリファレンス用 ディスプレイを使用しても コンテンツがまったく同じように レンダリングされることを意味します この一貫性により コンテンツクリエイターは 安心して複数のディスプレイを使用できます 表示する際の照明環境がコンテンツの メディア形式に合ってさえいれば コンテンツはすべてのディスプレイで まったく同じように表示されるからです リファレンス用ディスプレイを 学んだところで iPadのリファレンスモードを 詳しく見てみましょう 最初に リファレンスモードを 使用すべき状況と使用方法を説明します 次に 対応するメディア形式など リファレンスモードの 具体的な機能について説明します 最後に リファレンスモードに関連する APIについても簡単に説明します では どのような場合に リファレンスモードを使用すべきか？ どうやって有効にするか？ リファレンスモードは コンテンツ作成の 各種ワークフローを可能にして それらを強化し リファレンス用ディスプレイを 必要とするような カラークリティカルなタスクを支援します そのようなワークフローは 従来のモバイルデバイスでは不可能でした カラーグレーディングや カラーグレーディングされたコンテンツの レビューや承認などがこれに該当します また ビデオ編集やビデオ合成を行う モバイルAppで 色精度を実現できるため 普段はリファレンス用ディスプレイを 利用できないユーザーの場合でも 作業環境が向上します 最後に リファレンスモードは MetalとAVFoundationをベースとした カラーレンダリングに対応しているため これらのワークフローをサポートしているAppでは このいずれも使用できます リファレンスモードは 一部のmacOSシステムですでに提供されている リファレンス用ディスプレイのプリセットに 似ていますが 重要な違いが1つあります macOSには 異なる形式に対応した リファレンスカラーレンダリングを提供する プリセットモードが 複数用意されています iPadのリファレンスモードの 設定は1つのみで オンにするかオフにするかの設定です これは 設定を変更することなく 複数の形式に対応する リファレンスカラーレンダリングを 使用できることを意味します このモードは ユーザーがiPadの設定を 使用してのみアクセスでき Appのプログラムによって オン／オフにすることはできません リファレンスモードは 12.9インチiPad Pro（第5世代）で サポートされています リファレンスモードは 単体の デバイスとしてのiPadで使用できますが macOSデバイスのサブディスプレイとして iPadを使用するための機能である Sidecarにも新たな機能を追加します SidecarはこれまでEDRには 対応していませんでしたが Sidecarのディスプレイとして 使用しているiPadで リファレンスモードを有効にすると EDRに対応するとともに サポートされている形式のリファレンス カラーレンダリングが可能になります この新機能を使用するには Sidecarディスプレイのホストとして macOS Venturaがインストールされている Appleシリコン搭載のMacが必要です リファレンスモードを有効にすると 「設定」メニューのほかのいくつかの 項目の設定が変更されます 一貫性のあるカラーレンダリングを 実現するため 「明るさ」スライダがロックされ 環境に適応するディスプレイ機能が 無効になります 具体的には True ToneとNight Shiftのほか 「明るさの自動調節」機能が 無効化されてロックされます ここまで リファレンスモードを 有効にすべき状況と有効にする方法を 説明しました 次は リファレンスカラーを実行する意味と リファレンスモードの具体的な機能について 詳しく説明します 前述したmacOSのプリセットと同様に リファレンスモードでは 色管理を使用して 異なるメディア形式に対応しています これにより 色が 各メディア形式の仕様に基づいて 正確にレンダリングされるようになります 必然的に 色をどのように レンダリングすべきかを判断できるよう メディアの形式を タグ付けする必要があります リファレンスカラーの色管理が 効果を発揮するには 該当するメディア形式の規格で 指定されている リファレンス環境においてのみ ディスプレイを表示する必要があります リファレンスモードが対応する ビデオ形式の場合 照明を暗くした環境が必要です 一方 グラフィックスには 明るい 屋内環境が求められます さて リファレンスモードではどのような 色管理が使用されるのでしょうか？ すべての形式に対して 同様の仕様の 色管理が適用されます これには D65ホワイトポイント およびSDRメディアでは100ニト HDRメディアでは1000ニトの ピーク輝度が含まれます HDR形式ではトーンマッピングが 無効になるため ディスプレイがメディア形式の 伝達関数を正確に追従します また色は 1000ニトを超えず かつiPadのネイティブ色域である P3の色域内である限り 正確に表示されます 色域を超える色や 1000ニトを超える明るさの色は クリッピングされて トーンマッピングが失われます このクリッピングの結果は メディア形式によって異なります メディア形式ですが これは リファレンスモードが対応している メディア形式のリストで 各形式に対応するmacOSでの リファレンス用ディスプレイのプリセットも 示されています iPadでは カラータグに基づいて リファレンスモードが適切な 色管理を判断するため プリセットを切り替える必要は ありません この表のITU H.273コードポイントが タグの一例ですが これはQuickTimeの NCLCカラータグとして知られています これら以外のタグ形式も使用できます このリストに記載されていない形式が Appで使用されている場合でも大丈夫です リファレンスモードでは非対応の形式で あっても色管理を行うことができ デフォルトの表示モードに近い方法で レンダリングされます 一部の行には 複数の形式が記載されていますが これは 同じ行に記載されている各形式が リファレンス用ディスプレイで 同一のレンダリングとなるためです たとえば HDR10とBT.2100 PQは両方とも BT 2020カラープライマリ PQ伝達関数 BT 2020 YCC変換行列を 使用しています コードポイント「9-16-9」は これを表しています ただし HDR10には HDRメタデータも含まれ この情報は トーンマッピングに使用されます このため iPadのデフォルト表示モードでは 同じコンテンツでも形式によって 異なるレンダリング結果になる 場合もあります しかし リファレンスモードでは トーンマッピングが無効になるため HDRメタデータはすべて無視され 両形式とも同様にレンダリングされます 一般的に リファレンス用ディスプレイは 色を正確にレンダリングできるよう 光学的な測定装置を使用して キャリブレーションされています macOSのプリセットと同様に リファレンスモードには 詳細なキャリブレーション機能が 提供されており ホワイトポイントの色度と輝度を シングルポイントで キャリブレーションできます この色調整は ディスプレイの経年劣化と 測定装置の違いに対応できるように 作られているため iPadのホワイトポイントとピーク輝度は 同じ装置でキャリブレーションされた 別のディスプレイにもマッチします ここまで リファレンスモードの カラーレンダリングに関する機能の 特徴を説明しました 次は リファレンスモードに関連する UIScreenのAPIを紹介します その前に EDRとは何かを簡単におさらいしましょう EDRは AppleのHDRテクノロジーである 「Extended Dynamic Range」の 略称です これには レンダリングテクノロジーと ピクセル表示方法が含まれます EDRのピクセルは SDRとHDRの両方のコンテンツを表示できます EDRの重要なコンポーネントは そのヘッドルームで これは HDRのピーク輝度を SDRのピーク輝度で 割ったものです リファレンスモードでは HDRのピークは常に1000ニト SDRのピークは常に100ニトとなります これはEDRのヘッドルームが 常に10倍であることを意味します EDRでは 0から1の値で表されるSDRピクセルが 常にレンダリングされます 1からEDRヘッドルームまでの間の 値はすべて トーンマッピングが発生することなく 適切にレンダリングされ EDRヘッドルームを越える 明るさの値は クリッピングされます しかし クリエイターは コンテンツを EDRとして適切にレンダリングするには ヘッドルームの値の高さが 十分ではないと判断し 代わりにSDRパスを適用することを 選ぶ場合もあります また 利用できるEDRヘッドルームを活用し 独自のトーンマッピングを適用することを 選ぶ場合もあります いずれの場合でも Appでのレンダリング方法の決定に 使用できる新しいクエリプロパティと 通知機能が UIScreenに用意されています 具体的には UIScreenを使用して リファレンスモードの状態変化に 関する通知を登録し その状態変化に対するクエリを 実行することができます またUIScreenを使用して デバイスのEDRヘッドルームの 現在のプロパティおよび可能な プロパティに対してクエリを実行できます これについては 後ほど詳しくお話します 表示モードの状態変化については これを登録します UIScreen.referenceDisplayMode StatusDidChangeNotification クエリの目的においては この通知を使用して 新しい状態と可能なEDRヘッドルームを 取得でき これらはともに Appでのレンダリング方法を 決定するための情報として利用できます たとえば リファレンスモードが無効の場合は EDRヘッドルームに基づき App独自のトーンマッピングを適用し リファレンスモードが有効の場合は トーンマッピングを適用しないことを 希望する場合があるかもしれません 表示モードの状態変化の 通知を受け取ったら UIScreenのリファレンス用ディスプレイの モード状態プロパティを使用して 現在の状態を取得できます これは 4つの列挙型のうち いずれか1つになります StatusEnabledが返された場合は リファレンスモードが有効になっており レンダリングが正常に実行されています StatusLimitedが返された場合は リファレンスモードは有効ですが EDRヘッドルームが 10倍未満に制限されているため 一時的にリファレンス応答を レンダリングできません この状態になった場合は リファレンスのレンダリングで 問題が発生している旨が UI通知を通してユーザーにも通知されます StatusNotEnabledが返された場合は デバイス自体はリファレンスモードに 対応しているものの ユーザーがそれを有効にしていない ことを意味します 最後に StatusNotSupportedが返された場合は デバイスがリファレンスモードに 対応していないことを意味します 次は Swiftコードを使用して UIScreen通知を活用する 方法を紹介します ここでは NotificationCenterのデフォルトの 通知オブジェクトを使用します 次に このデフォルト通知オブジェクトに 通知オブザーバを追加します この例では 通知が投稿されたことを オブザーバに知らせるために 受信者がオブザーバに送信するメッセージを screenChangedEventセレクタが 決定します オブザーバに配信するために 登録する通知の名前は このようになっています UIScreen.referenceDisplayMode StatusDidChangeNotification これで 状態が変化するたびに screenChangedEvent関数が 呼び出されます このscreenChangedEventの 実装例では まず windowSceneから UIScreenを取得します 次に このUIScreenから 新しいreferenceDisplayModeStatus プロパティが取得可能になります また EDRヘッドルームの新しい 可能値を取得することもでき これをAppのレンダリングパスに 使用することも可能です ここまで リファレンスモードの 状態変化の通知について説明しました 次は EDRヘッドルームについてお話します 先ほど EDRヘッドルームには 現在値と可能値の 2つのタイプがあると説明しました これらのプロパティは EDRを利用する すべてのデベロッパにとって重要で リファレンスモードに限っての ものではありません ヘッドルームの可能値では ディスプレイで利用可能な 最大ヘッドルームが返されます たとえば デベロッパは ヘッドルームが1.0またはその他の しきい値を超えていない場合は AppでSDRレンダリングパスを 使用することを選択する場合が あるかもしれません ヘッドルームの現在値が動的に変化し さまざまな理由から 可能値より低い場合があります デベロッパは コンテンツが ヘッドルームの現在値を越えることにより クリッピングが発生しないよう Appでトーンマッピングを適用する ことを選択するかもしれません シンプルな例を紹介します 先ほどのサンプルと同様に まず windowSceneから UIScreenを取得します ここから 可能なEDRヘッドルームの プロパティを取得します 次に EDRヘッドルームの可能値を しきい値と比較して SDRレンダリングパスと 画像プロセスパスの どちらを実装するかを決定します これは UIScreenの EDRヘッドルームプロパティの 現在値を使用した例です draw呼び出しで windowSceneからUIScreenを取得し UIScreenのプロパティ currentEDRHeadroomを取得できます この値を使用して クリッピングを回避できる 適切なトーンマッピングを決定し Appに適用することができます ここでは UIScreenのAPIについて説明し いくつかのコード例を紹介しました 説明は以上となります おさらいをしてみます iPadでリファレンスモードを 使用すべき状況とその使用方法を 学習しました リファレンスカラーレンダリングと リファレンスモードの具体的な機能を学び 対応するメディア形式 についてもお話しました 最後に UIScreenを使用した リファレンスモード通知と EDRヘッドルームに対するクエリのための 新しいプロパティを紹介しました Appleプラットフォームでの EDRとカラーテクノロジーについて 詳しく学習したい場合は 過去数回のWWDCでリリースされた 関連トピックに関するこちらのビデオを ご覧ください iPadでEDRを利用する場合は リファレンスモードを 使用するかどうかを問わず 今年の 「iOSのEDRの詳細」が 特に関連性の高いビデオとなっています このセッションは以上となります 皆さんのAppで リファレンスモードとAPIが活用されることを 楽しみにしています ご視聴ありがとうございました