App Store Connectアナリティクスヘルプ
プロダクトページの最適化
プロダクトページの最適化では、App Storeに掲載するプロダクトページの複数のバージョン(スクリーンショットやアプリプレビュー、説明、アプリアイコンに変化を加えたもの)をテストして、どの要素がコンバージョン率の改善に貢献するかを確認できます。
アナリティクスには、プロダクトページをテストするための統計分析機能が組み込まれており、App Storeのプロダクトページに関するデータ専用に設計されたベイズ手法で各バリアントの影響を測定し、最も効果的なトリートメントを特定することができます。
テストは、そのテストに関連する初回ダウンロード数が5回以上になるとアナリティクスに表示され始めます。インプレッションが蓄積されると、アナリティクスはパフォーマンスの評価を実施し、十分なデータが得られた時点で各結果に信頼度を割り当てます。信頼度が90%に達したトリートメントは、ベースラインとの比較に基づいて「より高いパフォーマンスが見られます」または「より低いパフォーマンスが見られます」というラベルを付けられることがあります。また現在の結果に照らして、統計的有意に達する可能性が低いテストは、「不確定のようです」とマークされることがあります。
アナリティクスでのテスト結果の分析
アナリティクスには、プロダクトページを最適化するための専用のセクションがあり、テストファネル全体を確認し、バリアントごとのパフォーマンスを比較することができます。
-
Test status (テストステータス)：各バリアントが「より高いパフォーマンスが見られます」「より低いパフォーマンスが見られます」「データを収集中」「不確定のようです」のいずれであるかを確認できます。
-
コンバージョン率：各バリアントの推定コンバージョン率(閲覧をしたユーザーのうち、アプリをダウンロードまたは予約注文したユーザーの割合)を確認できます。
-
Conversion lift (コンバージョン上昇率)：ベースラインと比較した、各トリートメントの相対的な推定改善率を把握し、特定の変更案がもたらす影響を数値で確認できます。
-
Confidence levels (信頼度)：各結果の統計的信頼度を確認できます。この情報は、信頼できるデータに基づいて意思決定を下すのに役立ちます。信頼度が90%以上のテスト結果には、「より高いパフォーマンスが見られます」または「より低いパフォーマンスが見られます」のラベルが付けられます。
App Store Connectでプロダクトページの最適化テストを設定する方法については、こちらを参照してください。
プロダクトページの最適化テストの結果の表示
-
「アプリ」で、表示するアプリを選択します。
-
「アナリティクス」タブをクリックします。
-
サイドバーの「獲得」で、「プロダクトページ」をクリックします。ダッシュボードの「プロダクトページの最適化」セクションに最新のテストが表示されます。テスト名をクリックすると、そのテストについて利用可能なデータが表示されます。
-
完了したテストを開くと、各バリアントが示したパフォーマンスの概要が表示されます。ページ上部には、ベースラインとなる元のプロダクトページと各トリートメントバリアントのコンバージョン率を示すカードがあります。カードには、各バリアントのコンバージョン率に加え、ベースラインとの相対的な差を示すパフォーマンスステータスインジケータが記載されています。このインジケータで、ベースラインを上回ったバリアントと下回ったバリアントを判別することができます。
コンバージョン率カードの下には、テスト期間中における各バリアントのパフォーマンスの変化を視覚的に示す「改善率の傾向」というグラフがあります。このグラフでは、ベースラインが点線で表示されるため、各トリートメントとベースラインの差を時系列で簡単に比較することができます。相対的な上昇率を示す「Improvement Percentage」(改善率)と絶対的なコンバージョン率を示す「コンバージョン率」を切り替えると、異なる観点でパフォーマンスを確認できます。
ページ下部の「Results」(結果)という表には、各バリアントの詳細なメトリックスがまとめられています。この表には、バリアントの「名前」、「ユニークインプレッション数」(各バリアントを閲覧した一意のデバイスの数)、「コンバージョン率」(ページを閲覧したユーザーのうち、アプリをダウンロードしたユーザーの割合)、「改善率」(ベースラインと比較した上昇率)、「信頼度」(結果の統計的信頼度。90%以上で信頼できるデータと見なされる)が表示されます。この表で、すべてのバリアントを並べて比較して、最高のパフォーマンスを示したバリアントを複数のデータポイントに基づいて特定できます。トリートメントをプロダクトページに適用する方法については、こちらを参照してください。
現在および過去のテストの一覧を表示するには、以下の手順に従います。
-
「アプリ」で、表示するアプリを選択します。
-
「アナリティクス」タブをクリックします。
-
サイドバーの「獲得」で、「プロダクトページ」をクリックします。
-
表示されたページで「すべてのテストを表示」をクリックします。
ダッシュボードに、過去のテストを含むすべてのテストが表示されます。
プロダクトページの最適化のメトリックスと定義
|
メトリックス |
定義 |
||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
|
プロダクトページ |
デバイスにアプリをダウンロードしてもらうために、ユーザーへアプリに関する情報を提供するApp Storeのページです。 |
||||||||||
|
テスト |
異なるトリートメントを一定の割合のユーザーに表示し、そのパフォーマンスを元のプロダクトページのパフォーマンスと同じ時間枠の中で比較する実験です。 |
||||||||||
|
バリアント |
プロダクトページのインスタンス(元のプロダクトページまたはトリートメント)です。 |
||||||||||
|
トリートメント |
元のプロダクトページと比較されるプロダクトページのバリアントです。 |
||||||||||
|
元のプロダクトページ |
テストの統制群となる、デフォルトのプロダクトページです。 |
||||||||||
|
リファラル経由のアクセス |
ダイレクトURLから行われた、プロダクトページのバリアントへのアクセスです。 |
||||||||||
|
トリートメントを適用 |
元のプロダクトページのメタデータを、トリートメントのメタデータと差し替える行為です。 |
||||||||||
|
信頼度 |
テストで収集されたデータが、2つのバリアントのパフォーマンスが異なることを示す確率です。 |
||||||||||
|
ベースライン |
他のページと比較されるバリアントです。 |
||||||||||
|
データを収集中 |
このバリアントが、ベースラインよりも高いパフォーマンスをしているか判断するためにデータを収集しています。 |
||||||||||
|
より高いパフォーマンスが見られます |
このバリアントは、少なくとも90%の信頼度でベースラインより高いパフォーマンスを示しています。 |
||||||||||
|
より低いパフォーマンスが見られます |
このバリアントは、少なくとも90%の信頼度でベースラインより低いパフォーマンスを示しています。 |
||||||||||
|
不確定のようです |
現時点の結果によると、ベースラインと比較してこのバリアントのパフォーマンスに差があるかどうかを判断するために十分なデータを90日間で得られないことが予想されます。 |
||||||||||
|
推定コンバージョン率 |
特定のプロダクトページのバリアントからアプリをダウンロードまたは予約注文した人の推定割合です。この推定値には、既存のデータと、テストで観測されたデータが反映されます。 |
||||||||||
|
推定相対的上昇率 |
選択したベースラインと比較した、バリアントのコンバージョン率の推定相対上昇率です。高い上昇率(例：30％)の場合の方が、低い上昇率(例：5％)よりも有意性を決定するために必要な週のデータが少なくなります。実際のテストにかかる時間は、各テストで検出された上昇率によって異なります。 |
||||||||||
|
ベイズ推論 |
確率が、ある事象に対する信頼度を表している統計学的手法です。これを使用して、コンバージョン率がどれくらい上昇するかに関する信頼度の正当性を示します。 |
||||||||||
|
信用区間 |
上昇率やコンバージョン率の推定範囲です。信頼度90%の区間を示しており、コンバージョン率や上昇率がこの範囲内に収まる確率が90%であることを意味しています。 |
||||||||||
テスト結果が表示され始めないのはなぜですか？
テスト結果は、そのテストに関連する初回ダウンロード数が5回以上になって初めてアナリティクスに表示され始めます。トラフィックが少ないアプリの場合、十分な量のデータが蓄積されるまでに時間がかかることがあります。初回ダウンロード数が5回になると結果が表示され始め、毎日更新されるようになります。
「不確定のようです」とはどういう意味ですか？どう対処すればよいですか？
このステータスは、現在のトラフィックパターンから判断して、信頼度90%に達するだけのデータが90日以内に集まらない可能性があることを示しています。このステータスが表示される場合は、(1)可能であれば90日を超えてテストを延長する、(2)より大きな上昇が期待できる大胆な変更をテストする、(3)トラフィックがもっと多い時期に再度テストを実施する、のいずれかを検討してください。
適切な意思決定を下すためには、どのくらいの期間テストを実施すべきですか？
バリアントで「より高いパフォーマンスが見られます」または「より低いパフォーマンスが見られます」のラベルを表示させるためには、90%以上の信頼度が必要です。この信頼度を得るために必要な時間は、トラフィックの量と改善の大きさによって決まります。改善幅が大きい場合(上昇率が30%など)は、改善幅が小さい場合(上昇率が1%など)よりもデータ収集に必要な週数が少なくて済みます。テストを早い段階で終わらせず、統計的有意に達するまで継続するようにしてください。
異なる要素を対象にした複数のテストを同時に実行することはできますか？
はい。スクリーンショットや説明、プレビュービデオなど、プロダクトページの異なる要素を対象にした別々のテストを同時に実行できます。ただし、影響範囲が重なる要素を対象にした複数のテストを同時に実行することは避けてください。成果につながった変更を切り分けるのが難しくなります。
「コンバージョン率」と「推定相対的上昇率」の違いは何ですか？
「コンバージョン率」は、各バリアントを閲覧したユーザーのうち、アプリをダウンロードしたユーザーの絶対的な割合(4.5%など)を示します。これに対し「推定相対的上昇率」は、ベースラインと比較したトリートメントの改善率(上昇率+12%など)を示します。絶対的なパフォーマンスを知りたい場合は「コンバージョン率」を使用し、バリアント同士を直接比較したい場合は「推定相対的上昇率」を使用してください。
テストの開始後にベースラインを変更することはできますか？
はい。ベースラインは、利用可能なトリートメントにいつでも変更することができます。このため、あるトリートメントのパフォーマンスが優れていた場合に、それを新しいベースラインに設定し、改善版のベースラインで次の要素をテストするといった使い方ができます。比較データはすべて、新しいベースラインを基準に再計算されます。
トリートメントに「より高いパフォーマンスが見られます」と表示されたら、すぐに公開中のプロダクトページに適用するべきですか？
はい。トリートメントの信頼度が90％に達し、「より高いパフォーマンスが見られます」というラベルが表示されたら、公開中のプロダクトページに適用してください。このようにしてコンバージョンの改善を確定し、パフォーマンスが高かったバージョンで次の要素をテストするというプロセスを繰り返すことで、時間の経過とともに改善効果が累積していきます。
「信用区間」とは何ですか？これが重要なのはなぜですか？
「信用区間」は、コンバージョン率または上昇率が取り得る範囲のことで、真の値が90%の確率でこの範囲内に収まることを意味します。区間が狭いと結果の信頼度が高くなり、広いと不確実性が高くなります。「信用区間」は推定値の精度を知るために利用できます。
ベイズ推論はテスト結果にどう影響しますか？
Appleはベイズ統計手法を利用して、アプリのプロダクトページのパフォーマンスに関する事前情報を取り込んでいます。こうすることで、バリアント間の差異をレポートするのに十分なデータを確保し、信頼度を保ちながら日次で結果を更新できるようにしています。この手法は、App Storeのプロダクトページに関するデータを扱うために特別に設計されています。