App Store Connect 분석 도움말
제품 페이지 최적화
“제품 페이지 최적화”는 스크린샷, 앱 미리보기, 설명과 앱 아이콘을 다양하게 조합한 App Store 제품 페이지의 여러 버전을 테스트하여 어떤 요소가 전환율을 높이는지 파악할 수 있도록 합니다.
“분석”은 제품 페이지 테스트를 위한 통계 분석 기능을 내장하여 App Store 제품 페이지 데이터를 위해 특별히 설계된 베이지안 기술로 각 버전의 효과를 측정하고 성공적인 버전을 식별하는 데 도움을 줍니다.
테스트는 최소 5개의 최초 다운로드 수가 기록될 때 “분석”에 표시됩니다. “분석”은 노출이 누적되면 실적을 평가하고, 충분한 데이터를 사용할 수 있게 되면 각 결과에 신뢰도를 할당합니다. 처리(treatment)가 90%의 신뢰도에 도달하면, 기준치와 비교하여 “성과가 더 좋음” 또는 “성과가 더 나쁨”으로 표시될 수 있습니다. 현재 결과를 기반으로 할 때 통계적 유의미한 수준에 도달할 가능성이 낮은 테스트는 “결정적이지 않을 수 있음”으로 표시될 수 있습니다.
분석에서 테스트 결과 분석
“분석”에는 전체 테스트를 검토하고 여러 버전의 실적을 비교할 수 있는 별도의 “제품 페이지 최적화” 섹션이 있습니다.
-
테스트 상태. 각 버전이 “성과가 더 좋음”, “성과가 더 나쁨”, “데이터 수집 중” 또는 “결정적이지 않을 수 있음”중 어떤 것에 해당되는지 확인합니다.
-
전환율. 각 버전의 예상 전환율을 검토합니다. 이는 앱을 다운로드 또는 사전 주문한 시청자의 비율을 나타냅니다.
-
전환 상승률. 기준치와 비교하여 각 버전의 상대적인 개선 효과를 파악할 수 있으며, 구체적인 변경 사항이 미치는 영향을 가시화하는 데 도움을 줍니다.
-
신뢰도. 각 결과의 신뢰도를 확인하여 신뢰할 수 있는 데이터를 바탕으로 결정을 내릴 수 있습니다. 신뢰도가 최소 90% 이상의 테스트 결과에는 “성과가 더 좋음” 또는 “성과가 더 나쁨” 라벨이 표시됩니다.
App Store Connect에서 제품 페이지 최적화 테스트를 설정하는 방법에 대해 알아보기.
제품 페이지 최적화 테스트 결과 보기
-
“앱”에서 확인하려는 앱을 선택합니다.
-
“분석” 탭을 클릭합니다.
-
사이드바의 “유입 경로” 하단에서 “제품 페이지”를 클릭합니다. 대시보드의 “제품 페이지 최적화” 섹션에 가장 최근의 테스트가 표시됩니다. 테스트 이름을 클릭하여 해당 테스트에 사용 가능한 데이터에 액세스합니다.
-
완료된 테스트를 열면 각 버전의 성과에 대한 개요를 확인할 수 있습니다. 페이지 최상단에는 기준치 역할을 하는 원래 제품 페이지와 각 버전의 전환율 카드가 있습니다. 이 카드는 해당 버전과 기준치 간의 상대적인 차이를 보여주는 실적 상태 표시기를 각 버전의 전환율과 함께 표시하며, 이를 통해 어떤 버전이 기준치보다 우수한 성과를 얻었는지 파악할 수 있습니다.
전환율 카드 아래에는 테스트 기간 동안 각 버전의 실적이 어떻게 변화했는지를 시각화할 수 있는 “향상 트렌드” 그래프가 있습니다. 기준치는 점선으로 표시되어 시간 경과에 따른 처리 버전의 변화를 간편하게 비교할 수 있습니다. “향상 비율”(상대적인 상승률 표시) 또는 “전환율(절대적인 전환율 표시)” 사이를 전환하여 실적을 다양한 관점으로 확인할 수 있습니다.
페이지 하단에는 각 버전의 자세한 지표를 제공하는 “결과(Results)” 표가 있습니다. 이 표에는 버전 이름, 고유 노출수(각 버전을 조회한 고유 기기의 수), 전환율(앱을 다운로드한 시청자의 비율), 향상(기준치 대비 상승 비율), 신뢰도(통계적 신뢰도가 90% 이상일 경우 신뢰할 수 있는 데이터)가 포함됩니다. 해당 표를 통해 모든 버전을 비교하고, 여러 데이터 포인트를 기반으로 실적이 가장 좋은 버전을 식별할 수 있습니다. 제품 페이지에 테스트 처리를 적용하는 방법에 대해 알아보기.
현재 및 이전의 모든 테스트 목록을 찾으려면 다음과 같이 진행하십시오.
-
“앱”에서 확인하려는 앱을 선택합니다.
-
“분석” 탭을 클릭합니다.
-
사이드바의 “유입 경로” 하단에서 “제품 페이지”를 클릭합니다.
-
이 페이지에서 “모든 테스트 보기”를 클릭합니다.
대시보드에는 과거 테스트를 포함한 모든 테스트가 표시됩니다.
제품 페이지 최적화 지표 및 정의
|
지표 |
정의 |
||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
|
제품 페이지 |
앱을 사용자에게 알리고 이를 기기에 다운로드할 수 있도록 하는 App Store의 페이지입니다. |
||||||||||
|
테스트 |
같은 기간 원래 제품 페이지의 성과와 비교할 수 있도록 각기 다른 처리의 제품 페이지를 사용자의 백분율로 보여주는 실험입니다. |
||||||||||
|
버전 |
제품 페이지의 예시(원본 또는 처리가 적용된 다른 버전)입니다. |
||||||||||
|
처리 |
원래 제품 페이지와의 비교에 사용되는 다른 버전의 제품 페이지입니다. |
||||||||||
|
원본 |
테스트의 제어 역할을 하는 기본 제품 페이지입니다. |
||||||||||
|
추천 트래픽 |
직접 연결되는 URL을 통해 모든 제품 페이지의 버전을 방문한 조회 수입니다. |
||||||||||
|
처리 적용 |
원래 제품 페이지의 메타데이터를 처리가 적용된 버전의 페이지 메타데이터 중 하나로 대체하는 작업입니다. |
||||||||||
|
신뢰도 |
테스트에서 수집된 데이터가 두 버전이 다른 성과를 보여주고 있음을 표시하는 확률입니다. |
||||||||||
|
기준치 |
다른 페이지와 비교하기 위한 기준입니다. |
||||||||||
|
데이터 수집 중 |
이 버전이 기준치보다 성과가 더 좋은지 판별하기 위해 데이터를 수집 중입니다. |
||||||||||
|
성과가 더 좋음 |
이 버전은 최소 90%의 신뢰도로 기준치보다 성과가 좋습니다. |
||||||||||
|
성과가 더 나쁨 |
이 버전은 최소 90%의 신뢰도로 기준치보다 성과가 나빴습니다. |
||||||||||
|
결정적이지 않을 수 있음 |
현재 결과를 기반으로 90일 후 해당 버전을 기준치와 비교하였을 때 어떠한 성과를 보일지 판단할 수 있도록 하는 데이터를 충분히 수집하지 못할 것으로 예상되는 경우입니다. |
||||||||||
|
예상 전환율 |
특정 제품 페이지 버전에서 앱을 다운로드하거나 사전 주문한 사람들의 추정 비율입니다. 이 추정치는 기존 데이터뿐만 아니라 테스트 중에 관찰된 데이터를 통합하여 측정됩니다. |
||||||||||
|
상대적 상승 예상치 |
선택한 기준치와 전환율의 상대적 증가 예상치입니다. 낮은 향상 값(예를 들어 5%) 보다 높은 향상 값(예를 들어 30%)의 중요성을 파악하는 데 시간(주)이 적게 소요됩니다. 실제 테스트 기간은 특정 테스트 과정에 감지된 항상 정도에 따라 달라집니다. |
||||||||||
|
베이지안 추론 |
확률로 특정 이벤트의 신뢰도를 나타내는 통계적 추론입니다. 전환율 상승의 신뢰도를 확인할 때 사용합니다. |
||||||||||
|
신뢰 간격 |
상승 또는 전환율에 대한 가능한 값의 범위입니다. 이는 90% 구간에 해당되며, 상승 또는 전환율이 이 범위에 포함될 확률이 90%임을 의미합니다. |
||||||||||
테스트에 아직 결과가 표시되지 않는 이유가 무엇인가요?
테스트와 연계된 최초 다운로드가 5회 이상인 경우에만 “분석”에 결과가 나타납니다. 앱의 트래픽이 적은 경우 충분한 데이터가 축적되는 데 시간이 더 오래 소요될 수 있습니다. 다운로드 수가 5개에 도달하면 결과가 나타나고 매일 업데이트됩니다.
“결정적이지 않을 수 있음”은 무슨 뜻이죠? 어떻게 해야 하나요?
이 상태는 현재 트래픽 패턴을 기반으로 90일 이내에 테스트가 90%의 신뢰도에 도달할 만큼 충분한 데이터를 수집하지 못할 수 있음을 나타냅니다. 이런 경우, 가능하면 테스트를 90일 이상으로 연장하거나, 더 큰 상승을 보일 수 있는 조금 더 극적인 변화를 테스트하거나, 트래픽이 증가한 기간에 다시 실행하는 것을 고려해 볼 수 있습니다.
결정을 내리기 전에 얼마나 오래 테스트를 진행해야 하나요?
버전에 “성과가 더 좋음” 또는 “성과가 더 나쁨”이 표시되려면 테스트에 90% 이상의 신뢰도가 요구됩니다. 소요되는 시간은 트래픽 양과 개선의 정도에 따라 달라집니다. 더 큰 폭의 향상(예를 들어 30% 상승)은 작은 폭의 향상(예를 들어 1% 상승)보다 더 짧은 주(week)의 데이터를 요구합니다. 통계적으로 유의미한 수준에 도달할 때까지 테스트를 조기에 종료하지 않아야 합니다.
여러 요소에 다양한 테스트를 동시에 진행할 수 있나요?
네. 다양한 제품 페이지 요소(스크린샷, 설명, 미리보기 동영상 등)를 별도의 테스트에서 동시에 테스트할 수 있습니다. 어떤 변화가 지금의 결과를 도출했는지 파악하기 어려울 수 있으므로, 중복되는 요소를 동시에 테스트하지 않아야 합니다.
전환율과 예상 상대적 상승 예상치에는 어떤 차이점이 있나요?
전환율은 각 버전에서 앱을 다운로드한 시청자의 절대 비율을 표시합니다(예를 들어 4.5%). 상대적 상승 예상치는 기준치와 비교한 처리의 향상을 나타냅니다(예를 들어 12% 상승). “전환율”을 통해 절대 실적을 파악하고, “상승”을 사용하여 버전을 직접 비교하십시오.
테스트를 시작한 후에도 기준치를 변경할 수 있나요?
네. 언제든지 기준치를 사용 가능한 처리 중 하나로 변경할 수 있습니다. 이는 처리의 성과가 향상될 때 유용하게 사용되며, 처리를 새로운 기준치로 설정하고 향상된 버전을 다른 요소로 테스트해 볼 수 있습니다. 이 경우, 모든 비교는 새로운 기준치에 따라 다시 계산됩니다.
라이브된 제품 페이지에 “성과가 더 좋음”이 표시되는 즉시 처리를 적용해야 할까요?
네. 처리가 90%의 신뢰도에 도달하고 “성과가 더 좋음”으로 표시되면, 이를 라이브된 제품 페이지에 적용해야 합니다. 이를 통해 전환율 향상을 확신하고, 성공적인 신규 버전과 다음 요소를 테스트할 수 있어 시간 경과에 따라 효과를 극대화할 수 있습니다.
신뢰 간격(Credible Interval)이란 무엇이며, 왜 중요한가요?
“신뢰 간격(Credible Interval)”은 전환율 또는 상승의 가능성이 있는 범위로, 90%의 확률로 실제 전환율 또는 상승 폭이 이 범위에 속하게 됩니다. 해당 간격이 좁을수록 결과에 대한 신뢰도가 높음을 나타내며, 간격이 넓을수록 불확실성이 더 커집니다. 이를 통해 추정치의 정확성을 파악할 수 있습니다.
베이지안 추론은 테스트 결과에 어떤 영향을 미치나요?
Apple 베이지안 통계 방법을 사용하여 앱의 제품 페이지 실적에 대한 사전 정보를 통합합니다. 이를 통해 각 버전 간의 차이점을 보고할 수 있을 만큼의 데이터를 확보하여, 결과를 매일 업데이트할 수 있는 신뢰도를 확보할 수 있습니다. 이 방법은 App Store 제품 페이지 데이터를 위해 특별히 고안되었습니다.