A ferramenta de teste A/B nativa da Apple vale a pena?

Osmar Queiroz10/02/2022

7 minutos de leitura

[ad_1]

A ferramenta de teste A/B nativa da Apple, chamada Product Web page Optimization, finalmente chegou! Desde o seu anúncio, os especialistas da ASO têm se perguntado sobre isso. Seria melhor que a ferramenta nativa da Play Retailer, que já tem muitos detratores?

Introdução à otimização de página de produto

A App Retailer está perdendo um recurso de teste A/B nativo para sempre. Os especialistas da ASO tiveram que contar com ferramentas externas para testar na plataforma e ficaram esperando por uma opção nativa. Em junho de 2021, durante sua WWDC anuala Apple finalmente anunciou, junto com seu nome: Product Web page Optimization (ou PPO).

Com o PPO você pode criar várias páginas de produtos para testar seu ativo. Resumindo, veja o que você pode fazer com a otimização da página do produto:

Crie até 3 variações de página por teste
Altere 3 ativos em suas variações: ícone, capturas de tela e visualização do aplicativo
Faça um teste para até 90 dias

Se você deseja testar novos ativos visuais, eles precisarão ser aprovados pelo Apple Assessment. Por exemplo, se você estiver testando apenas a ordem das capturas de tela (apenas alterando a ordem das capturas de tela atuais), poderá iniciar seu teste imediatamente sem passar pelo Apple Assessment.

O PPO também implementa consistência em toda a App Retailer. Se você estiver testando um novo ícone, os usuários que viram o ícone de teste verão o mesmo ícone em toda a App Retailer (nos resultados da pesquisa, mas também nas guias Hoje, Jogos e Aplicativos) e em seus dispositivos ao baixar o aplicativo.

O teste A/B é uma ótima ferramenta para ajudar você a otimizar sua página de produto. Graças a isso, você pode testar qual dos recursos do seu aplicativo tem mais tração quando se trata de taxas de conversão ou tente destacar conteúdo culturalmente relevante ou conteúdo sazonal em algumas localizações.

Você deve observar que o PPO não está disponível para páginas de produtos personalizadas ou páginas de produtos para Apple Watch ou iMessage. Eles também só podem ser vistos por usuários que instalaram o iOS 15 (ou iPad OS 15) ou versões posteriores.

As páginas de teste também aparecem na Pesquisa (os usuários verão capturas de tela de teste nos resultados da pesquisa) e devem funcionar com os anúncios de pesquisa da Apple em 2022.

Testes A/B na App Retailer x Play Retailer

As ferramentas de teste A/B das duas lojas de aplicativos têm o mesmo intervalo de confiança (90%). É aqui que as semelhanças terminam:

Com o PPO da Apple você só pode executar um teste por vez, o Google permite até 5 testes simultâneos
Você não precisa aprovar seus recursos para os experimentos da Play Retailer (ao contrário da App Retailer)
Você pode testar descrições alternativas (curtas e longas), enquanto só pode testar recursos visuais na App Retailer

Otimização da página do produto ou a grande decepção

O PPO ainda é uma ferramenta bastante recente, ainda não foi lançada nos 90 dias que afirma serem necessários para resultados suficientes. No entanto, está disponível há pace suficiente para decepcionar os profissionais da ASO.

Aqui estão alguns exemplos do que não está funcionando com a Otimização de página de produto de acordo com o ASO Stack da Phiture:

Apenas um teste pode ser executado em um determinado momento
Se você enviar uma nova atualização de aplicativo, seu teste será interrompido automaticamente (e a Apple especificou que os testes interrompidos não podem ser reiniciados)
Se você executar um teste em várias localizações, não poderá diferenciar seus relatórios no App Analytics
Você não pode enviar um teste enquanto seu evento no aplicativo (IAP) ainda estiver em revisão (o envio de um IAP interromperá seu teste se ele estiver em execução no momento)
O standing do seu aplicativo precisa estar em Pronto para venda standing
Erros foram detectados em datas e taxas de conversão
Latência nos resultados

Todos esses são limites frustrantes para um produto muito esperado. Um dos principais problemas are living no fato de que um teste em execução será interrompido automaticamente se você enviar uma nova versão do aplicativo. Para que um teste A/B seja relevante, você precisa de um cronograma longo o suficiente. No entanto, alguns desenvolvedores atualizam seus aplicativos com frequência semanal ou quinzenal, o que é muito curto para ser útil.

Além disso, o intervalo de confiança é de apenas 90%, o que é bastante baixo em comparação com os padrões da indústria e muitas vezes considerado muito baixo para ser significativo.

De acordo com Scribbd, “o intervalo de confiança é o intervalo de valores que você espera que sua estimativa caia entre uma determinada porcentagem do pace se você executar seu experimento novamente ou reamostrar a população da mesma maneira”. Ter um intervalo de confiança de 90% significa que em 90 de 100 vezes, a estimativa ficará entre os valores awesome e inferior especificados pelo seu intervalo. Na ASO, é aconselhável ter um intervalo de confiança de pelo menos 95%.

Dica rápida, certifique-se de evitar usar a palavra “teste” em seu teste.