desenv-web-rp.com

O teste A / B vale a despesa e o tempo adicionais?

Um cliente está perguntando sobre o teste A/B cego para um aplicativo on-line focado principalmente na usabilidade do design e no fluxo de trabalho do aplicativo. Alguém no escritório do cliente leu um artigo sobre como todas as grandes agências fazem testes A/B de conceitos antes de entrar no ar ... então é importante que eles também façam isso!

--edit-- Sobre o aplicativo: é um aplicativo voltado para o público, mas os usuários serão membros pagos, portanto, não é para consumo aberto e gratuito. Os usuários serão clientes diretos, que, por sua vez, revenderão o produto para seus clientes. O tráfego no pico provavelmente seria + -1000 usuários; alguns dos quais seriam usuários diários, enquanto uma porção menor pode ser apenas 1X/semana. --editar--

Os resultados justificaram a despesa e os esforços adicionais?

3
bpeterson76

Espero estar entendendo sua situação corretamente. Se não estiver, deixe um comentário e eu vou limpar um pouco.

Na sua situação, não tenho certeza de como os testes A/B funcionarão - estou preocupado em conseguir resultados úteis. Há dois problemas a serem superados - obter resultados estatisticamente válidos e depois entender esses resultados.

O primeiro problema que você precisa ver é que as ~ 1000 pessoas que estão usando seu serviço não são toda a sua base de usuários e você não pode ter certeza de que elas são representativas dos seus usuários. Só porque esses 1000 usuários mostram certas tendências nos testes A/B não significa que outros grupos de usuários também terão essas tendências. E acho que isso também obscurece a validade estatística dos resultados porque você tem amostras impróprias.

Você também tem duas categorias de pessoas que usam seu serviço específico e quem sabe quantas pessoas usam os sistemas revendidos. No seu sistema, você tem usuários frequentes e pouco frequentes. Mas e nas outras implantações? Se suas alterações os afetarem também, você pode estar afetando a capacidade deles de atingir seus objetivos sem absolutamente nenhum dado sobre a experiência do usuário em A ou B.

E entender os resultados obtidos será difícil, especialmente se você implantar o teste A/B em várias implantações do seu serviço. Se você estiver coletando dados de várias populações distintas, poderá obter os resultados desejados com A em alguns e B em outros - você precisará decidir se isso é realmente preciso e depois decidir o que fazer com eles.

Honestamente, neste caso, eu recomendaria pesquisas. Descubra o histórico de seus usuários - faixa etária, sexo, experiência em computadores, profissão - e como eles usam o software. Em seguida, descubra quais recursos eles gostam ou não, quais recursos são fáceis de usar ou não, e assim por diante. Esta pesquisa deve ser direcionada ao maior número possível de pessoas - pessoas que usam sua implantação e pessoas que usam outras implantações.

5
Thomas Owens

O teste A/B tem seu lugar, mas requer algumas coisas para manter. Mais importante, você precisa de uma métrica clara de sucesso. I.e. deve ser simples julgar qual foi o melhor desempenho A ou B. Principalmente, isso se aplica se o site for orientado para uma meta comercial específica (por exemplo, levar as pessoas a fazer pedidos de compra, fazer com que as pessoas cliquem em links de anúncios etc.).

Você também precisa de alternativas claras para testar e uma base de usuários grande o suficiente para obter resultados estatisticamente válidos para cada emparelhamento A/B. O número de pares e a duração dos testes também são um fator nisso.

Se você estiver mais interessado em melhorar a usabilidade geral, seria melhor fazer avaliações cooperativas de usabilidade (sentar-se com os usuários de teste e observá-los percorrer uma lista de tarefas, observando problemas). É mais barato e produz resultados muito úteis.

Em última análise, é tudo sobre o que você está tentando realizar.

3
Kris

Alguém no escritório do cliente leu um artigo sobre como todas as grandes agências fazem testes A/B de conceitos antes de entrar no ar ... então é importante que eles também façam isso!

Muito bem, se você estiver recebendo dinheiro de grandes agências por resultados de grandes agências em um site de grandes agências ... infelizmente, como Kris e Thomas Owens observaram, a amostragem estatística não aumenta baixo muito bem.

Os usuários que pagaram pelo serviço são não o teste multivariado de pessoas geralmente se concentra (e sabiamente) - a idéia é descobrir como converter pessoas que não são assinantes porque há mais deles e sua atenção vale mais do que a confusão potencial para os assinantes existentes que já assinaram de qualquer maneira.

3
danlefree

Se você tem uma situação em que desenvolvedores/gerentes têm várias coisas em mente para uma determinada página, o teste A/B com tráfego suficiente de usuários é uma boa maneira de tentar decidir o que funciona melhor.

Se as decisões forem obrigatórias e não houver muito espaço para experimentar (a verdade da maioria das lojas webdev), os testes A/B superficiais não produzirão os resultados que você pode esperar.

O truque do teste A/B é obter dados estatísticos suficientes e depois analisar os resultados - onde a análise é a parte mais difícil. Portanto, a configuração de A/B não consome tanto tempo quanto o tempo necessário para entender os dados.

Você também pode considerar o uso de testes de usabilidade ao vivo, descritos em seit.com .

Ou até ferramentas automatizadas como ClickTale que mostrarão como os usuários estão usando suas páginas.

0
Evgeny

Atualmente, o teste A/B é bastante barato e fácil de fazer. Você pode usar o Google Website Optimizer, que é gratuito ou algo como o otimizador de site virtual, que tem planos que vão de US $ 50/mês. Recomendo que o A/B teste todas as tarefas orientadas a objetivos (conversões, assinaturas etc.), na pior das hipóteses, você não obterá nenhum vencedor estatístico e gastará US $ 50 na melhor das hipóteses, melhorando as taxas de conversão e seu cliente ganha mais dinheiro.

Ao olhar para a sua descrição, parece que eles estão procurando por testes de usabilidade e não por otimização de conversão. Se for esse o caso, usei o clicktale (já mencionado acima) e o usertesting.com, ambos valem o dinheiro gasto em minha experiência. O ustertesting.com permite testes gerais fáceis de usabilidade e o clicktale permite ver o que os usuários reais estão fazendo.

Você pode executar testes A/B e testes de usabilidade por menos de US $ 500 no total. Portanto, se o orçamento estiver disponível e você tiver metas claras, vale a pena.

0
Joshak