Qual é a diferença entre o teste a / b e o teste de hipóteses?

Realisticamente, não deve haver diferença. Todo teste que você executa para otimizar seu site ou qualquer propriedade digital deve começar com uma pergunta principal e uma hipótese. Essas são as medidas de linha de base do motivo pelo qual você está executando o teste e se o teste foi ou não bem-sucedido. Freqüentemente, assisto as empresas se concentrarem em uma única métrica para fins de teste em um curto período de tempo, apenas para descobrir meses depois que a mesma métrica não se sai bem com o tempo.

Normalmente, os testes são realizados em duas a três semanas, o que não é tempo suficiente para determinar se uma única métrica continuará ou não nessa tendência nos próximos meses. Em vez de analisar uma única métrica, procure uma resposta para sua pergunta e se sua hipótese estava correta ou não. Um teste verdadeiramente bem-sucedido fornecerá as principais informações que você não conhecia anteriormente sobre essa página e o segmento que você segmentou e fornecerá uma prova a favor ou contra a hipótese principal usando dados.

Com as perguntas de nível superior respondidas e os dados para provar ou refutar a hipótese, qualquer pessoa que faça o teste agora está munida de munição suficiente para qualquer dúvida ou preocupação ad hoc. Algo que é esquecido é que, ao fazer o teste, o trabalho do testador não é responsável por aumentar ou diminuir uma métrica específica. Em vez disso, eles devem se concentrar em fornecer o melhor cenário de teste para responder à pergunta principal e coletar os dados corretos para provar ou refutar a hipótese. Todo teste, seja A / B ... N, multivariado, teste de experiência, etc., deve ter uma hipótese, se você considerar o teste de hipóteses como um teste separado todos juntos, então há um problema maior em mãos.

Todas as respostas (até agora) estão erradas. Todos eles parecem estar afirmando que o teste de hipóteses é uma versão generalizada do teste a / b. Ou que o teste a / b é uma versão do teste de hipóteses. Errado!

Então, por que isso está errado? O teste A / B é um experimento e o teste de hipóteses é uma técnica estatística para fazer inferências a partir dos dados.

A distinção está entre como você está coletando dados e como você analisa os resultados.

Nos testes A / B, você está criando dois grupos de usuários. Um grupo servirá como controle e o outro é o grupo de tratamento. Atribuímos aleatoriamente os usuários a um dos dois grupos. Isso também é chamado de projeto de pesquisa cego único.

Agora, o teste de hipóteses é o que acontece quando queremos comparar algumas variáveis ​​de resultado entre esses dois grupos desse experimento. Temos um nulo de nenhuma diferença entre os dois grupos e queremos ver se existe uma diferença real.