O Cenário Inicial: Preparando o experimento A/B
Imagine que você percebe um aumento nas reclamações sobre atrasos na entrega. A hipótese central a ser testada é: simplificar o trajetória de alteração de endereço na Shopee reduzirá o número de erros de entrega e, consequentemente, as reclamações dos clientes. Para validar essa hipótese, precisamos definir métricas claras de sucesso. O principal indicador será a redução percentual das reclamações relacionadas a erros de entrega nas semanas seguintes à implementação da mudança.
Precisamos também do número de chamados no suporte técnico referentes ao mesmo desafio. Considere, por exemplo, que atualmente 10% dos pedidos apresentam algum tipo de desafio relacionado ao endereço. Para realizar o experimento A/B, dividiremos os usuários em dois grupos: um grupo de controle, que continuará utilizando o trajetória de alteração de endereço atual, e um grupo experimental, que terá acesso a uma versão simplificada do trajetória. Por exemplo, com menos campos obrigatórios e dicas mais claras.
A Narrativa dos informações: Simplificando o trajetória
A jornada para otimizar a alteração de endereço na Shopee começou com uma análise dos informações existentes. Observamos que muitos usuários abandonavam o trajetória de alteração de endereço no meio do caminho, indicando possíveis pontos de fricção. A complexidade do formulário, com diversos campos e informações limitado claras, parecia ser a principal culpada. Para atacar esse desafio, propusemos uma versão simplificada do formulário, com menos campos obrigatórios e instruções mais diretas. A ideia era reduzir a carga cognitiva dos usuários e facilitar a inferência do trajetória. A explicação por trás dessa abordagem reside na psicologia do usuário: quanto mais simples e intuitivo for um trajetória, maior a probabilidade de ele ser concluído com sucesso.
Acreditamos que essa simplificação não apenas diminuiria o número de erros de entrega, mas também melhoraria a experiência geral do usuário na plataforma. A duração do experimento foi definida em duas semanas, tempo suficiente para coletar informações relevantes sobre o comportamento dos usuários em ambos os grupos. É crucial ressaltar que a escolha desse prazo considerou o volume de pedidos processados diariamente na Shopee, garantindo uma amostra estatisticamente significativa.
Implementação Técnica: Detalhes do experimento A/B
A implementação do experimento A/B envolveu algumas etapas técnicas cruciais. Primeiro, foi necessário construir uma nova versão do formulário de alteração de endereço, simplificando os campos e otimizando a interface. Essa nova versão foi então integrada à plataforma Shopee, pronta para ser apresentada ao grupo experimental. Para garantir a aleatoriedade na alocação dos usuários aos grupos de controle e experimental, utilizamos um sistema de randomização baseado em algoritmos. Por exemplo, cada novo usuário que acessasse a página de alteração de endereço seria aleatoriamente direcionado para um dos dois grupos.
A infraestrutura necessária para a implementação do experimento incluiu servidores para hospedar a nova versão do formulário, ferramentas de análise de informações para monitorar o comportamento dos usuários e um sistema de controle de acesso para garantir a segurança das informações. Recursos humanos também foram alocados, incluindo desenvolvedores, designers e analistas de informações. Um exemplo prático: utilizamos o Google Analytics para rastrear o número de usuários que iniciaram e concluíram o trajetória de alteração de endereço em cada grupo, permitindo uma comparação precisa dos resultados.