Guia Prático: Fale com a Shopee por Telefone Facilmente
Identificando a Necessidade: experimento A/B no Atendimento
A princípio, imagine que a Shopee percebe um aumento nas reclamações sobre a dificuldade de encontrar o número de telefone para contato. A equipe de análise propõe um experimento A/B para otimizar a experiência do usuário. A formulação da hipótese central a ser testada é: “Exibir o número de telefone de contato da Shopee de forma mais proeminente na página de ajuda reduzirá o número de tickets de suporte abertos pelos usuários”.
Para conduzir este experimento, definimos algumas métricas de sucesso claras. A principal é a redução no número de tickets de suporte relacionados à dificuldade de encontrar informações de contato. Uma métrica secundária seria o aumento no número de visualizações da página contendo o número de telefone. O grupo de controle observará a página de ajuda existente, enquanto o grupo experimental observará a página com o número de telefone destacado em um banner visível. Vamos empregar um banner vermelho, por exemplo.
A duração do experimento será de duas semanas. Esse período é justificado pela necessidade de coletar informações suficientes para alcançar significância estatística, considerando o volume diário de acessos à página de ajuda. Os recursos necessários incluem um desenvolvedor para executar a alteração na página, um analista para monitorar as métricas e uma ferramenta de experimento A/B (como Google Optimize) para gerenciar o experimento e coletar os informações.
Implementando o experimento: Detalhes Técnicos do trajetória
Agora, vamos detalhar a implementação do experimento A/B. O primeiro passo é configurar a ferramenta de experimento A/B, definindo os grupos de controle e experimental. O grupo de controle, como mencionado, continua visualizando a página de ajuda padrão. O grupo experimental, por outro lado, visualiza a página com o banner destacado contendo o número de telefone. Para garantir a validade do experimento, a alocação dos usuários aos grupos deve ser aleatória e balanceada, mantendo uma proporção de 50/50.
Outro aspecto relevante é o rastreamento das métricas. É fundamental configurar eventos de rastreamento para monitorar o número de visualizações da página de ajuda e o número de tickets de suporte abertos. Esses eventos devem ser precisamente definidos e implementados para garantir a coleta de informações correta. Além disso, é crucial monitorar outras métricas que possam ser afetadas pela alteração, como o tempo médio de resolução dos tickets de suporte.
Ainda, durante o período do experimento, é crucial monitorar a integridade dos informações e verificar se não há problemas técnicos que possam comprometer os resultados. Por exemplo, é crucial garantir que o banner esteja sendo exibido corretamente para o grupo experimental e que os eventos de rastreamento estejam funcionando conforme o esperado. Qualquer anomalia deve ser investigada e corrigida o mais ágil possível.
Análise e Conclusões: O Telefone Salvou o Dia?
Imagine que, após duas semanas, os resultados do experimento A/B chegam. Os informações mostram uma redução de 15% no número de tickets de suporte abertos pelo grupo experimental! Além disso, o número de visualizações da página com o número de telefone aumentou em 20%. Bingo! Parece que destacar o telefone realmente facilitou a vida dos usuários.
Por outro lado, vamos supor que os resultados mostrem pouca ou nenhuma diferença entre os grupos. Nesse caso, a hipótese inicial seria rejeitada, e outras soluções seriam exploradas. Talvez o desafio não seja a visibilidade do telefone, mas sim a clareza das informações fornecidas pelos atendentes. Ou talvez os usuários prefiram outros canais de comunicação, como o chat.
Por fim, considere um cenário onde a redução nos tickets é significativa, mas o tempo médio de resolução dos tickets aumentou. Isso poderia indicar que, embora mais pessoas estejam encontrando o telefone, as ligações estão sendo mais demoradas. Nesse caso, seria necessário investigar o motivo desse aumento e buscar formas de otimizar o atendimento telefônico, talvez com treinamento adicional para os atendentes ou a implementação de um sistema de autoatendimento mais eficiente.