Modelo de experimento A/B na Remuneração de Entregadores
Vamos imaginar um cenário em que a Shopee deseja otimizar a remuneração por entrega para expandir a satisfação dos entregadores e, consequentemente, aprimorar a eficiência das entregas. Para isso, a empresa decide executar um experimento A/B, uma ferramenta poderosa para validar hipóteses e tomar decisões baseadas em informações.
A formulação da hipótese central a ser testada é a seguinte: ‘Um aumento de 10% na remuneração base por entrega resultará em um aumento de 5% na taxa de inferência de entregas e uma diminuição de 2% no tempo médio de entrega’. Esta hipótese guiará todo o experimento e permitirá que a Shopee avalie o impacto real da mudança na remuneração.
As métricas de sucesso serão: taxa de inferência de entregas (percentual de entregas realizadas com sucesso em relação ao total de entregas designadas) e tempo médio de entrega (tempo gasto, em minutos, para completar uma entrega). Medir essas métricas antes, durante e após o experimento A/B fornecerá informações concretos sobre o desempenho de cada grupo.
O grupo de controle receberá a remuneração base atual, enquanto o grupo experimental receberá a remuneração base acrescida de 10%. Ambos os grupos devem ser compostos por entregadores com perfis semelhantes (experiência, área de atuação, etc.) para garantir a validade do experimento. Por exemplo, poderíamos selecionar aleatoriamente 500 entregadores para cada grupo, garantindo uma amostra representativa.
A Jornada do experimento: Uma Narrativa de informações
O experimento começou como um dia ensolarado, promissor. A equipe, munida de informações e expectativas, preparou o terreno para a batalha entre as duas abordagens de remuneração. O grupo de controle, seguindo o caminho já conhecido, continuou suas entregas sob as regras antigas. O grupo experimental, por outro lado, embarcou em uma nova aventura, impulsionado pelo aumento de 10% na remuneração.
A duração do experimento foi definida em duas semanas. Esse prazo foi escolhido com cuidado, buscando um equilíbrio entre a coleta de informações suficientes para uma análise estatística robusta e a necessidade de evitar um impacto prolongado nos custos operacionais da Shopee. Afinal, um experimento A/B é uma fotografia do presente, e o tempo é um fator crucial.
Durante essas duas semanas, a equipe acompanhou de perto as métricas de sucesso. A taxa de inferência de entregas e o tempo médio de entrega foram monitorados em tempo real, revelando padrões e nuances que antes permaneciam ocultos. Os informações fluíam como um rio, guiando a equipe em direção à verdade.
Os recursos necessários para a implementação do experimento incluíram uma plataforma de análise de informações, um sistema de gestão de entregas capaz de segmentar os entregadores nos grupos de controle e experimental, e uma equipe de analistas para interpretar os resultados. Cada peça desse quebra-cabeça era essencial para o sucesso do experimento.
Resultados e Conclusões: Desvendando o Código
Ao final das duas semanas, os informações foram compilados e analisados. A equipe se reuniu para desvendar o código, buscando padrões e insights que pudessem guiar as decisões futuras. Os gráficos e tabelas ganharam vida, revelando histórias de entregadores, rotas e remunerações.
Os resultados mostraram que o grupo experimental, com a remuneração aumentada, apresentou um aumento de 4% na taxa de inferência de entregas e uma diminuição de 1% no tempo médio de entrega. Embora o aumento na taxa de inferência tenha sido ligeiramente inferior ao esperado (5%), a diminuição no tempo médio de entrega ficou dentro da margem aceitável (2%).
Um exemplo prático: um entregador do grupo de controle, em média, completava 10 entregas por dia, enquanto um entregador do grupo experimental completava 10.4 entregas. Além disso, o tempo médio de entrega diminuiu de 30 minutos para 29.7 minutos. Esses números, aparentemente pequenos, representam um impacto significativo em larga escala.
A inferência principal foi que o aumento na remuneração, embora não tenha atingido a meta inicial, gerou um impacto positivo na eficiência das entregas. A Shopee, com base nesses resultados, pode decidir executar o aumento na remuneração em larga escala, ou realizar novos testes A/B com diferentes valores de aumento para otimizar ainda mais a remuneração dos entregadores. Vale destacar que a jornada experimental é contínua. A busca pela otimização é um ciclo sem fim, impulsionado por informações e insights.