Como analisar suas Métricas em 4 passos

Diariamente os nossos produtos estão passando por diversas alterações, seja internamente ao lançar uma nova funcionalidade, corrigindo um bug, ou mesmo quando a percepção da marca está indo para outra direção. Para navegar este mar caótico nós usamos métricas que apontam como está o nosso produto ou funcionalidade e usamos como base para decisões futuras.

Por isso, como você lê as suas métricas é essencial para o futuro do seu produto, uma vez que irá impactar diretamente o que será construído e o que será deixado para depois (ou nunca).

Muitas vezes entender uma mudança nas nossas métricas não é tão simples, ainda mais quando está ligado ao comportamento do usuário. Por isso acabamos caindo em três níveis de maturidade de análise.

Nível 1 — Este é o nível de conforto, onde é somente observado superficialmente as alterações e é encaixado com a narrativa necessária.

Nível 2 — Entende-se que as métricas são complexas e que precisam ser analisadas, mas é feito ao modo “Cowboy” onde há diversos chutes sobre o motivo das alterações.

Nível 3 — Há um processo de análise das métricas a fim de entender o “por quê” daquela alteração.

4 Passos para analisar uma métrica

Toda métrica precisa ser analisada por quatro pontos de vista diferentes que irão compor o nosso algoritmo de análise. Para tornar mais didático, vamos utilizar o Medium como exemplo, aproveitando que estamos publicando nesta plataforma.

1. Impacto

Sua métrica é de alguma forma importante para o negócio, mas o quão importante é a métrica.

Digamos que no mês anterior houve uma queda em 20% de palmas (claps) por toda a plataforma. Será que esta queda foi importante?

A Missão do Medium é ser um marketplace entre escritores e leitores, portanto as métricas principais para o negócio estão ligadas ao número de publicações ou mesmo de leituras feitas por semana. A queda no número de palmas não necessariamente tem impacto direto nas métricas de alta importância.

No entanto, pode ser um sinal de que há mais informações para serem descobertas, visto que a queda pode ser ocasionada pela diminuição no número de publicações ou mesmo por haver publicações de menor qualidade naquele período de tempo.

2. Ambiente

A métrica também é influenciada pelo seu ambiente, seja o ambiente externo ou interno. Estes são alguns exemplos de possíveis mudanças:

• Lançamento de uma nova funcionalidade
• Alterações no design
• Campanha de marketing
• Época especial do ano
• Ação de um concorrente

Um exemplo muito simples é o COVID, durante os últimos dois anos diversos comportamentos foram alterados e por isso é importante entender se há algo no ambiente que pode causar uma alteração em algumas métricas.

3. Flutuação

As métricas são compostas de diversos fatores que levam até um determinado número. Exemplo: Em um produto B2B o número de Vendas é composto de leads que vem do marketing e o funil de vendas realizado pelo comercial.

Por isso é normal que existam pequenos ruídos em uma métrica, esse ruído é chamado de flutuação. Uma flutuação é o impacto gerado por diversos fatores que normalmente não estão em sua visibilidade, embora possam ser previsíveis.

Um exemplo disso é o período do ano ou momentos de festividades que podem impactar o engajamento e performance do produto. Por isso é importante saber a flutuação padrão ao longo do tempo, assim se houve aumento ou queda de 10% em sua métrica você saberá avaliar se é algo que precisa ser investigado ou se está dentro da normalidade.

4. Alavancagem

Dado que as métricas são compostas por outras métricas, é normal que alguns tenham mais ou menos impacto no cálculo final.

Por isso, é importante entender a Alavancagem que cada sub-métrica tem no todo, assim é possível isolar as partes e analisar cada etapa a fim de entender qual variação teve impacto no que está sendo acompanhado.

Exemplo: Os claps (palmas) caíram em 30% no Medium

Sendo você a pessoa responsável pela análise de dados do Medium, é observado uma variação naquela semana. Os gráficos apresentam uma queda de 30% no número de palmas dadas as publicações naquele mês.

Para analisar esta alteração é preciso passar pelos quatro passos de análise:

1. Impacto: Esta é uma métrica de alto impacto? Ela irá refletir no negócio do Medium?

As palmas são um indicador superficial de engajamento com as publicações, ter publicações de qualidade e em quantidade é essencial para o negócio. Então é necessário ir mais a fundo para entender o que aconteceu.

2. Ambiente: Foi lançada alguma funcionalidade na plataforma? Houve alguma alteração em algum concorrente que levasse a queda no uso?

Como as palmas são uma funcionalidade simples, dificilmente há alguma mudança na feature. Mas também podemos observar alguma mudança no design ou mesmo um bug que impede a ação de ser realizada.

No nosso caso não há mudanças na função e nada aparente no ambiente que possa ter causado este impacto.

3. Flutuação: A variação de 30% é comum? Há algum outro momento no ano em que podemos passar por este tipo de flutuação?

Por ser uma função comum as palmas (claps) não sofrem com sazonalidade ou mesmo flutuação, exceto em Dezembro onde há uma diminuição no número de publicações o que acarreta na queda de claps.

4. Alavancagem: O que compõem a métrica de Palmas? Houve variação também nestas métricas?

Palmas = escritores ativos * visualizações / publicação * qualidade da publicação

Observando cada componente, você deve ser capaz de analisar qual alavanca sofreu alteração no mês anterior e que levou a esta queda. Ao ir mais a fundo você nota que o número de escritores ativos caiu durante o mesmo período que o número de Palmas caiu 30%.

Agora você seguirá o mesmo processo anterior, só que focado na métrica de escritores ativos, até entender o porquê da queda no valor.

Uma forma de tornar mais simples de observar as alterações em Alavancagem é criar dashboards com os fatores que influenciam a sua métrica principal. Assim você poderá mais rapidamente observar a flutuação das demais métricas.