sábado, 8 de septiembre de 2012

Huye de las métricas irrelevantes: 7 trucos para identificarlas

Post creado por Luis Martín.


Un exceso de herramientas de medición nos puede llevar a que no veamos la información realmente importante. Aprendamos a utilizar sólo indicadores útiles.

Albert Einstein dijo, entre otras muchas cosas, algo que aplica de maravilla en cualquier entorno relacionado con la medición: “Not everything that counts can be counted, and not everything that can be counted counts”. O lo que es casi lo mismo: “No todo lo que cuenta puede ser contado, ni todo lo que puede ser contado cuenta”.

Esta premisa aplica especialmente bien en analítica web, donde en ocasiones existe un exceso de información que sepulta los anhelados insights.

Siguiendo con los símiles basados en físicos de renombre, el alemán Hermann von Hemlholtz enunció el célebre principio de conservación de la energía, que habitualmente se resume en la siguiente frase: “La energía ni se crea ni se destruye, sólo se transforma”. Podemos decir haciendo un símil que el mismo principio aplica a la información. Es decir, que la información de nuestro sistema ni se crea ni se destruye, sino que se transforma, concretamente en conocimiento. El trabajo de un analista web es llevar a cabo esta conversión.

Desgraciadamente, el proceso de obtención de conocimiento a partir de datos brutos no es sencillo. Además, es fácil caer en la trampa de analizar de más, corriendo el peligro de ocultar lo realmente importante. A continuación, listo una serie de pautas para identificar rápidamente si una métrica o KPI es irrelevante:

1. Es muy compleja. Una métrica demasiado compleja es, por definición, difícil de interpretar. Si el trabajo de comprensión es excesivo, la métrica deja de ser útil. Esto puede tener que ver con el tipo de visualización elegida o con la propia información de la métrica.

2. No se puede medir a tiempo. Si los datos no llegan con la antelación suficiente a las posibles acciones correctoras, no se puede utilizar. No estoy hablando aquí necesariamente de tiempo real, pero sí de una sincronización con las acciones a tomar.

3. No responde a los objetivos del sitio. Si no se corresponde con los objetivos, no es relevante. Puede parecer evidente, pero se incurre en este error de manera muy habitual. Sin ir más lejos, los informes que Google Analytics muestra por defecto contienen información que no se corresponde con los objetivos de la mayor parte de los sitios. Son demasiado generales, por eso debemos personalizar.

4. No es “accionable”. Es decir, la información que nos ofrece no sugiere acciones de mejora. Undashboard puede ser muy bonito, pero si no nos ayuda a mejorar, es completamente inútil.

5. Me gusta demasiado lo que veo. Aquí entraríamos a hablar del grupo de las llamadas “vanity metrics”. Esto es, aquellas métricas que hacen que nuestro ego crezca, pero que nos ayudan muy poco.

6. Está fuera de contexto. Tenemos que jugar a aquello de “¿Cuál es el elemento que sobra?”. Las métricas se presentan en paneles de control o informes, que proporcionan un contexto. Si no tenemos claro que pertenece al entorno actual, debemos buscarle otro sitio para vivir.

7. No hay un culpable. La responsabilidad es clave para poder mejorar. Si un indicador falla, pero no hay un responsable de ese comportamiento, el dato sirve de poco. Es habitual buscar a los culpables fuera de la organización (“con esta crisis”, “con la que está cayendo fuera”), pero alguien debe hacerse responsable en la propia compañía.

Si nos ponemos a analizar nuestros paneles de control, seguramente nos demos cuenta de que las métricas elegidas cumplen en mayor o menor medida algunas de estas pautas. ¿Qué hacer? ¿Lo tiramos todo a la basura? Tampoco es eso. Sin embargo, podemos plantearnos un cambio progresivo hacia paneles de control con verdadero valor para nuestros objetivos. A la larga, seguro que lo terminamos agradeciendo.







No hay comentarios:

Publicar un comentario