La presentación de resultados de un experimento debe permitir responder a tres preguntas: ¿era fiable la comparación?, ¿qué magnitud del efecto resulta razonable a la vista de los datos? y ¿qué decisión se deriva de ello? Una tasa de conversión más alta no responde por sí sola a las tres. Muestra la recomendación junto al resultado y, después, el diseño y el cálculo que la sustentan.
Esta guía utiliza una única prueba A/B ficticia: un equipo de software de reservas ensaya un proceso de configuración más corto. Todos los recuentos, resultados y decisiones son ejemplos didácticos, no una prueba de Presenti ni resultados de sus clientes. La mejora observada parece atractiva, pero no cumple la regla de lanzamiento que el equipo había definido.
Una vez aprobado el análisis, puedes utilizar el flujo de Presenti para crear una presentación a partir de texto y convertir el esquema del informe en diapositivas editables. Incluye juntas las cifras aprobadas y sus limitaciones: el borrador ayuda a comunicar el análisis, no lo sustituye.
Expón la decisión y la prueba antes de mostrar un gráfico
El equipo ficticio quiere que más usuarios nuevos terminen la configuración. El cambio elimina dos preguntas opcionales del proceso inicial. La hipótesis es que así disminuye la fricción y aumenta la proporción de usuarios nuevos elegibles que completan la configuración en siete días. Hay que decidir si se sustituye el proceso actual para todos esos usuarios, no si el más corto resulta más atractivo visualmente.
| Elemento | Definición utilizada |
|---|---|
| Población | Usuarios nuevos que cumplen los requisitos del proceso de configuración; las cuentas de prueba internas se excluyen antes de la asignación. |
| Unidad de aleatorización | Un usuario, identificado de forma coherente entre visitas; las visitas posteriores conservan la asignación original. |
| Comparación | Proceso actual frente a proceso abreviado, ejecutados simultáneamente con una asignación prevista de 1:1. |
| Resultado principal | Al menos una finalización registrada durante los siete días posteriores a la asignación, contabilizada una vez por usuario. |
| Periodo de observación | Incorporación de usuarios durante los días 1–14; informe final cuando el último incorporado haya completado una ventana de siete días. |
| Métrica de protección de soporte | Al menos un contacto con soporte relacionado con la configuración dentro de esos mismos siete días, contabilizado una vez por usuario. |
La asignación aleatoria importa porque los usuarios no eligen la versión que reciben. La explicación del NIST sobre el diseño completamente aleatorizado describe la asignación de tratamientos al azar a las unidades experimentales. Una comparación antes-después, o entre personas que decidieron probar voluntariamente un nuevo proceso, exigiría explicar otros sesgos y no justificaría el mismo lenguaje causal.
En este ejemplo, antes de leer los resultados, el equipo acordó una regla de lanzamiento simplificada: la estimación de mejora en finalización debe alcanzar al menos 2 puntos porcentuales, su intervalo de confianza bilateral del 95 % debe estar completamente por encima de cero y el límite superior del aumento de contactos con soporte debe quedar por debajo de 1 punto porcentual. Estos umbrales ilustran una política de decisión; no son normas universales para pruebas A/B. Un plan real también necesita un cálculo adecuado del tamaño de muestra y un método de análisis acordado antes de examinar los resultados.
Mantén en el denominador a los usuarios asignados
Muestra los recuentos antes que los porcentajes. En los datos ficticios, cada grupo contiene 2.000 usuarios asignados. Quien abandona la configuración sigue en el denominador. Dividir solo entre quienes alcanzaron el último paso excluiría precisamente el comportamiento que el proceso abreviado pretende cambiar.
| Medida | Proceso actual | Proceso abreviado |
|---|---|---|
| Usuarios elegibles asignados | 2.000 | 2.000 |
| Usuarios que completaron la configuración | 800 | 860 |
| Tasa de finalización | 800 / 2.000 = 40,0 % | 860 / 2.000 = 43,0 % |
| Usuarios que contactaron con soporte por la configuración | 40 | 44 |
| Tasa de contacto con soporte | 40 / 2.000 = 2,0 % | 44 / 2.000 = 2,2 % |
El ejemplo supone que la captura de eventos es fiable, que no faltan registros de resultados y que las observaciones son independientes. En un informe real, la ausencia de un evento de finalización solo puede interpretarse como no finalización si el sistema de medición funcionaba. Una caída, un dispositivo sin seguimiento o un fallo al vincular identidades no equivalen automáticamente a cero. Si la captura difiere entre variantes, resuelve ese problema antes de interpretar la diferencia de tasas.
Presenta también las comprobaciones de asignación y exclusión. La investigación de Microsoft sobre desajustes en la proporción de las muestras explica por qué un reparto inesperado puede advertir de problemas en los datos. Aquí los totales iguales facilitan la explicación; no demuestran que la asignación, el registro o las reglas de elegibilidad fueran correctos. Tampoco debes excluir usuarios después de asignarlos simplemente porque no participaron.
Muestra el cambio absoluto y su incertidumbre
El resultado admite dos descripciones matemáticamente correctas: 43,0 % menos 40,0 % es un aumento de 3,0 puntos porcentuales, mientras que 3,0 dividido entre 40,0 es un aumento relativo del 7,5 %. Empieza por los puntos porcentuales y muestra las tasas originales. Un titular que solo diga «sube un 7,5 %» oculta el punto de partida y se puede confundir con una ganancia de 7,5 puntos.
Para el cálculo ilustrativo, utilizamos el intervalo de aproximación normal para dos proporciones independientes descrito en la lección de Penn State sobre comparación de parámetros poblacionales. El error estándar estimado es la raíz cuadrada de [0,43 × 0,57 / 2.000 + 0,40 × 0,60 / 2.000], aproximadamente 0,01557. La diferencia, 0,03, más o menos 1,96 veces ese error estándar da un intervalo aproximado del 95 % de −0,1 a +6,1 puntos porcentuales, tras redondear.
Este cálculo encaja con un ejemplo deliberadamente sencillo: resultados binarios independientes y suficientes éxitos y fracasos en ambos grupos. No es una fórmula que se pueda aplicar sin más a sesiones repetidas, cuentas aleatorizadas por grupos, eventos raros o diseños secuenciales. Para tu experimento, utiliza el intervalo del análisis aprobado.
| Resultado | Cambio estimado | Intervalo aproximado del 95 % | Consecuencia para la decisión |
|---|---|---|---|
| Finalización de la configuración | +3,0 puntos porcentuales | −0,1 a +6,1 puntos | La estimación puntual supera +2 puntos, pero el intervalo incluye cero; no se cumple la regla de lanzamiento. |
| Contacto con soporte | +0,2 puntos porcentuales | −0,7 a +1,1 puntos | El límite superior supera el aumento permitido de +1 punto; la métrica de protección no cumple su regla. |
En el gráfico principal, representa la diferencia de finalización con un punto en +3,0, un intervalo de −0,1 a +6,1, una línea de referencia en cero y otra marca para el objetivo práctico de +2 puntos. Etiqueta el eje como «Cambio en la tasa de finalización, puntos porcentuales». No representes el 43 % como si fuera el efecto ni recortes dos barras para que una diferencia pequeña parezca enorme.
Que un intervalo cruce el cero no demuestra que no exista efecto. Aquí, tanto una mejora pequeña o nula como una mejora valiosa siguen siendo compatibles con el cálculo. A la inversa, una estimación puntual positiva no demuestra un efecto positivo. El resultado de soporte tampoco permite afirmar «sin carga adicional»: su incertidumbre supera la tolerancia establecida.
Resuelve el desacuerdo en la reunión, no lo escondas en un anexo
Imagina tres reacciones. Marketing quiere anunciar «un onboarding un 7,5 % mejor». Un analista dice que el experimento no encontró ningún efecto. La persona responsable de producto propone mantener la prueba hasta que sea significativa. El informe debe separar la preocupación legítima de cada postura de la conclusión que realmente respaldan los datos.
| Postura | Qué reconocer | Qué debe decir la diapositiva de decisión |
|---|---|---|
| «La mejora relativa justifica lanzarlo». | La dirección y la magnitud observadas son alentadoras. | La finalización observada pasó del 40 % al 43 %; la incertidumbre y la regla de soporte impiden el despliegue general con este plan. |
| «El cambio no hace nada». | El resultado no alcanzó el umbral de evidencia. | El resultado no es concluyente para decidir el lanzamiento; no demuestra equivalencia. |
| «Sigamos recogiendo datos hasta que apruebe». | Obtener más información podría ser útil. | Cierra este análisis de horizonte fijo según lo previsto y pide al analista un diseño de seguimiento justificado, no una regla de parada improvisada. |
El seguimiento continuo es posible con un método adecuado, pero no equivale a aplicar repetidamente una regla ordinaria de horizonte fijo. El trabajo de Microsoft Research sobre reglas de parada adecuadas explica por qué el análisis y la política de parada deben diseñarse juntos.
La misma prudencia se aplica a los subgrupos. Si los usuarios móviles parecen beneficiarse más, indica si esa comparación estaba prevista y cuántas segmentaciones se examinaron. Un análisis exploratorio puede motivar una hipótesis posterior, pero no debe sustituir silenciosamente al resultado principal por ofrecer un titular más favorable.
Prepara seis diapositivas a partir del análisis aprobado
Utiliza esta estructura como plantilla de trabajo. Cada diapositiva tiene una función distinta. La primera presenta la recomendación; las siguientes permiten cuestionarla sin tener que buscar en una hoja de cálculo durante la reunión.
| Diapositiva | Título de ejemplo | Contenido |
|---|---|---|
| 1. Decisión | No sustituir todavía el proceso de configuración actual | Mejora observada de +3,0 puntos; criterios de lanzamiento y soporte incumplidos; decisión solicitada a la persona responsable de producto. |
| 2. Diseño de la prueba | Un usuario, una asignación y siete días de seguimiento | Elegibilidad, control simultáneo, reparto, definición del resultado y periodos de incorporación y seguimiento. |
| 3. Validez de los datos | El denominador incluye a todos los usuarios elegibles asignados | 2.000 por grupo, exclusiones, comprobaciones de registro, diagnóstico de asignación y problemas de medición pendientes. |
| 4. Resultado principal | La mejora observada es prometedora, pero incierta | 800/2.000 frente a 860/2.000; efecto absoluto, intervalo, línea de cero y objetivo práctico. |
| 5. Protección y límites | El impacto en soporte sigue siendo incierto | 40 frente a 44 usuarios que contactan con soporte, intervalo, tolerancia y límites de la población del experimento. |
| 6. Acción registrada | Mantener el proceso actual y definir la siguiente prueba | Producto acepta la decisión; el analista propone el diseño posterior; soporte revisa las preguntas eliminadas antes de otra prueba. |
Adjunta el análisis, las definiciones de métricas y los diagnósticos de asignación como material de respaldo. No hace falta mostrar todas las filas en una diapositiva, pero debe ser posible rastrear cada cifra principal hasta la versión aprobada del análisis. Al preparar un borrador con IA, incluye «ejemplo ficticio desarrollado», ambos denominadores, ambos intervalos y la regla de lanzamiento. Revisa el texto resultante para detectar negaciones omitidas, unidades cambiadas o veredictos inventados.
Registra la acción concreta que permite este resultado
Para esta prueba ficticia, el acta recoge lo siguiente: mantener el proceso de configuración actual; no afirmar una mejora de finalización demostrada ni dar por cumplida la condición de protección de soporte; pedir al analista y a la persona responsable de soporte que propongan el siguiente estudio antes de otra decisión de lanzamiento. Una prueba posterior podría evaluar instrucciones revisadas o diseñarse para aclarar un efecto menor, pero su pregunta, tamaño de muestra, medición y regla de parada deben fijarse antes de examinar nuevos resultados.
El informe cumple su función cuando el equipo puede explicar por qué toma esa decisión. Una presentación persuasiva no hace que un resultado incierto parezca seguro: coloca en la misma página la evidencia, el umbral de negocio y la decisión que sigue abierta.
