Planteamiento y contexto
Una métrica agregada contradice a cada subgrupo importante. La tarea consiste en determinar si un desbalance en la mezcla de segmentos, un confusor, una regla de selección o un error de muestreo generaron la inversión, y elegir un estimando antes de aplicar una corrección estadística.
Qué evalúa el entrevistador
- Reconocer la paradoja de Simpson como una inversión por agregación, no como una contradicción matemática.
- Verificar la asignación del tratamiento, el balance de segmentos, los denominadores y los planes de análisis preespecificados.
- Separar la asociación descriptiva de un efecto de tratamiento causal.
Preguntas de aclaración antes de responder
- ¿Qué segmentos se definieron antes del tratamiento y cuáles se descubrieron después?
- ¿Fue aleatorizada la asignación y están balanceadas las tasas de exposición y de resultados faltantes?
- ¿La decisión concierne a la población general, a un segmento objetivo o a un efecto de política tras la estandarización?
- ¿Existen celdas dispersas, usuarios repetidos o variables posteriores al tratamiento sobre las que se esté condicionando?
Estructura de respuesta en 30 segundos
Reproduciría las tablas agregadas y por segmento con sus denominadores, verificaría la aleatorización y el balance de exposición, e identificaría la variable que altera la mezcla de segmentos. Preespecificaría el estimando objetivo y luego reportaría los efectos estandarizados o estratificados con su incertidumbre. Si la aleatorización falló, volvería a ejecutar o repararía el experimento; si el segmento es un modificador de efecto genuino, no lo consolidaría en un único número principal.
Análisis detallado paso a paso
1. Reconstruir la aritmética
Para cada segmento, muestre los usuarios de tratamiento, usuarios de control, conversiones y tasas. Las tasas agregadas son promedios ponderados; diferentes ponderaciones pueden invertir la comparación incluso cuando cada segmento favorece al tratamiento. Verifique si un panel de control utilizó impresiones, usuarios expuestos o todos los usuarios asignados como denominador.
2. Auditar la asignación y la exposición
Compare la probabilidad de tratamiento y las proporciones de los segmentos antes de observar los resultados. Revise las reglas de despliegue, la elegibilidad por dispositivo, la geografía, las ventanas de tiempo, los bots y los eventos faltantes. Un grupo de tratamiento concentrado en un segmento con una baja conversión de línea base puede perder en el agregado sin contradecir los efectos positivos dentro de cada segmento.
3. Definir el estimando
Un efecto global por intención de tratar (intent-to-treat) responde a una pregunta de lanzamiento a nivel poblacional. Un efecto específico por segmento responde si el tratamiento funciona de manera diferente según el dispositivo. Un efecto estandarizado repondera las estimaciones específicas de cada segmento hacia una población objetivo seleccionada. Indique qué pregunta requiere la decisión; ningún ajuste es universalmente correcto.
4. Elegir una solución
Con una aleatorización válida y celdas adecuadas, reporte estimaciones estratificadas o ajustadas por regresión con intervalos de confianza y evalúe la interacción con cautela. Si hay desbalance en la asignación, corrija la aleatorización o repita el experimento. Para datos observacionales, dibuje un grafo causal, ajuste únicamente por confusores previos al tratamiento y utilice ponderación o emparejamiento con análisis de sensibilidad. Nunca ajuste por un mediador posterior al tratamiento solo para eliminar la inversión.
5. Comunicar la decisión de lanzamiento
Muestre las estimaciones agregadas, por segmento y estandarizadas juntas, incluyendo la incertidumbre y el tamaño de los segmentos. Lance globalmente solo cuando el estimando objetivo y la tolerancia al riesgo lo respalden; de lo contrario, implemente por segmento, recopile más datos o pause. Documente el plan de análisis para que la búsqueda reiterada de subgrupos no infle los falsos positivos.
Ejemplo de respuesta de alta calidad
“Primero reconstruiría ambas tasas con los denominadores de tratamiento y control y verificaría la asignación, la exposición, la elegibilidad y el balance de eventos faltantes. Luego identificaría el segmento que impulsa la diferencia de ponderación y definiría si necesitamos un efecto poblacional por intención de tratar o un efecto específico por segmento. Con una aleatorización sólida, reportaría estimaciones estratificadas y estandarizadas con intervalos e inspeccionaría la interacción; con desbalance, volvería a ejecutar o repararía el experimento. Mostraría todas las perspectivas en el memo de lanzamiento y evitaría ajustes posteriores al tratamiento o la búsqueda no planificada de subgrupos”.
Errores comunes
- Confiar en el agregado del panel de control → la ponderación puede invertir la señal → recalcular los numeradores, denominadores y ponderaciones de los segmentos.
- Declarar el resultado del segmento como causal automáticamente → la asignación o la exposición pueden estar sesgadas → auditar primero la aleatorización y los resultados faltantes.
- Ajustar por cada variable disponible → el sesgo posterior al tratamiento puede aumentar → ajustar solo por confusores previos al tratamiento que estén justificados.
- Elegir cualquier resultado que respalde el lanzamiento → el estimando cambia silenciosamente → preespecificar la población objetivo y el análisis.
Preguntas de seguimiento y respuestas
¿La paradoja de Simpson es siempre un problema?
No. Señala que las preguntas agregadas y condicionales difieren. El agregado puede ser el estimando de lanzamiento correcto, mientras que un efecto de segmento puede ser la decisión de segmentación adecuada; el problema radica en no especificar cuál se pretende responder.
¿Cómo manejar un segmento muy pequeño?
Muestre su incertidumbre y evite sobreinterpretar una inversión ruidosa. Considere modelos jerárquicos o una regla de agregación preespecificada, y recopile más observaciones antes de asumir un compromiso específico para ese segmento.
¿Qué sucede si la variable de segmento es posterior al tratamiento?
No condicione sobre ella para la estimación causal primaria. Repórtela de forma descriptiva o utilice un análisis de mediación con supuestos explícitos; condicionar sobre ella puede crear sesgo de colisionador o de mediador.