Planteamiento y contexto
El clic se observa después de la asignación y se ve afectado por el tratamiento. Restringir el análisis a quienes hicieron clic puede parecer una comparación de subgrupos útil, pero puede destruir la aleatorización que identificaba el efecto general del tratamiento.
Qué evalúa el entrevistador
- Distinguir moderadores pre-tratamiento de mediadores post-tratamiento.
- Explicar el sesgo de colisionador (collider bias) y de selección con un grafo causal.
- Elegir un estimando que se alinee con la decisión de producto.
Preguntas para aclarar antes de responder
- ¿El clic se mide antes de la asignación, después de la asignación o en ambos momentos?
- ¿La decisión trata sobre el impacto total, el efecto entre los que cumplen con el tratamiento (compliers) o un mecanismo a través del panel?
- ¿Existen variables pre-tratamiento que predigan tanto hacer clic como comprar?
- ¿El filtro de clics se planificó antes del experimento y cuenta con el respaldo de una estrategia de identificación válida?
Estructura de respuesta en 30 segundos
No compararía a los compradores únicamente entre los usuarios que hicieron clic como resultado principal. Hacer clic es un mediador post-tratamiento y también puede verse afectado por rasgos no medidos que predicen la compra. Condicionar sobre esta variable puede abrir una vía no causal y desaleatorizar los grupos. Reportaría el efecto por intención de tratar (intent-to-treat) para todos los usuarios asignados y luego utilizaría un análisis de mediación o de estratificación principal preespecificado únicamente bajo supuestos explícitos.
Análisis detallado paso a paso
1. Trazar el orden temporal
La asignación precede al clic, y el clic precede a la compra. Un rasgo de línea base puede influir tanto en el clic como en la compra. El tratamiento también influye en el clic, por lo que el subconjunto de usuarios que hicieron clic se selecciona utilizando una variable posterior al tratamiento.
2. Plantear la pregunta causal
El efecto total evalúa qué sucedería si el producto se lanzara a toda la población asignada. Una pregunta de mecanismo evalúa cuánto del efecto se transmite a través del panel. Una pregunta sobre los que responden (responders) evalúa a los usuarios cuyo comportamiento de clic sería el mismo en cualquiera de los dos grupos. Estos son estimandos diferentes.
3. Mostrar por qué falla el filtrado
Dentro del subconjunto de usuarios que hicieron clic, los usuarios de tratamiento y de control pueden diferir en su propensión latente a comprar porque el tratamiento alteró quiénes entraron a dicho subconjunto. La aleatorización original protege a la población asignada completa, no a una sección arbitraria post-tratamiento.
4. Seleccionar un análisis defendible
Utiliza la intención de tratar como la estimación de lanzamiento. Para la mediación, preespecifica las covariables de línea base, define las ventanas de tiempo del mediador y del resultado, y establece supuestos sobre la confusión entre mediador y resultado. Para preguntas de cumplimiento, considera la estratificación principal o métodos de variables instrumentales cuando sus supuestos sean creíbles.
5. Comunicar las limitaciones
Muestra la estimación general, las tasas de clics por grupo y el análisis secundario por separado. No califiques la comparación entre los usuarios que hicieron clic como causal simplemente porque el tamaño de la muestra sea grande o el evento de clic sea observable. Explica qué conclusiones están identificadas y cuáles dependen de supuestos.
Ejemplo de respuesta de alta calidad
“El clic ocurre después de la asignación y se ve modificado por el tratamiento, por lo que filtrar a quienes hicieron clic implica condicionar sobre un mediador. Eso puede seleccionar diferentes propensiones latentes de compra en tratamiento y control, rompiendo la protección de la aleatorización. Utilizaría la intención de tratar para la decisión de lanzamiento, mostraría las tasas de clics y el efecto general de compra, y trataría cualquier análisis de mecanismo o de respuesta como secundario. Preespecificaría un grafo causal y los supuestos correspondientes antes de recurrir a métodos de mediación o de estratificación principal.”
Errores comunes
- Comparar solo a quienes hicieron clic → el tratamiento cambia quiénes están incluidos → mantén la intención de tratar como principal.
- Llamar al clic un segmento de línea base → se mide después de la asignación → registra el orden temporal.
- Ajustar por cada comportamiento observado → el condicionamiento post-tratamiento puede abrir vías de sesgo → utiliza covariables pre-tratamiento justificadas.
- Tratar un subgrupo grande como causal → la precisión no restaura la identificación → especifica el estimando y los supuestos.
Preguntas de seguimiento y respuestas
¿Puedo seguir reportando el resultado de quienes hicieron clic?
Sí, como un resultado secundario descriptivo o explícitamente dependiente de supuestos. Etiquétalo como una asociación dentro de los usuarios que hicieron clic observados y muestra cómo el filtro cambia la composición de los grupos.
¿Por qué no simplemente controlar el clic en una regresión?
El ajuste por regresión no convierte una variable post-tratamiento en una pre-tratamiento. Puede bloquear parte del efecto del tratamiento y generar sesgo de colisionador cuando causas no medidas afectan tanto el clic como la compra.
¿Qué pasa si la decisión de producto es específicamente para quienes hacen clic?
Define el objetivo como un estrato principal, como los usuarios que harían clic bajo cualquiera de los dos grupos, y utiliza un método de identificación cuyos supuestos puedas defender. Los usuarios que efectivamente hicieron clic no constituyen automáticamente ese estrato.