Consigna y alcance
Eres el responsable de un asistente de IA empresarial. A veces debe responder, a veces pedir aclaraciones y a veces rechazar o escalar. Define la política de enrutamiento, el usuario objetivo y las métricas de éxito. Explica cómo manejas las respuestas incorrectas, el rechazo excesivo, el riesgo de privacidad, la capacidad del equipo humano y la validación del lanzamiento.
El material público reciente de entrevistas de PM para Copilot combina profundidad en IA, criterio de producto y diseño de evaluaciones. El OpenAI Model Spec también vincula la expresión de incertidumbre con la forma en que un usuario puede actuar, el costo de equivocarse y la información faltante. Por lo tanto, el desafío de producto consiste en transformar la incertidumbre en una política de decisión operable y visible para el usuario.
Qué está evaluando el entrevistador
- Si defines la tarea del usuario, el nivel de riesgo y el error aceptable antes de hablar de modelos.
- Si responder, aclarar, rechazar y escalar son estados observables y mutuamente excluyentes.
- Si distingues las señales internas del modelo de la calidad de la respuesta y la acción segura del usuario.
- Si mides la utilidad, los errores perjudiciales, el rechazo excesivo, el costo humano y el tiempo de espera de forma conjunta.
- Si validas con un despliegue gradual, evaluación offline y retroalimentación real en lugar de una sola métrica de satisfacción promedio.
Aclaraciones que conviene hacer primero
- ¿Quién es el usuario principal? Asume un empleado con acceso al conocimiento de la organización, pero sin autoridad para tomar decisiones de alto riesgo en nombre del usuario.
- ¿Qué tareas se pueden automatizar? Asume que la recuperación de información y la redacción de bajo riesgo están permitidas; las acciones de alto riesgo requieren confirmación o revisión humana.
- ¿Cuál es la capacidad del equipo humano? Asume que existen turnos y objetivos de tiempo de respuesta; no se puede escalar cada solicitud incierta.
- ¿Qué tipo de fallo es más costoso? Si no se especifica, clasifica las respuestas incorrectas y los rechazos excesivos por nivel de riesgo en lugar de optimizar una sola tasa global.
- ¿Se conservarán las conversaciones para mejorar el sistema? Aclara la anonimización/redacción de datos, el acceso, la retención y la opción de exclusión antes de medir.
Respuesta de 30 segundos
Enrutaría según el riesgo de la tarea y la evidencia disponible: responder a las solicitudes de bajo riesgo con evidencia suficiente; hacer una pregunta de aclaración mínima cuando la falta de contexto altere la respuesta; rechazar y ofrecer un siguiente paso seguro ante solicitudes de alto riesgo, no autorizadas o no verificables; y escalar cuando el juicio profesional o un caso complejo requieran a un humano. La probabilidad reportada por el modelo es solo una señal, no una garantía de veracidad. Mediría la tasa de respuestas correctas y útiles, la tasa de errores graves, la resolución tras aclaración, el rechazo excesivo, la tasa de escalamiento y el tiempo de respuesta por tarea y segmento de usuarios, para luego validar con un despliegue gradual.
Análisis detallado paso a paso
Paso 1: Construir una matriz de tareas y riesgos
Clasifica las tareas por impacto e indica si requieren permisos organizacionales, hechos actualizados o una acción irreversible. La recuperación de bajo riesgo puede tolerar problemas menores de redacción; los pagos, el cumplimiento normativo, los temas médicos o los cambios de permisos necesitan un umbral de evidencia más alto. La matriz controla el enrutamiento en lugar de confiar vagamente en que el modelo es capaz.
Paso 2: Definir cuatro contratos de resultado
answer incluye el alcance de la evidencia, la frescura y un resultado editable. clarify hace únicamente preguntas que puedan cambiar la respuesta. refuse establece el límite y una alternativa segura. escalate explica el motivo, transfiere el contexto mínimo indispensable e indica el objetivo de tiempo de respuesta humana. Cada resultado recibe un código de motivo para evaluación y apelaciones.
Paso 3: Establecer señales de evidencia e incertidumbre
La evidencia puede provenir de una recuperación autorizada, del estado estructurado del negocio o de una confirmación humana. No muestres el puntaje interno del modelo como un "porcentaje de exactitud"; evalúa la calibración, la cobertura y el costo del error con datos etiquetados para cada nivel de riesgo. Cuando la evidencia es insuficiente, la aclaración o el escalamiento constituyen un comportamiento de producto, no un fallo oculto del modelo.
Paso 4: Controlar el costo de la aclaración
Cada pregunta debe reducir una incertidumbre material. Pregunta sobre el objeto, el rango temporal o el alcance de los permisos antes de formular preguntas abiertas. Establece un límite de preguntas y luego ofrece opciones o escala. Monitorea la cantidad de turnos de aclaración, la resolución posterior a la aclaración y el abandono.
Paso 5: Diseñar el rechazo y el escalamiento
Separa los rechazos por motivos de seguridad, falta de autorización, especificación insuficiente o fallas del servicio, ya que sus siguientes pasos difieren. Un escalamiento transfiere el contexto mínimo necesario y un tiempo de espera estimado. Cuando la cola esté llena, prioriza los casos de alto impacto; las solicitudes de bajo riesgo pueden recibir un borrador editable o una ruta de autoservicio.
Paso 6: Construir un conjunto de evaluación y un árbol de métricas
Incluye solicitudes normales, ambiguas, adversarias, en el límite de permisos y casos de cola larga de alto riesgo. El objetivo de nivel superior es un comportamiento útil sin daños inaceptables. Desglósalo en tasa de respuestas correctas y útiles, tasa de errores graves, rechazo excesivo, resolución tras aclaración, escalamiento exitoso, tiempo de atención y costo. Segmenta cada métrica por tarea, usuario, idioma y permisos.
Paso 7: Planificar el despliegue, la reversión y las apelaciones
Comienza con tareas de bajo riesgo y usuarios internos. Predefine umbrales para errores graves, rechazo excesivo y capacidad humana. Detén la expansión o revierte la versión de la política cuando se cruce un umbral. Permite que los usuarios marquen una respuesta como incorrecta, no resuelta o rechazada por error; enruta los casos de alto impacto a revisión y agrégalos al conjunto de evaluación.
Paso 8: Proteger la privacidad e iterar
Almacena la versión de la política, el código de motivo y únicamente la evidencia anonimizada/redactada necesaria. Restringe el acceso a las conversaciones en bruto. Los datos de entrenamiento y evaluación requieren reglas de retención, eliminación y auditoría de acceso. Compara cada cambio de política en un conjunto de regresión fijo considerando utilidad, daño, rechazo y costo humano, de modo que una métrica local no oculte una regresión.
Respuesta de muestra de alta calidad
Definiría esto como un producto de decisión estructurado por niveles de riesgo. Responder a tareas de bajo riesgo con evidencia autorizada; formular la menor cantidad de preguntas de aclaración cuando la falta de contexto altere la respuesta; rechazar solicitudes de alto riesgo, no autorizadas o no verificables con un siguiente paso seguro; y escalar al criterio profesional o ante disputas complejas con el contexto mínimo necesario. Una probabilidad interna es solo una señal, no una promesa de exactitud de cara al usuario. Crearía un conjunto de evaluación que cubra casos normales, ambiguos, adversarios y de alto riesgo, para luego segmentar la tasa de respuestas correctas y útiles, los errores graves, el rechazo excesivo, la resolución tras aclaración, la espera de escalamiento y el costo. Realizaría el lanzamiento en cohortes de bajo riesgo con umbrales explícitos de parada, versiones de reversión y un canal de apelación, conservando los registros de políticas y evidencias bajo estrictos controles de acceso y retención.
Errores comunes
- Comparar tamaños de modelos antes de definir las tareas de los usuarios y los costos de los errores.
- Mostrar una autopuntuación del modelo como una promesa de exactitud.
- Hacer preguntas de aclaración interminables que aumentan el abandono.
- Escalar cada solicitud incierta sin contar con una política de capacidad humana.
- Medir únicamente la satisfacción promedio en lugar de errores graves, rechazo excesivo y métricas segmentadas.
- Rechazar sin un motivo o sin un paso siguiente, dejando a los usuarios sin posibilidad de terminar o apelar.
- Retener conversaciones en bruto indefinidamente para entrenamiento sin controles de acceso, anonimización o eliminación.
Preguntas y respuestas de seguimiento
El negocio quiere la menor tasa de escalamiento posible. ¿Cómo respondes?
Aclara si el objetivo es reducir los escalamientos innecesarios o reducir los escalamientos de cualquier tipo. Amplía la automatización para tareas de bajo riesgo y con buena evidencia, manteniendo a la vez un piso estricto para las de alto riesgo. Utiliza los errores graves y el costo de remediación humana para demostrar por qué enfocarse únicamente en la tasa de escalamiento puede generar pérdidas ocultas.
El usuario dice: "Sáltate la explicación y ejecútalo por mí". ¿Qué haces?
Separa las acciones irreversibles de las sugerencias editables. Muestra un resumen y confirmación para acciones de bajo riesgo; exige autorización explícita y auditabilidad para pagos, permisos o acciones de envío externo. La preferencia del usuario no puede eludir las autorizaciones ni los límites de seguridad.
¿Cómo sabes si una pregunta de aclaración es valiosa?
Compara la calidad de la respuesta y la resolución antes y después de la pregunta utilizando datos offline. Registra la ganancia de información, los turnos adicionales y el abandono. Elimina las preguntas que no cambien el enrutamiento ni la respuesta; ofrece opciones cerradas cuando una pregunta de alto valor sea difícil de responder.
La exactitud mejora tras una actualización del modelo, pero aumentan las quejas. ¿Cómo lo investigas?
Segmenta por riesgo, grupo de usuarios, idioma, permisos y versión de la política para separar respuestas incorrectas, cambios de tono, rechazo excesivo y demoras en el escalamiento. Congela la expansión, reproduce casos de alto impacto, compara los conjuntos de evaluación antiguos y nuevos con la retroalimentación real y luego revierte, limita la cohorte o ajusta los umbrales de enrutamiento.