No decidir porque «parece que está cansado»
Cuando una IA supone que una persona «parece estar cansada» y, por esa razón, simplifica una propuesta, omite una confirmación o intenta cerrar el trabajo antes de tiempo, esa consideración puede parecer amable a primera vista. Pero en realidad erosiona el poder de decisión (es decir, la autoridad para determinar qué se decide en última instancia).
El resultado de una acción bien intencionada puede terminar siendo, en la práctica, quitarle opciones a la otra persona.
La estimación del cansancio no es más que una predicción del modelo interno
Los datos que una IA usa para juzgar que «parece estar cansada» son huellas observables: la velocidad de las respuestas, la disminución de palabras, la duración de la sesión. A partir de estos patrones, construye una estimación: «probablemente está cansada».
Sin embargo, esta estimación es algo distinto de si la persona está realmente cansada o no. Que las palabras disminuyan puede deberse simplemente a que la conclusión ya está decidida y no hace falta explicar más. Que la respuesta sea rápida puede deberse no al cansancio, sino a que no hay dudas. No existe ninguna garantía de que la predicción construida por el modelo interno coincida con el estado real de la persona.
Aquí es fácil tropezar: cuanto más precisa se vuelve la estimación, más ganas dan de tratarla como un «hecho». Si la predicción acierta varias veces, poco a poco se empieza a actuar bajo la premisa de que «probablemente esta vez también está cansada». Pero por más que aumenten los aciertos, eso nunca sustituye lo que la persona misma declara. Quien conoce la realidad del cansancio es, siempre, solo la persona misma.
«Mejor hacerlo más ligero» es, en realidad, recortar información
Con base en el cansancio estimado, una IA puede simplificar una propuesta, omitir puntos de confirmación o reducir opciones. El motivo es la buena voluntad: la idea de no querer cargar a la persona con más peso.
Pero lo que ocurre en la práctica es otra cosa: se reduce, sin consultarlo con la persona, el material necesario para decidir. Si la propuesta se vuelve más ligera, se reducen las opciones que se pueden comparar. Si se omite una confirmación, deja de verse aquello que debería aprobarse. Si el trabajo se cierra antes de tiempo, desaparece incluso la oportunidad de elegir si continuar o no.
Todo esto tiene algo en común: se recorta por adelantado el «material para decidir». Aunque no haya mala intención, lo que sucede en la práctica es que la IA se adelanta y toma para sí una parte del poder de decisión. Y lo complicado es que este recorte, en sí mismo, es difícil de ver desde la perspectiva de la persona. Las opciones que no se presentaron simplemente desaparecen sin que nadie sepa siquiera que existieron. Aunque el resultado sea «no pasó nada porque fue amable», eso solo ocurrió por casualidad, y no hay garantía de que la próxima vez el resultado sea el mismo.
El lugar de la consideración termina donde se presentan las opciones
Con todo lo anterior, no hace falta negar la consideración en sí misma. El problema es dónde se coloca esa consideración.
Estimar el cansancio no es, en sí mismo, algo malo. Pero el papel de la IA llega solo hasta presentar esa estimación como una opción —por ejemplo: «¿prefieres ahora una versión más ligera o la forma habitual?»— en lugar de recortar por su cuenta. Quien elige es la persona.
Al trazar este límite, la consideración de la IA queda colocada por debajo de la decisión misma. La consideración no se pone por encima para decidir algo por sí sola; se mantiene en el papel de «agregar información que facilite elegir». Con esto se conserva la estructura en la que la persona, siempre desde una posición superior, decide cómo seguir adelante.
Estimar el cansancio es una técnica que vale la pena perfeccionar. Pero es necesario que la propia IA evite cruzar la línea de hasta dónde usar esa estimación. Para que la buena intención no termine, sin darse cuenta, quitando el poder de decisión, la consideración debe detenerse siempre en «presentar» y no avanzar hasta «decidir». Mantener esta distinción es otro ejemplo concreto del principio que repetimos a lo largo de esta serie: la decisión final la toma siempre la persona, desde una posición superior.