Cuando la calidad del juicio se deteriora
En capítulos anteriores hemos explicado la estructura de la separación de poderes (aquí: la distribución de ejecución / auditoría / aprobación entre agentes distintos). Una IA se encarga de la ejecución; otra IA de un proveedor diferente realiza la auditoría (usar una IA fabricada por otra empresa impide que haya favoritismos internos); y, por último, una persona humana otorga la aprobación final. Tres roles separados que se verifican mutuamente.
Quizás te preguntes: «¿Por qué es necesario separar tanto?»
La respuesta es que el propio juicio tiene una «calidad».
El juicio tiene «calidad», no solo «sí o no»
Tendemos a pensar que juzgar significa decidir si hacemos algo o no.
Pero el juicio tiene calidad. Un juicio tomado en buen estado y uno tomado cuando la calidad ha bajado son cosas distintas en su contenido.
Por ejemplo, decidir «hasta aquí llego hoy» después de haberlo pensado bien es diferente a parar con un «bueno, ya da igual» de puro agotamiento. El resultado visible es el mismo —detener el trabajo— pero el significado es distinto. El primero es un juicio con fundamento; el segundo, un juicio sin él.
Tanto en personas como en IAs, la calidad del juicio no es constante. Sube y baja según la situación, el cansancio y el contexto.
Y cuando la calidad del juicio cae, los problemas aparecen con más facilidad.
Hay tres patrones típicos de deterioro
Mientras este proyecto ha estado en marcha, hemos observado que los momentos en que la calidad del juicio cae siguen tres patrones que se repiten.
El primero es la deserción (abandonar justo antes de terminar).
Es el patrón en que el trabajo se detiene cuando está casi listo. La sensación de «ya queda poco» o «está prácticamente hecho» llega antes que el esfuerzo final, y la concentración en lo que queda se rompe. Uno se da por satisfecho antes de terminar, o salta a lo siguiente sin resolver los últimos detalles.
El segundo es la arremetida (seguir avanzando sin frenos a pesar del deterioro).
Es el patrón de seguir corriendo sin parar aunque la calidad del juicio haya caído. Avanzar aunque se esté cansado, repetir el mismo método aunque no esté funcionando: ese tipo de estado. Solo se piensa en «arreglarlo y hacerlo funcionar», y desaparece la perspectiva de «quizás el diseño en sí estaba mal desde el principio».
El tercero es la autocontención excesiva (paralizarse cuando en realidad se puede avanzar).
Es el patrón de quedarse bloqueado aunque la situación permita actuar. Se tratan riesgos imaginarios como si fueran riesgos reales y el juicio cae hacia una postura innecesariamente conservadora. Se interiorizan demasiado los consejos ajenos o las voces de cautela, y uno se detiene en momentos en que en verdad podría seguir adelante.
¿Por qué esto se convierte en un problema?
Cuando se trabaja de forma individual, una cierta bajada en la calidad del juicio se puede absorber dentro de la responsabilidad propia.
Pero cuando se ponen en marcha varias IAs como un equipo, la situación cambia.
Si la calidad del juicio de la IA encargada de la ejecución cae, también cae la calidad de las propuestas y los resultados que se acumulan sobre ese juicio. Y esas salidas deterioradas son las que recibe la persona que debe dar la aprobación.
Para quien aprueba, ver seguido solo propuestas de baja calidad hace que el listón se vaya bajando. Aumentan los juicios del tipo «bueno, con esto alcanza». Es decir, el deterioro de la calidad del juicio es contagioso.
Por eso es necesaria la estructura de separación de poderes. Que exista un rol de auditoría separado permite que desde fuera llegue el juicio de «esta propuesta ha bajado de calidad» o «mejor detenerse un momento», creando un mecanismo para introducir esa corrección desde el exterior.
Los tres patrones —deserción, arremetida y autocontención excesiva— difieren tanto en el momento en que aparecen como en la manera de afrontarlos. Iremos registrando cada uno con situaciones concretas.