El trabajo de la IA de auditoría es «encontrar problemas»
En el capítulo anterior escribimos que la IA de ejecución solo necesita concentrarse en hacer su trabajo.
El rol de ejecución (aquí: el agente encargado de producir resultados) se enfoca en las tareas. Y no valida su propio trabajo.
Entonces, ¿qué hace exactamente el rol de auditoría (aquí: el agente encargado de revisar lo que produce el ejecutor) que emite ese «visto bueno»? En este capítulo vemos su contenido.
¿Qué hace el rol de auditoría?
La auditoría es el acto de revisar una tarea o un resultado desde una perspectiva externa, para confirmar que no hay problemas.
Mientras el rol de ejecución se encarga de «escribir y crear», el rol de auditoría se encarga de «examinar y cuestionar».
Lo importante es que el rol de auditoría no tiene autoridad para crear nada por sí mismo. Reescribir un artículo o modificar datos es trabajo del rol de ejecución. El alcance del rol de auditoría llega hasta encontrar los problemas y comunicarlos al ejecutor o al rol de aprobación.
¿Por qué se diseña así? Porque cuando las autoridades se superponen, la precisión del control baja. Si alguien tiene la capacidad de «corregir», tiende inconscientemente a mirar las cosas desde la perspectiva de «basta con corregirlo». La acción de descubrir un problema y la acción de resolverlo interfieren entre sí cuando se le piden al mismo agente a la vez. Por eso se separan.
Las 3 cosas que hace el rol de auditoría
En la operación real, lo que hace el rol de auditoría se puede organizar en tres acciones principales.
La primera es la comparación con los lineamientos establecidos.
Se verifica si «este artículo se desvía de las reglas y lineamientos decididos al inicio». El rol de ejecución acumula decisiones durante el proceso de trabajo. En esa acumulación, puede alejarse gradualmente de los lineamientos originales. El rol de auditoría pone el resultado final junto a los lineamientos de partida y verifica que no haya desvíos.
La segunda es detectar omisiones y contradicciones.
¿Se contradice el contenido de la primera parte con el de la segunda? ¿Falta alguna explicación necesaria? ¿Se mezcló alguna expresión o información prohibida? Estos detalles se revisan desde una perspectiva diferente a la del rol de ejecución.
El rol de ejecución escribe siguiendo el flujo general del texto. El rol de auditoría no necesita seguir ese flujo y puede concentrarse en preguntas específicas. Esta «diferencia de postura» es el mecanismo que compensa los puntos ciegos.
La tercera es registrar los problemas.
Los problemas encontrados no se suprimen con un «esto no es tan grave». Se registran como salida, incluyendo los menores, y se deja al rol de aprobación (aprobación final) en condiciones de tomar la decisión última. Si el rol de auditoría juzga de forma independiente qué problemas ocultar según su importancia, después no es posible rastrear «por qué pasó». El acto de registrar en sí mismo forma parte del cumplimiento del rol de auditoría. Este es también un componente central del principio de documentación (aquí: dejar constancia escrita de todas las decisiones y hallazgos).
Que aparezcan problemas es el éxito de la auditoría
Aquí hay un punto que conviene tener claro.
Cuando el rol de auditoría devuelve un informe de «no hubo problemas, todo aprobado», no conviene recibirlo con entusiasmo sin más.
Puede que realmente no haya ningún problema. Sin embargo, cuando «el informe perfecto sin daños» se repite todas las veces, conviene detenerse un momento a pensar.
¿Realmente no hubo problemas? ¿O no se pudieron encontrar los problemas? ¿O se encontraron pero se juzgó que «no valía la pena registrarlos» y se omitieron?
El rol de auditoría es «un dispositivo para sacar los problemas a la luz». Que aparezcan problemas en la salida es una señal de que la auditoría funciona con normalidad. Al contrario, cuando no aparece nada, también se considera la posibilidad de que el dispositivo no esté funcionando.
Esta percepción la adquirimos después de operar en la práctica. Al principio, cuando «sin problemas» se repetía, lo interpretábamos como «está yendo bien». Sin embargo, en un momento dado, ante un resultado que claramente tenía problemas, se recibió un «sin problemas» igualmente, y quedó claro que la granularidad de la auditoría estaba mal calibrada.
Que «la aprobación entusiasta» se vuelva motivo de alerta viene de esa experiencia.
Por qué se coloca separado de la ejecución
El rol de auditoría se le asigna a una IA distinta del rol de ejecución.
En esta serie, no le pedimos a la misma IA que combine ejecución y auditoría. Si se le pide a la misma IA que «escriba y luego se revise a sí mismo», trae al control el mismo eje de juicio que usó para escribir. También es fácil que aparezca la distorsión inversa: escribir de manera que el control pase sin problemas.
Cuando el rol de ejecución actúa «optimizado para la tarea», esa misma dinámica no está orientada a descubrir problemas. Descubrir problemas requiere una postura de «dudar al mirar», que es incompatible con la postura de «avanzar» durante el trabajo. Lo que mencionamos en el capítulo anterior, «el rol de ejecución no puede auditarse a sí mismo», no es una cuestión de capacidad, sino de esta postura.
Al colocarlos por separado, cada uno puede concentrarse en su propio rol.
Por qué se suele usar una IA de un proveedor distinto, y qué tipo de problemas previene usar sistemas de diferente origen, son puntos que veremos en detalle en otro capítulo. Aquí solo confirmamos el principio de «colocar por separado, no en el mismo agente».
Resumen del capítulo
La IA del rol de auditoría tiene como trabajo encontrar problemas. Se compone de tres acciones: comparación con los lineamientos, detección de omisiones y contradicciones, y registro de problemas.
Que «aparezcan problemas» es señal de que la auditoría funciona, y cuando «el informe perfecto sin daños» se repite, es precisamente entonces cuando se cuestiona la granularidad. La razón para colocar el rol de auditoría separado del rol de ejecución también responde a esta cuestión de postura. La acción de sacar problemas a la luz es difícil de sostener en el mismo agente que avanza en el trabajo. Por eso se separan.