El principio de las dos personas
En el capítulo anterior organizamos las razones por las que la tarea de auditoría se asigna a una IA de un proveedor distinto al que se encarga de la ejecución. Era una reflexión sobre el diseño estructural: «incorporar una perspectiva diferente».
En este capítulo damos un paso más: cómo evitar errores cuando se realiza una operación que no tiene marcha atrás.
Aquí es donde aparece la regla de dos personas (aquí: el principio de que ninguna operación irreversible puede ejecutarse con la aprobación de una sola parte).
Q. ¿En qué consiste la regla de dos personas?
En una frase: es la idea de que una acción irreversible (aquí: aquella que, una vez realizada, no puede deshacerse) no puede ejecutarse con la sola decisión de una parte.
Antes de ejecutar, dos partes deben confirmar. Eso es todo.
No es un procedimiento complejo. Se trata simplemente de incorporar de forma deliberada, como parte del diseño, la estructura de «no decidir en solitario».
Q. ¿Quiénes son exactamente esas «dos partes»?
En este sistema, la combinación es una persona humana y otra IA.
La IA encargada de la ejecución propone: «Voy a realizar esta operación». La persona lo revisa y da el «adelante». Solo después de esos dos pasos se ejecuta.
¿Por qué es necesaria una persona? Porque hace falta alguien que pueda decir: «Yo asumo la responsabilidad de esta decisión». Una IA puede ejecutar y puede auditar. Sin embargo, quien puede actuar como sujeto que asume responsabilidad es, por ahora, el ser humano.
Por eso, una de las dos partes siempre es una persona.
Q. ¿Se necesita confirmación de dos partes para cada operación?
No. Si se aplicara a todo, el flujo de trabajo quedaría bloqueado.
La regla de dos personas solo aplica a operaciones irreversibles con un alto impacto.
Por ejemplo: publicar un artículo, enviar algo a un servicio externo, eliminar un archivo. Estas son operaciones que «no se pueden deshacer una vez realizadas» y son el objetivo de este principio.
En cambio, las operaciones que se pueden rehacer o cuyo impacto es pequeño pueden avanzar de parte de la IA sin confirmación de dos partes. Sin este ajuste de intensidad en el diseño, la regla de dos personas no funciona en la práctica.
Q. ¿Por qué no basta con la decisión de una sola parte?
Porque con un único punto de vista es más fácil pasar algo por alto.
Aunque creamos que vemos bien una situación, cuando entra otra mirada pueden surgir problemas que no habíamos notado. Esto vale tanto para personas como para IAs: el simple hecho de que haya más de una parte verificando aumenta la probabilidad de detectar errores.
Además, existe otro efecto: lo confirmado queda registrado.
Queda en texto quién confirmó, cuándo y quién dio el «adelante». Eso se convierte después en la base para explicar «por qué se realizó esa operación». Si surge algún problema y no hay registro, no es posible reconstruir lo sucedido. La regla de dos personas es, al mismo tiempo, un mecanismo para registrar decisiones explicables, no solo para prevenir errores.
Q. ¿Esta idea es exclusiva de la organización de IA?
No. Es una idea que ya se utiliza en las organizaciones humanas.
Existen prácticas antiguas: documentos importantes requieren varios aprobadores, las operaciones financieras no las revisa una sola persona sino varias. La regla de dos personas aplica esa misma idea a un sistema donde una IA ocupa el rol de ejecutor.
Donde en una organización solo de personas había «dos personas», ahora se sustituye por «una persona y otra IA». La forma cambia, pero el principio de diseño —«no concentrar en una sola parte»— no cambia.
Q. ¿Qué pasa si este principio no funciona?
Solo se puede reaccionar después de que el problema ya ha ocurrido.
Un artículo publicado en el momento equivocado. Un archivo que no debía borrarse y ya no existe. Datos que salieron al exterior sin querer. Estas situaciones ocurren cuando no hay puntos de control para la confirmación.
Cuanto más irreversible es una operación, más difícil es remediarla una vez que sucede. Por eso el papel de la regla de dos personas es prevenirlo estructuralmente, antes de que ocurra.
El criterio de diseño es: «¿Se puede corregir después?». A lo que no se puede corregir, se le pone un punto de control. Esa es la base del diseño de la regla de dos personas.
Q. En resumen, ¿qué previene la regla de dos personas?
Previene la situación en que «un error de juicio de una sola parte se ejecuta como una acción irreversible».
- Las operaciones irreversibles pasan por la confirmación de dos partes.
- La combinación de las dos partes es una persona y otra IA.
- Lo confirmado queda registrado.
- No se aplica a operaciones reversibles y de bajo impacto (para no detener el flujo).
Estos cuatro elementos funcionan en conjunto. Si falta uno, el efecto se debilita. El registro, la multiplicidad de perspectivas y la delimitación del ámbito de aplicación: ninguno de los tres puede omitirse, y hay una razón para ello.