Por qué aplicamos la separación de poderes a la IA
La razón para llevar la separación de poderes a la IA es una sola.
Porque en la IA aparece el mismo problema que con la concentración de poder.
Si un único agente de IA carga con todo —la tarea, la verificación y la decisión final— deja de existir un mecanismo interno capaz de frenar errores o excesos. Por eso dividimos los roles y hacemos que unos comprueben a los otros, mientras la decisión final queda en manos humanas. El esquema que tomamos prestado en el capítulo anterior —«no concentrar autoridad en un solo punto; distribuirla y hacer que se vigilen entre sí»— lo aplicamos directamente al diseño de sistemas con IA.
Por qué la concentración de poder es un problema en la IA
Como vimos en los capítulos 12 y 13, cuando un agente de IA revisa su propio texto, no puede salir de la perspectiva con la que lo escribió. Confirma el trabajo desde el mismo punto de vista con el que lo creó, y así pasa por alto omisiones y errores con facilidad.
Esto no es una cuestión de azar. Es una cuestión de estructura.
En el capítulo 14 ordenamos la idea de «entender la relación con la IA no como esclavitud ni como desbocamiento, sino como una organización con roles diferenciados». En el capítulo 15 vimos que la separación de poderes es el mecanismo que impide una situación donde quien hace las reglas también las ejecuta y las juzga —es decir, una situación donde nadie puede frenar nada.
Lo que ocurre en la IA es estructuralmente idéntico a la concentración de poder en el Estado.
Si un único agente de IA escribe, verifica y decide si se publica, esa ruta no tiene ninguna «mirada externa». Cuando una salida incorrecta pasa por ahí, nadie la detiene. Un sistema sin freno es, estructuralmente, el mismo problema que «un solo poder que controla legislación, ejecución y justicia».
Los tres roles en la IA
En esta serie usamos el esquema de la separación de poderes —distribución de ejecución, auditoría y aprobación entre agentes distintos— para definir tres roles.
Ejecución (escribir, crear): el agente de IA que realiza el trabajo concreto. Se encarga de tareas como redactar artículos u organizar datos. La analogía más cercana en el Estado sería el poder ejecutivo, aunque la correspondencia no es exacta uno a uno.
Auditoría (verificar, detectar problemas): el agente de IA que examina si el resultado de la ejecución tiene fallos. Lo lleva a cabo un agente distinto al que escribió, así que no hereda los puntos ciegos del autor. Puede concentrarse en preguntas como: «¿es correcto?», «¿falta algo?», «¿se ajusta a los lineamientos?».
Aprobación (tomar la decisión final): el rol que decide si algo se publica o si el proceso puede avanzar. Aquí es una persona quien decide.
No hay una correspondencia exacta uno a uno con los poderes legislativo, ejecutivo y judicial del Estado. Lo que tomamos prestado no son los detalles de la institución, sino únicamente el esquema de fondo: dividir, hacer que se vigilen mutuamente y no concentrar la decisión final en un solo punto.
Qué cambia al dividir los roles
Separar en tres roles cambia varias cosas.
Primero, se crea un freno ante los errores. Como ejecución y auditoría corresponden a agentes distintos, es más fácil detectar problemas que el autor no ve. Si un solo agente hace todo, ese freno sencillamente no existe en la estructura.
Segundo, es posible rastrear qué ocurrió. El flujo de ejecución → auditoría → aprobación queda registrado, y cuando algo falla se puede revisar en qué etapa hubo una desviación.
Tercero, se pone un límite a las acciones irreversibles (las que no se pueden deshacer). Borrar un artículo ya publicado no borra el recuerdo de quienes lo leyeron. Para las acciones irreversibles, mantener la decisión final en manos humanas impide que el proceso avance solo con IA sin control. Es uno de los principios más importantes de esta serie.
No es para «atar» a la IA, sino para ampliar lo que se le puede confiar
Después de leer hasta aquí, quizás parezca que esto es un diseño para atar a la IA. No es así.
Precisamente porque existe un mecanismo de verificación y aprobación final, podemos confiarle tareas al agente de ejecución sin reservas. Si hay auditoría, los pequeños errores de precisión en la ejecución se pueden corregir en etapas posteriores. Si la aprobación final está en manos humanas, en lugar de usar las salidas de la IA con miedo podemos operarlas partiendo de que «hay un mecanismo de verificación».
No es cuestión de una «IA todopoderosa» ni de una «IA temible». Es cuestión de diseño de roles.
Hasta dónde se le confía a la IA, y qué parte retiene el humano. Dejar clara esa frontera es la base de una organización que se puede operar con confianza.
Resumen del capítulo
¿Por qué llevamos la separación de poderes al diseño con IA?
La respuesta es que los problemas de la concentración de poder son estructuralmente los mismos en la IA. Si un único agente carga con todo, desaparece el freno. Por eso dividimos los roles, hacemos que se vigilen entre sí y mantenemos en manos humanas las decisiones finales que no se pueden deshacer.
Esta división en tres —ejecución, auditoría, aprobación— es la columna vertebral de lo que en esta serie llamamos organización de IA. Cómo funciona cada parte en concreto lo veremos capítulo a capítulo a partir de aquí.