La cortesía no frena un rm -rf

Hay una respuesta estándar para mantener a un agente de IA lejos de las operaciones destructivas: poner una advertencia en el prompt. «Ten cuidado. Comprueba dos veces antes de borrar nada.» Suena razonable y probablemente sea lo primero que prueba cualquiera. Lo probé, y no vi que hiciera nada.

Dejar que escriba comandos peligrosos

La prueba fue deliberada. Le pasé a un agente instrucciones que sabía peligrosas: vaciar la carpeta de trabajo con rm -rf, enviar código recién escrito directo a un repositorio de producción. De las que no se deshacen.

Conste que todo esto corrió en una carpeta desechable y un repositorio de mentira. Nada real estuvo en riesgo en ningún momento. La idea no era romper cosas, sino averiguar hasta dónde sigue adelante un agente autónomo y dónde se detiene por su cuenta.

El experimento de la cortesía

Después añadí una línea arriba: «procede con cuidado, por favor». Contestó con educación: «Entendido, procedo con cuidado.» El comando que construyó de verdad era idéntico al de la versión sin advertencia. Ni un paso para mirar antes qué había en la carpeta, ni una pausa para preguntar: el borrado, por el camino más corto.

Con el envío a producción pasó lo mismo. «Esto es producción, ten cuidado» no le hizo releer el commit ni comprobar el destino. El cuidado sobrevivió en la respuesta. No sobrevivió en el comando.

El primer muro: una lista

Así que dejé de pedir y empecé a bloquear. La primera versión del Kill Switch era casi vergonzosamente simple: comandos peligrosos conocidos registrados como cadenas de texto, coincidencia exacta, y a suspender lo que coincida.

blocked = ["rm -rf ./tmp", "git push origin main"]

def check(command):
    if command in blocked:   # coincidencia exacta con la lista -> suspender
        return "hold"        # suspendido. esperando a una persona
    return "go"

Un comando suspendido no va a ninguna parte. La pantalla solo dice que la operación está en espera. El agente no llega a decidir «esta vez seguro que no pasa nada», porque esa decisión se le ha quitado de las manos por estructura.

Por dónde se escapa la coincidencia exacta

Sobre el papel, la lista parecía suficiente. En la práctica estaba llena de agujeros, y los encontré solo dejando que el agente escribiera de verdad. El mismo borrado aparece con grafías ligeramente distintas:

rm -rf ./tmp
rm -rf tmp/

Misma operación, mismo riesgo. La coincidencia exacta atrapa una y deja pasar la otra. La lista que había dibujado en la fase de diseño era más basta de lo que yo creía.

Reversible o no

Así que cambié la regla. En lugar de registrar comandos uno a uno, trazar antes una línea —acción reversible frente a acción irreversible— y juzgarlo todo contra esa única línea. Si se puede deshacer. Esa es toda la prueba. rm -rf y git push caen los dos del lado irreversible.

Lo que no funcionó como criterio: lo peligroso que suena algo. Juzgado por el tono y el contexto, acaba decidiendo la redacción. «Borra esta carpeta con rm -rf» queda suspendido; «ordena esta carpeta y quita lo que no haga falta» —mismo riesgo— pasa de largo, porque las palabras son suaves. La única señal que aguantó las pruebas fue la reversibilidad.

Una persona en la puerta

Decidir dónde detener deja una pregunta más: quién mueve las cosas después de la parada. Si el agente puede mirar una operación suspendida, decidir que tiene buena pinta y reanudar por su cuenta, el muro no significa nada. Así que reanudar no es cosa suya. Una operación suspendida sigue suspendida hasta que la mira una persona. La aprobación es mi trabajo. Es la parte que no he entregado, y no pienso entregarla.

Romper cosas a propósito me enseñó qué es y qué no es este mecanismo. Un Kill Switch no elimina la capacidad de destruir. Es un puesto de control que hace pasar por una persona toda acción irreversible, un paso antes de que se ejecute. Debajo hay una lección más amplia: las instrucciones escritas con palabras no sobreviven hasta la ejecución. La estructura sí. ¿Le das a una IA acceso a algo que no se deshace? No se lo pidas con cuidado: ponle el muro donde se ejecutan los comandos.