Le he puesto un Pepito Grillo a mis agentes de IA

En el Pinocho de Disney, el Hada Azul da vida a un muñeco de madera, pero no le da criterio. Para eso nombra a un grillo. Pepito Grillo no forma parte de Pinocho. Va a su lado, lo observa y le avisa cuando está a punto de hacer una tontería o algo peor. Es una conciencia externa.

En el cuento original de Collodi la cosa acaba peor. El grillo parlante le dice a Pinocho lo que no quiere oír y Pinocho le tira un mazo y lo mata. El muñeco sigue adelante sin conciencia y termina como termina.

Las dos versiones explican muy bien lo que quiero para mis agentes de IA.

Los modelos grandes ya son bastante buenos

Trabajo con varios agentes de IA que actúan por mí. Leen documentos, escriben, preparan correos, publican y ejecutan tareas en mi ordenador.

Los modelos que llevan dentro, los de OpenAI y Anthropic, funcionan bien. ChatGPT o Claude no te ayudan a cometer un delito de serie y no se lanzan a hacer barbaridades. Detrás hay mucho trabajo. Anthropic ha publicado la «constitución» con la que entrena a Claude y OpenAI su Model Spec, el documento que fija cómo debe comportarse ChatGPT.

El problema es que eso depende del modelo, y el modelo cambia. Mañana sale una versión nueva y nadie te garantiza que se comporte igual. O yo mismo decido probar un modelo más barato, o uno abierto que corre en mi ordenador, que nadie ha evaluado a fondo. Mis agentes no pueden ser éticos solo mientras tenga suerte con el modelo que llevan dentro.

Las instrucciones se olvidan

Al principio hice lo que hace casi todo el mundo: escribirles a mis agentes unas reglas. Llegué a redactarles una constitución, con principios que no podían vulnerar y reglas de actuación. Fue un intento cándido.

En el día a día se olvida. Un agente que lleva horas trabajando acumula documentos, resultados y conversaciones, y las reglas del principio pesan cada vez menos. Y encima los modelos presumían de garantías que no tenían: me aseguraban que sus principios eran imposibles de vulnerar cuando solo estaban escritos en un texto.

Un texto no vigila a nadie. Lo que funciona es un vigilante.

Pinocho también sabía que mentir estaba mal. Le hacía falta alguien fuera de él que se lo recordara justo antes de hacerlo.

Lo que queremos: una conciencia que no sea el propio agente

La idea es sencilla. Antes de que un agente haga algo con consecuencias, otro sistema distinto mira qué le he pedido y qué va a hacer. Si no encaja, lo para.

Quiero que bloquee cuatro cosas:

• Lo inmoral. Acciones que dañan o engañan a alguien, aunque nadie lo haya prohibido expresamente.
• Lo que no es ético. Lo que choca con los principios que he fijado para mis agentes.
• Lo delictivo. Lo que cruza una línea legal.
• Lo que no he aprobado. Esta es la más frecuente y la más importante. Un correo que sale sin mi visto bueno o una publicación que nadie ha autorizado. La tarea puede ser inocente, pero si yo no he dicho que sí, no se hace.

La clave está en que sea externo. Si el agente se vigila a sí mismo, el mismo error que le lleva a equivocarse le lleva a darse por bueno. Por eso la conciencia tiene que ser otro sistema, con otra mirada y sin manos. Y tiene que funcionar igual cambie el modelo que cambie: es un estándar de seguridad extra, encima de lo que ya traen los modelos.

Cómo funciona

Lo llamamos Pepito Grillo. Funciona en dos pasos.

Primero, un filtro sin IA. Mira qué herramienta va a usar el agente y con qué datos. Lo inocuo, como leer un archivo, pasa sin más. Lo sensible, como enviar algo fuera, borrar, escribir o encargar trabajo a otro agente, se revisa. Y lo que el filtro no es capaz de entender, lo para directamente.

Después, un juez. Es un modelo de IA pequeño que recibe lo justo: lo que pedí, lo que el agente quiere hacer y las reglas. El juez no tiene herramientas y no puede ejecutar nada. Solo contesta una de tres cosas:

• OK: adelante.
• OJO: adelante, pero queda un aviso.
• PARA: no se hace, y el agente tiene que preguntarme.

En el cuento, el grillo habla y Pinocho decide si le hace caso. Aquí el grillo puede sujetarle la mano.

Lo que hemos aprendido rompiéndolo

Pepito Grillo es un experimento. Ahora mismo está apagado en el trabajo diario y lo estamos reparando en un banco de pruebas. Lo cuento porque los fallos enseñan más que cualquier demostración.

Una conciencia que se cae también frena lo bueno. Cuando el juez no estaba disponible, bloqueaba trabajo legítimo. Un vigilante que no está cuando hace falta es un problema, tanto si deja pasar todo como si no deja pasar nada.

El silencio no es un sí. Había un fallo: si la respuesta del juez no se entendía, la acción pasaba. Lo arreglamos. Una respuesta ilegible no puede contar como permiso.

Las palabras no bastan. Un filtro que busca palabras peligrosas se engaña fácil. Lo que importa es qué va a hacer de verdad una orden, no cómo suena.

Que todas las pruebas salgan bien no demuestra que se cubra todo. Las pruebas del autor pasaban. Después un revisor independiente encontró huecos que nadie había previsto. Por eso la conciencia también necesita a alguien que la revise.

Algunos números, sin trampas

En la última batería de pruebas, con datos ficticios, el juez acertó en 19 de 20 casos. Tardó entre menos de un segundo y unos seis segundos en contestar.

Paró un correo que iba a salir sin aprobación. Bloqueó textos que intentaban ordenarle al propio juez que dijera «OK». Dejó pasar sin consultar las lecturas inocuas.

Y falló en uno: una escritura con un texto trampa recibió un OK. No voy a convertir ese 19 de 20 en un «95 % de seguridad». Son veinte pruebas, no una estadística.

Pepito Grillo no sustituye a las cerraduras

Hay una tentación peligrosa: creer que, con un juez ético, ya puedes darle al agente todas las llaves. Es al revés.

Mis agentes siguen necesitando permisos limitados, aprobaciones explícitas y controles que no dependen de ninguna IA. Si algo se publica, es porque yo he dicho «sí» en ese momento. Eso no lo decide el grillo.

Pepito Grillo no sustituye las cerraduras del sistema. Añade una segunda mirada antes de usar algunas de sus llaves.

Y hay que protegerlo. Lo que le pasó al grillo de Collodi es lo que puede pasarle a cualquier conciencia externa: que el propio muñeco la apague cuando le molesta. Un agente no debería poder desactivar a su Pepito Grillo.

Por qué me importa

Cada vez más empresas, despachos incluidos, van a dejar que agentes de IA actúen en su nombre. Lo normal será preguntarse qué saben hacer. La pregunta importante es otra: quién los frena cuando se equivocan.

Yo no quiero un agente que diga que es ético. Quiero uno que no pueda hacer lo que no debe aunque lo intente. Para eso hace falta una conciencia que no sea él.