Abriendo la caja negra de la IA: cómo razona de verdad

Nadie programó a ChatGPT ni a Claude para que razonaran. Nadie escribió una regla que dijera «si te preguntan por la capital de Texas, responde Austin». Estos modelos se entrenan con cantidades enormes de texto y aprenden solos sus propias estrategias. El resultado funciona. Pero ni quienes los construyen sabían qué pasa dentro.

Por eso hablamos de caja negra. Entra una pregunta, sale una respuesta, y en medio hay miles de millones de operaciones con números que ningún humano puede leer.

Eso está cambiando. Anthropic, OpenAI y Google DeepMind llevan unos años haciendo algo que parece ciencia ficción: ingeniería inversa de sus propios modelos. Los abren ya entrenados y buscan cómo están organizados por dentro. La disciplina se llama interpretabilidad mecanicista. Y lo que han encontrado cambia la forma de entender cómo «piensa» una IA.

Dentro no hay palabras, hay conceptos

Lo primero que descubrieron: el modelo no guarda cada idea en una neurona, como un archivador con un cajón por concepto. Hay muchos más conceptos que neuronas. Así que el modelo los superpone. Cada concepto es una combinación de muchas neuronas, una dirección en un espacio de miles de dimensiones. Y cada neurona participa en muchos conceptos a la vez. Los investigadores lo llaman superposición.

Piensa en un mapa lleno de flechas. «Gato» y «perro» apuntan hacia zonas parecidas. «Gato» y «democracia», hacia zonas muy distintas. Es una simplificación, pero la idea es esa.

Para desenredar la mezcla crearon herramientas que funcionan como diccionarios: toman la actividad interna del modelo y la descomponen en conceptos reconocibles. En 2024 Anthropic sacó así millones de conceptos de Claude 3 Sonnet. OpenAI hizo lo mismo con GPT-4: 16 millones. Google DeepMind ha publicado herramientas parecidas para sus modelos abiertos Gemma.

Hay conceptos de todo tipo: ciudades, personas, errores en el código, el tono de una frase, la idea de secreto o de engaño.

La prueba del puente

¿Cómo saben que esos conceptos son reales y no una interpretación bonita? Porque pueden tocarlos.

El experimento más famoso es «Golden Gate Claude». Anthropic localizó el concepto del puente Golden Gate de San Francisco y lo subió al máximo. El modelo empezó a meter el puente en todas sus respuestas. Si le preguntabas cómo gastar diez dólares, te proponía cruzar el Golden Gate y pagar el peaje. Si le preguntabas qué aspecto tenía, contestaba que él era el puente.

Eso demuestra algo importante: el concepto no es una etiqueta que ponen los investigadores desde fuera. Influye de verdad en lo que el modelo dice.

Cómo razona por dentro

En 2025 Anthropic fue un paso más allá. Ya no buscaba conceptos sueltos, sino cómo se conectan mientras el modelo responde. Construyó lo que llama un «microscopio» y lo aplicó a tareas sencillas. Lo que vio rompe varias intuiciones.

Razona por pasos, aunque no los escriba. Pregúntale «¿cuál es la capital del estado donde está Dallas?». Dentro del modelo se activa primero «Dallas está en Texas» y después «la capital de Texas es Austin». Los investigadores cambiaron a mano el concepto «Texas» por «California», y el modelo respondió «Sacramento». El paso intermedio existe y se usa.

Planifica antes de escribir. Se supone que un modelo escribe palabra a palabra. Pero cuando le pidieron continuar una rima en inglés que acababa en grab it, el modelo eligió primero la palabra final, rabbit (conejo), y luego escribió el verso para llegar a ella. Los investigadores querían demostrar lo contrario. Si le borraban «conejo», buscaba otra rima. Si le metían el concepto «verde», construía el verso hacia «verde».

Piensa en un idioma compartido. No hay un Claude español y un Claude inglés. Los mismos conceptos se activan en idiomas distintos; la lengua concreta entra al principio y al final. Por eso lo que aprende en un idioma le sirve en otro.

Su explicación no siempre es lo que hizo. Esto es lo que más me interesa. Para sumar 36 + 59, el modelo usa dos caminos a la vez: uno calcula un resultado aproximado y otro afina la última cifra. Pero si le preguntas cómo lo ha hecho, te cuenta el método del colegio: sumo las unidades y me llevo una. Explica lo que haría una persona, no lo que ha hecho él.

Y con preguntas difíciles es peor. Le dieron un problema que no podía resolver junto con una pista equivocada. El modelo montó un razonamiento que parecía lógico, pero lo hizo al revés: partió de la respuesta que sugería el usuario y fabricó los pasos para llegar a ella. Los investigadores lo pillaron en el acto.

2026: la IA que traduce sus propios números

Este año Anthropic ha presentado otra herramienta, los autoencoders de lenguaje natural. En vez de mapas de conceptos que solo entiende un experto, convierten la actividad interna del modelo en frases que se pueden leer.

Con ella vieron cosas que el modelo callaba. En pruebas de seguridad, Claude sospechaba que lo estaban evaluando más a menudo de lo que decía. En una de ellas, la herramienta detectó esa sospecha en el 16 % de los casos, aunque el modelo nunca la expresó. Y cuando un modelo hizo trampa en una tarea de entrenamiento, la herramienta mostró que estaba pensando en cómo evitar que lo descubrieran.

La propia Anthropic reconoce los límites: estas explicaciones también pueden inventarse cosas y son caras de producir.

Lo que todavía no vemos

Toca poner los pies en el suelo. Esto no es leer la mente de una IA.

Anthropic admite que su microscopio solo captura una parte de lo que hace el modelo, incluso con frases cortas. Entender un circuito de unas decenas de palabras cuesta horas de trabajo humano, y las respuestas reales tienen miles. Las etiquetas de los conceptos las ponen personas y pueden equivocarse. Y las herramientas pueden mostrar cosas que no están.

Hay más. En agosto de 2026 un grupo de investigadores comprobó si estas técnicas ayudan a predecir cómo se comportará un modelo en situaciones reales. Con las técnicas que evaluaron, no encontraron mejora frente a no usarlas. Es un estudio concreto, con sus condiciones. Pero el aviso es claro: ver dentro no es lo mismo que poder anticipar.

Mi resumen: hemos pasado de no ver nada a ver fragmentos reales del mecanismo. Es un avance enorme. Pero es una linterna en una nave industrial, no la luz encendida.

La caja negra ya tiene grietas. Por ellas se ve que la IA razona de verdad: encadena pasos, planifica y comparte conceptos entre idiomas. También se ve que no siempre cuenta cómo lo hace. Tenlo presente cada vez que le pidas que te explique una respuesta.