Trabajo todo el día con bots: puedo tener desde uno hasta cincuenta trabajando a la vez en distintos proyectos. A la infraestructura que lo permite la llamo La Machina.
Llevo un control de los tokens que consume cada proyecto y cada bot. Al estudiar esas estadísticas, me surgió una duda: si dejo que la conversación con un bot se alargue mucho, ¿cada mensaje termina consumiendo mucho más?
Yo escribía preguntas pequeñas. Pero detrás podía viajar una mochila enorme.
Qué llevamos en la mochila cada vez que hablamos con la IA
Un token es un pequeño trozo de información que procesa la IA: una palabra larga como «inconstitucionalidad» puede dividirse en varios trozos.
La ventana de contexto es la capacidad de la mochila: cuánto material puede tener la IA a mano mientras prepara una respuesta.
Dentro caben tu pregunta, las instrucciones, los documentos y partes de la conversación anterior. La aplicación decide qué incluye. Si conserva todo el historial, cada consulta nueva puede llevar también el peso de todas las anteriores.
Ejemplo: llevas toda la mañana preparando un viaje. Preguntas «¿y si vamos en tren?» y la mochila sigue cargada con hoteles, vuelos y planes descartados.
Por eso una respuesta corta puede tener detrás una entrada enorme. La IA necesita disponer del material para continuar; lo anterior no se vuelve gratuito porque ya aparezca en pantalla. OpenAI lo explica en su documentación sobre conversaciones.
Un modelo con una ventana de contexto de 1.000.000 de tokens (a ojo de buen cubero, unas 700.000 palabras o unos 2.000 folios) tiene una mochila enorme. Pero no estamos obligados a llenarla: todo lo que metemos dentro vuelve a viajar con cada consulta y cuesta tokens. Y los tokens cuestan dinero.
Cuánto pesa la mochila
Comparemos una conversación que guarda todo con otra que sustituye lo anterior por resúmenes. El trabajo continúa, pero la carga que acompaña a cada mensaje cambia.
| Ejemplo de 100 mensajes | Sin resumir | Resumiendo |
|---|---|---|
| Tokens de entrada acumulados | 50,5 millones | 10,6 millones |
| Consumo relativo | ≈5× | 1× |
| Coste de esa entrada con Gemini 3.8 Flash, a 0,75 USD por millón | ≈38 USD | ≈8 USD |
Ejemplo ilustrativo con aportaciones y resúmenes de tamaño fijo. La cuenta suma lo enviado en todas las peticiones, aunque se repita. El coste usa la tarifa oficial de Google, sin descuento de caché, respuestas ni trabajo de resumir. No representa mi factura ni el precio de una suscripción; el cálculo completo está en las notas editoriales.
La sorpresa está en esa repetición. Cada mensaje añade carga para las consultas siguientes. Mantener la conversación abierta puede salir caro aunque apenas cambie la longitud de lo que escribimos.
Comparativa rápida
La caché es un atajo que permite reutilizar trabajo sobre contenido repetido y cobrar menos por esa parte de la mochila.
Estas cifras corresponden a modelos concretos utilizados mediante API, la conexión con la que otros programas les encargan trabajo. La columna del resumen se refiere a la app de chat. Su capacidad disponible puede variar según el plan.
| Servicio / modelo de referencia | Capacidad máxima publicada del modelo | ¿Resume solo en la app de chat? | Descuento en lectura de caché por API |
|---|---|---|---|
| ChatGPT / OpenAI — GPT-6.1 Sol | 1.050.000 tokens | No publicado en las fuentes consultadas | 95 % |
| Claude / Anthropic — Opus 5.5 | 1.000.000 tokens | Sí, con la ejecución de código activada | 95 % |
| Gemini / Google — Gemini 3.8 Flash | 1.048.576 tokens de entrada | No publicado en las fuentes consultadas | 90 % |
El descuento corresponde solo al contenido que se puede reutilizar, no a la factura completa. Prepararlo o conservarlo puede tener otros costes. «No publicado» no significa que la app no lo haga. Las capacidades tampoco equivalen a espacio íntegro para conversación: hay que respetar los límites de respuesta de cada modelo.
Si quieres distinguir cuota y consumo, está explicado en el artículo sobre el plan de chat y la API. Para entender las unidades, tienes el de tokens y coste real.
Aligerar sin perder el trabajo
La IA también puede despistarse con lo que queda en medio de una mochila enorme, como mostró el estudio Lost in the Middle en los modelos que evaluó.
Resumir ayuda a ordenar, pero puede dejar fuera detalles. Yo conservaría los originales y comprobaría que el resumen recoge el objetivo, las decisiones tomadas y lo pendiente. Después lo llevaría a una conversación nueva.
Ejemplo: «Resume lo acordado, las condiciones que debemos respetar y el siguiente paso». Revisa el resultado antes de continuar en otro chat.
| Qué hacer | Consejo |
|---|---|
| Cambias de tema | Abre un chat nuevo. |
| La conversación se ha alargado | Pide un resumen, revísalo y empieza de nuevo. |
| Necesitas examinar un documento enorme | Usa una ventana grande y aporta el material necesario. |
Es la misma idea de dimensionar la IA según el trabajo y elegir el modelo adecuado para cada tarea.
Quiero que La Machina tenga lo necesario en cada mochila. Y que no arrastre peso inservible cada vez que le hago una pregunta.
Texto de Roberto Ortega, elaborado con asistencia editorial de IA. Las versiones noruega e inglesa son adaptaciones editoriales del original español.