No solo más grandes: qué ha hecho mejorar a los modelos de lenguaje

El 3 de septiembre de 2026, OpenAI presentó GPT-6 Astra. El anuncio lo describe como el resultado de «años de investigación y grandes apuestas» en tres frentes: el preentrenamiento, el aprendizaje por refuerzo y la alineación. Aidan Clark, vicepresidente de investigación de la empresa, añadió en declaraciones a Fortune un dato llamativo: era la primera vez que preentrenaban un modelo con más de 100.000 GPU, en su centro de Stargate, en Texas. Se trataba, «con diferencia», del mayor entrenamiento de su historia.

El dato sorprende si se recuerda lo que se decía hace menos de dos años. En diciembre de 2024, Ilya Sutskever, cofundador de OpenAI, afirmó en NeurIPS, el principal congreso de aprendizaje automático, que el preentrenamiento «tal como lo conocemos terminará sin duda». Su argumento era que el cálculo seguía creciendo, pero los datos no: «solo tenemos un internet». A finales de febrero de 2025, OpenAI lanzó GPT-4.5, el modelo más grande que había publicado hasta entonces. Mejoraba en conversación y conocimiento, pero quedaba por detrás de modelos más pequeños que razonaban antes de responder, y la empresa lo retiró de su API en julio de 2025.

¿Se había agotado la escala o no? Las dos cosas encajan si dejamos de hablar de «la escala» en singular. Los modelos de lenguaje no han mejorado gracias a una sola regla, sino a varias palancas, cada una con su propia forma de convertir más recursos en mejores resultados. Cuando una se encarecía, el esfuerzo se desplazaba a otra; y las anteriores no se abandonaban, se sumaban.

Algunas de esas palancas siguen una ley de escala. El nombre engaña un poco: no es una ley de la física, sino una regularidad que se ha observado una y otra vez. Si se invierte más en algo concreto, como parámetros, datos o cálculo, el resultado mejora de forma tan previsible que se puede calcular antes de gastar el dinero. Otras palancas no tienen una ley propia: lo que hacen es cambiar qué se escala o cuánto cuesta. Este artículo recorre las siete que, a nuestro juicio, explican mejor el camino desde GPT-3 hasta hoy, y una octava que todavía está en los laboratorios.

2020: la primera ley convierte el progreso en un presupuesto

Para entender la primera ley hacen falta tres palabras. Un modelo de lenguaje aprende leyendo textos e intentando adivinar qué viene después, fragmento a fragmento. Esos fragmentos se llaman tokens: una palabra corta suele ser un token y una larga, varios.

Lo que el modelo ajusta mientras aprende son sus parámetros, miles de millones de números internos que deciden qué responde. Por eso el tamaño de un modelo se mide en parámetros.

Y para saber cuánto ha aprendido se mide su pérdida: simplificando, cuánto se equivoca al adivinar el siguiente token en textos que no ha visto. Cuanto más baja, mejor.

Dos piezas de 2017 y 2018 permitieron que esta receta creciera. La primera fue el Transformer, la arquitectura que presentó Google en 2017. Procesa todas las palabras de un texto a la vez, en lugar de una detrás de otra, y eso permite repartir el entrenamiento entre miles de chips. La segunda es que la tarea no necesita etiquetas: cualquier texto sirve para aprender, porque la respuesta correcta es siempre el fragmento que viene después. OpenAI juntó las dos en GPT, en 2018, y en GPT-2, en 2019.

En enero de 2020, un equipo de OpenAI dirigido por Jared Kaplan entrenó modelos de tamaños muy distintos y comparó su pérdida en el artículo Scaling Laws for Neural Language Models. Encontró una regularidad poco habitual. Al dar al modelo más parámetros, más datos o más cálculo, la pérdida bajaba siempre de la misma manera, y algunas de esas tendencias se mantenían en rangos de más de diez millones de veces. Los detalles de diseño, en cambio, importaban mucho menos de lo que se pensaba.

La consecuencia práctica es fácil de enunciar: cada vez que se multiplica por diez el cálculo, la pérdida baja en la misma proporción, alrededor de un 11 % según sus mediciones. Es lo que se llama una ley de potencias. Mejorar es posible, pero cada paso cuesta diez veces más que el anterior. La ventaja es que se puede prever.

Pocos meses después, en mayo de 2020, OpenAI publicó GPT-3, con 175.000 millones de parámetros, más de cien veces los de GPT-2. Además de escribir mejor, hacía algo que los modelos pequeños apenas lograban: resolver una tarea nueva a partir de unos pocos ejemplos escritos en la propia petición, sin volver a entrenarlo. Desde entonces, el cálculo empleado para entrenar los modelos punteros ha crecido de forma sostenida. Epoch AI, que recopila estos datos, estima que se multiplicó por cuatro o cinco cada año entre 2010 y 2024.

Antes de 2020, mejorar un modelo de lenguaje era sobre todo un problema de diseño: probar arquitecturas y trucos de entrenamiento con la esperanza de que alguno funcionara. Después pasó a ser también un problema de presupuesto. Se podía calcular, antes de gastar el dinero, cuánto bajaría la pérdida de un modelo diez veces mayor. Esa previsibilidad tiene un límite que conviene no olvidar: la ley predice la pérdida, no qué tareas concretas sabrá hacer el modelo. Una mejora suave de la pérdida puede traducirse en saltos bruscos en una tarea, como explicamos en «Por qué la IA parece mejorar de golpe en algunas tareas».

2022: un modelo grande también necesita leer más

El trabajo de Kaplan dejaba una recomendación: con un presupuesto fijo, conviene gastarlo sobre todo en hacer el modelo más grande, aunque lea relativamente poco. Los grandes modelos de 2020 y 2021 se construyeron así. En marzo de 2022, DeepMind publicó un estudio con más de 400 modelos que llegaba a otra conclusión, conocida por el nombre del modelo que la demostró: Chinchilla. Para aprovechar bien el presupuesto, tamaño y datos deben crecer a la vez: si el modelo dobla su tamaño, debe leer el doble. Según ese criterio, los grandes modelos del momento habían leído demasiado poco.

Para demostrarlo entrenaron Chinchilla, un modelo de 70.000 millones de parámetros, con el mismo cálculo que Gopher, su modelo anterior de 280.000 millones. La diferencia es que Chinchilla leyó 1,4 billones de tokens, casi cinco veces más. Con un modelo cuatro veces más pequeño, superó a Gopher en casi todas las pruebas; en MMLU, un examen de preguntas de 57 materias, obtuvo un 67,5 % de aciertos, más de siete puntos por encima. La regla práctica que se popularizó fue de unos 20 tokens por parámetro.

Modelo	Año	Parámetros	Tokens de entrenamiento	Tokens por parámetro
GPT-3	2020	175.000 millones	300.000 millones	≈ 2
Gopher	2021	280.000 millones	300.000 millones	≈ 1
Chinchilla	2022	70.000 millones	1,4 billones	≈ 20
Llama 3 8B	2024	8.000 millones	más de 15 billones	≈ 1.900

Un billón equivale a un millón de millones. Datos de los artículos de GPT-3 y Chinchilla y del anuncio de Llama 3.

La última fila muestra que la regla de Chinchilla tampoco se convirtió en dogma. En abril de 2024, Meta explicó que la cantidad óptima de datos para su modelo de 8.000 millones de parámetros, según ese criterio, rondaba los 200.000 millones de tokens. Lo entrenó con más de 15 billones, unas 75 veces más, y el modelo siguió mejorando. La explicación es económica. Chinchilla optimiza el coste de entrenar, que se paga una vez. Pero un modelo se usa millones de veces, y un modelo pequeño que ha leído mucho es más barato de ejecutar que uno grande con la misma calidad.

Leer más tiene un límite evidente: el texto disponible. Epoch AI estima que el texto público escrito por personas ronda los 300 billones de tokens y que, al ritmo actual, los modelos lo agotarían en algún momento entre 2026 y 2032. Esa es la preocupación que expresaba Sutskever al llamar a los datos «el combustible fósil de la IA». Las respuestas han sido filtrar mejor, reutilizar datos, generar datos sintéticos con otros modelos y, sobre todo, buscar mejoras que no dependan solo de leer más.

2022: saber no es lo mismo que ayudar

Un modelo preentrenado continúa textos. Si le escribes una petición, no la interpreta necesariamente como una orden: puede continuarla como si fuera el principio de una lista. El artículo de InstructGPT, publicado por OpenAI en 2022, incluye un ejemplo de este problema.

«Escribe un cuento corto, en francés, sobre una rana que viaja en el tiempo hasta la antigua Grecia».

GPT-3: responde con más peticiones del mismo tipo. «Escribe una historia sobre un niño que quiere saberlo todo sobre los juegos de los dioses…», «Escribe una historia sobre un joven que vive una aventura en una época lejana…».

InstructGPT: escribe el cuento. «La rana estaba perdida y agotada. Solo tenía un objetivo en mente: viajar en el tiempo y llegar a la antigua Grecia…».

Qué cambia: el primer modelo trata la petición como el comienzo de una lista de encargos; el segundo, como un encargo que debe cumplir. Ambos modelos tienen 175.000 millones de parámetros.

Fuente: figura 8 de Ouyang et al. (2022). Ejemplo traducido del francés y recortado.

Para conseguirlo, OpenAI usó la técnica de aprendizaje por refuerzo a partir de preferencias humanas, conocida como RLHF. Primero, varias personas escribieron respuestas de ejemplo a peticiones reales. Después compararon distintas respuestas del modelo y las ordenaron de mejor a peor. Con esas comparaciones se entrenó un segundo modelo, el modelo de recompensa, que aprende a predecir qué respuesta preferiría una persona. Por último, el modelo principal se ajustó con aprendizaje por refuerzo: genera respuestas, el modelo de recompensa las puntúa y el entrenamiento hace más probables las que reciben buena nota.

El resultado cuestionaba la idea de que todo dependía del tamaño. Las personas que evaluaron las respuestas preferían las del InstructGPT de 1.300 millones de parámetros a las de GPT-3 con 175.000 millones, un modelo más de cien veces mayor. Y ese ajuste costó poco: según OpenAI, usó menos del 2 % del cálculo y de los datos del preentrenamiento. La propia empresa lo describió como una forma de «desbloquear» capacidades que GPT-3 ya tenía. ChatGPT, lanzado en noviembre de 2022, aplicó esta receta a un producto de uso general.

Esta palanca no añade conocimiento, sino que cambia el objetivo: de continuar textos a ayudar a quien pregunta. Conviene recordar la cifra del 2 %, porque tres años después la proporción de cálculo dedicada a esta fase posterior al preentrenamiento sería muy distinta.

2023: muchos parámetros, pocos a la vez

En un modelo convencional, que se suele llamar denso, todos los parámetros trabajan en cada token. Si el modelo es diez veces mayor, cada palabra cuesta unas diez veces más de calcular.

La mezcla de expertos, conocida por sus siglas en inglés MoE, rompe esa relación. Divide partes del modelo en varios bloques, llamados expertos, y añade un enrutador que elige, para cada token, qué pocos expertos lo procesan. Los demás no hacen nada con ese token.

La idea viene de 2017, cuando Noam Shazeer y otros investigadores de Google la aplicaron a redes de hasta 137.000 millones de parámetros. En los modelos de lenguaje se popularizó con Mixtral 8x7B, que Mistral publicó en diciembre de 2023: tenía 46.700 millones de parámetros, pero cada token usaba solo 12.900 millones.

El nombre de «experto» confunde un poco. No hay un experto en medicina y otro en historia: el enrutador decide su propio reparto durante el entrenamiento, y en Mixtral ese reparto parecía seguir más la sintaxis del texto que su tema.

Un año después, DeepSeek-V3 mostró hasta dónde podía llegar el ahorro. Tiene 671.000 millones de parámetros, de los que cada token usa 37.000 millones, y según su informe técnico el entrenamiento final costó unos 5,6 millones de dólares en alquiler de GPU. La cifra no incluye la investigación previa, pero era muy baja para un modelo que competía con los mejores modelos cerrados, y el diseño MoE era una de las razones.

¿Son MoE todos los modelos? No, pero en 2026 lo son casi todos los modelos grandes de pesos abiertos, los que cualquiera puede descargar. La tabla reúne los más recientes junto a tres anteriores para comparar.

Modelo	Fecha	Arquitectura	Parámetros totales	Activos por token
Mixtral 8x7B	dic. 2023	MoE	46.700 millones	12.900 millones
DeepSeek-V3	dic. 2024	MoE	671.000 millones	37.000 millones
Llama 4 Maverick	abr. 2025	MoE	400.000 millones	17.000 millones
GLM-5	feb. 2026	MoE	744.000 millones	40.000 millones
Qwen3.5-397B-A17B	feb. 2026	MoE	397.000 millones	17.000 millones
Gemma 4 31B	abr. 2026	densa	30.700 millones	todos
Gemma 4 26B A4B	abr. 2026	MoE	25.200 millones	3.800 millones
DeepSeek-V4-Pro	abr. 2026	MoE	1,6 billones	49.000 millones
Kimi K3	jul. 2026	MoE	2,8 billones	104.000 millones
Qwen3.8-27B	ago. 2026	densa	27.000 millones	todos

Datos de las fichas técnicas de cada modelo, enlazadas en las fuentes. Solo incluye modelos de pesos abiertos, cuya arquitectura es pública.

La tabla deja ver un patrón. A partir de unos cientos de miles de millones de parámetros, en 2026 prácticamente todo es MoE: Meta adoptó el diseño con Llama 4, su primera familia MoE, y Kimi K3 llega a 2,8 billones de parámetros usando menos del 4 % en cada token. Los modelos densos siguen presentes en tamaños medianos, donde el ahorro compensa menos la complejidad; Google publica incluso las dos variantes en la misma familia, Gemma 4. De los modelos cerrados de OpenAI, Anthropic o Google no se sabe con certeza, porque no publican su arquitectura. Que GPT-4 fuera un MoE se repite mucho, pero OpenAI nunca lo ha confirmado.

Hay un matiz importante: un MoE ahorra cálculo, pero no memoria. Todos los expertos tienen que estar cargados, porque cualquier token puede necesitar cualquiera de ellos. DeepSeek-V4-Pro calcula cada palabra como un modelo de unos 50.000 millones de parámetros, pero ocupa en memoria lo que ocupan sus 1,6 billones. Lo explicamos con más detalle en nuestro artículo sobre inferencia local.

La mezcla de expertos no es una nueva ley de escala, sino un cambio en el precio. Antes, tener diez veces más parámetros significaba pagar unas diez veces más por cada palabra generada. Con MoE, la capacidad de un modelo para almacenar conocimiento y la cantidad de cálculo por palabra dejan de ir siempre juntas.

2024: gastar cálculo al responder

Hasta aquí, todas las palancas actúan sobre el entrenamiento. Una vez entrenado, el modelo dedica más o menos el mismo esfuerzo a cada token, ya se le pregunte la capital de Francia o un problema de olimpiada. La siguiente palanca consiste en dejar que gaste más cálculo en las preguntas que lo necesitan.

El primer paso fue casi un truco de redacción. En enero de 2022, un equipo de Google publicó el trabajo sobre la cadena de pensamiento: si en la petición se incluyen ejemplos resueltos paso a paso, el modelo también escribe los pasos intermedios antes de dar la respuesta, y acierta más.

La petición incluye un problema resuelto con sus pasos: Roger tiene 5 pelotas de tenis y compra 2 botes de 3 pelotas cada uno. «Empezó con 5. Dos botes de 3 pelotas son 6. 5 + 6 = 11. La respuesta es 11».

«La cafetería tenía 23 manzanas. Si usaron 20 para la comida y compraron 6 más, ¿cuántas manzanas tienen?»

Si el ejemplo solo trae la respuesta final: el modelo contesta 27.

Si el ejemplo trae los pasos: «Tenían 23 y usaron 20, así que les quedaban 3. Compraron 6 más: 3 + 6 = 9. La respuesta es 9».

Respuesta correcta: 9. Escribir el resultado intermedio da al modelo un lugar donde apoyarse; sin él, intenta llegar a la respuesta de un salto y falla.

Fuente: figura 1 de Wei et al. (2022), traducida. El modelo es PaLM, de Google, con 540.000 millones de parámetros.

En GSM8K, una colección de problemas de matemáticas de primaria, PaLM pasaba del 17,9 % al 56,9 % de aciertos con este cambio. Pero el efecto solo aparecía en los modelos grandes, de alrededor de 100.000 millones de parámetros; en los pequeños, escribir pasos no ayudaba e incluso empeoraba el resultado. La cadena de pensamiento era, en sí misma, un efecto de la escala.

Si escribir algunos pasos ayuda, ¿ayuda escribir más? ¿O intentar el problema varias veces y quedarse con la mejor respuesta? En agosto de 2024, Snell y otros investigadores de Google y Berkeley compararon dos maneras de gastar el mismo cálculo: usar un modelo más grande o dejar que uno pequeño piense más. En los problemas que el modelo pequeño ya resolvía a veces, pensar más podía ganar a un modelo catorce veces mayor. En los más difíciles, no: ahí seguía haciendo falta un modelo mejor.

Un mes después, el 12 de septiembre de 2024, OpenAI presentó o1, el primer modelo comercial diseñado para pensar un rato antes de responder. Su anuncio incluía dos gráficos muy citados. En los dos, el acierto en un examen de matemáticas subía de forma regular: en uno, al dar más cálculo al entrenamiento; en el otro, al dejarle más tiempo para pensar cada respuesta. Era la misma forma que la ley de 2020, aplicada a un eje nuevo. Las cifras de ese salto están en el artículo sobre las sigmoides.

En 2026, este eje es un mando más de los productos. GPT-6 Astra se ofrece con varios niveles de esfuerzo, y un modelo abierto como el gran Qwen3.8 incluye un ajuste de «esfuerzo de razonamiento» para elegir entre pensar poco, lo normal o mucho, según la profundidad y el coste que se quieran. En el anuncio de Astra, el director técnico de Lovable explica que más esfuerzo permite más iteraciones y más comprobaciones con pruebas en el navegador.

Antes de 2022, la calidad de un modelo quedaba fijada al terminar su entrenamiento. Ahora una parte se decide en cada pregunta, según cuánto cálculo se le permita gastar. El coste por respuesta deja de ser fijo y se convierte en una decisión: una pregunta sencilla no merece el mismo esfuerzo que una auditoría de código.

2025: entrenar con lo que se puede comprobar

Que un modelo escriba más pasos no garantiza que piense mejor: puede dar vueltas sin avanzar. o1 aprovechaba ese tiempo porque lo habían entrenado para ello con aprendizaje por refuerzo. Y ahí aparecía un problema. En RLHF, quien pone la nota es un modelo de recompensa que imita los gustos de las personas, y es un juez imperfecto. Si se entrena demasiado contra él, el modelo aprende a contentarlo en lugar de hacer bien la tarea, como un alumno que estudia para el corrector y no para la asignatura. Por eso esa fase se mantenía corta.

La salida fue entrenar con problemas que se pueden corregir de forma automática, como un examen con solucionario: matemáticas con una respuesta conocida o código que tiene que pasar unas pruebas. Ahí la nota es fiable y se puede entrenar mucho más tiempo.

En enero de 2025, DeepSeek publicó cómo lo había hecho con DeepSeek-R1. Su primera versión, R1-Zero, aprendió solo con ese tipo de notas, sin ejemplos de razonamiento escritos por personas. Lo llamativo es lo que pasó durante el entrenamiento: sus respuestas se alargaron solas, de cientos a miles de tokens de razonamiento. Nadie le pidió que pensara más; lo aprendió porque pensar más le daba más aciertos. Los autores recogen incluso el momento en que una versión intermedia se interrumpe con un «Espera, espera. Espera. Este es un momento eureka» y revisa su planteamiento.

Este refuerzo, además, escalaba. Al presentar o3, en abril de 2025, OpenAI contó que con él se cumplía la misma regla que en el preentrenamiento: más cálculo, mejor rendimiento. En julio de 2025, xAI dijo haber entrenado Grok 4 con refuerzo «a escala de preentrenamiento» y con problemas verificables de muchos más campos que las matemáticas y la programación. La comparación con 2022 resume el cambio: InstructGPT dedicó a esta fase menos del 2 % del cálculo del preentrenamiento; tres años después, algunos laboratorios le dedican una cantidad comparable.

Faltaba medirlo con rigor. En octubre de 2025, un equipo de Meta y varias universidades publicó el primer estudio sistemático sobre cómo escala el refuerzo, con más de 400.000 horas de GPU. La mejora seguía una curva regular, lo bastante como para predecir un entrenamiento grande a partir de otros pequeños. Pero había una diferencia con la ley de 2020: esta curva termina aplanándose. Cada receta de entrenamiento tiene su techo, y muchos ajustes solo cambian lo rápido que se llega a él, no su altura.

Con RLHF, el modelo aprendía a dar respuestas que gustaban. Con recompensas verificables, aprende a resolver problemas cuya solución se puede comprobar. El recurso escaso también se desplaza: ya no son solo los textos para leer, sino los problemas con una forma fiable de saber si están bien resueltos.

2025: de poder llamar a una herramienta a saber cuándo usarla

Un modelo de lenguaje, por sí solo, calcula mal operaciones largas, no sabe qué ha pasado después de su entrenamiento y no puede actuar fuera de la conversación. Las herramientas resuelven las tres cosas. En febrero de 2023, Meta presentó Toolformer, un modelo que aprendió a insertar en su texto llamadas a una calculadora, a un buscador o a un traductor. En junio de 2023, OpenAI añadió a su API las llamadas a funciones: el desarrollador describe las herramientas disponibles y el modelo responde con una petición estructurada para usarlas.

Eso era una interfaz. El modelo podía pedir una herramienta, pero no había aprendido a decidir cuándo le convenía hacerlo dentro de una tarea larga, ni a cambiar de plan según lo que la herramienta le devolvía. El cambio llegó al combinar las herramientas con el refuerzo. En el anuncio de o3 y o4-mini, OpenAI explicaba que los había entrenado para usar herramientas mediante aprendizaje por refuerzo, enseñándoles «no solo a utilizarlas, sino también a razonar sobre cuándo hacerlo». El propio anuncio incluía un ejemplo de lo que eso significa.

«¿Cómo será el consumo de energía en California este verano comparado con el del año pasado?»

Para responder, el modelo busca en la web datos públicos de consumo, escribe código en Python para construir una previsión, genera un gráfico y explica los factores que la sostienen. Si una búsqueda no da lo que necesita, puede hacer otra.

Qué cambia: nadie le indica qué herramienta usar ni en qué orden. Elegirlas y encadenarlas forma parte de lo que el modelo ha aprendido.

Fuente: ejemplo descrito en el anuncio de o3 y o4-mini, 16 de abril de 2025.

Las herramientas encajan con la palanca anterior por una razón práctica: también sirven para comprobar. Un modelo que puede ejecutar el código que escribe sabe si funciona antes de entregarlo. En el mismo anuncio, o4-mini resolvía el 99,5 % de los problemas del examen AIME de 2025 con acceso a un intérprete de Python. OpenAI advertía de que esa cifra no debía compararse con la de modelos sin herramientas, pero ilustra cómo el modelo aprovecha los recursos que tiene.

En 2026, las pruebas que destacan los lanzamientos ya no preguntan si el modelo sabe usar una calculadora, sino si puede manejar un ordenador. GPT-6 Astra obtiene un 72,6 % en OSWorld 2.0, una prueba de tareas reales en un sistema operativo, dedicando unos 40 minutos de media a cada una. El entorno, ya sea un ordenador, un navegador o un repositorio de código, se ha convertido en parte de lo que el modelo sabe aprovechar. Contamos cómo llegaron los lanzamientos a medir este tipo de trabajo en nuestra historia de los benchmarks.

En el laboratorio: pensar sin escribir

Todas las formas de pensar que hemos visto tienen algo en común: el modelo razona escribiendo. Cada paso intermedio se convierte en tokens, y cada token hay que calcularlo y pagarlo. Hay además una pega menos visible. Por dentro, el modelo representa cada paso con miles de números que pueden contener varias posibilidades a la vez. Al elegir una palabra, se queda con una sola y descarta el resto.

De ahí sale una línea de investigación conocida como razonamiento en el espacio latente. El espacio latente es ese lenguaje interno de números con el que el modelo trabaja antes de elegir cada palabra. La idea es dejarle pensar ahí, sin pasar por el texto.

Las propuestas más conocidas siguen dos caminos:

• Reenviar el pensamiento. En Coconut, presentado por Meta en diciembre de 2024, el modelo no escribe el siguiente paso: se pasa a sí mismo su estado interno como si fuera la siguiente entrada. Así puede mantener abiertos varios caminos a la vez, como quien explora un laberinto por varios pasillos, y superaba a la cadena de pensamiento en problemas lógicos que obligan a planificar.
• Dar más vueltas por dentro. En vez de escribir más, el modelo repite un mismo bloque de capas tantas veces como necesite: piensa en profundidad, no en longitud. El prototipo de Geiping y otros investigadores, de febrero de 2025, tenía 3.500 millones de parámetros y mejoraba en pruebas de razonamiento hasta gastar el cálculo de un modelo de 50.000 millones. En octubre de 2025, los modelos en bucle Ouro llevaron la idea al preentrenamiento: con 1.400 y 2.600 millones de parámetros rendían como modelos de 4.000 y 8.000 millones. Según sus autores, no porque supieran más, sino porque manejaban mejor lo que sabían.

En octubre de 2026 siguen siendo modelos de investigación, pequeños comparados con los de frontera. Ningún laboratorio ha confirmado que sus modelos punteros razonen así, aunque tampoco publican su arquitectura. Por eso no aparece en el gráfico del principio: es una candidata a palanca, no una palanca consolidada.

Su principal obstáculo no es técnico. La cadena de pensamiento escrita es hoy una de las mejores ventanas para vigilar lo que hace un modelo, porque permite detectar cuándo se plantea saltarse las reglas. En julio de 2025, investigadores de OpenAI, Google DeepMind, Anthropic y otras instituciones publicaron un documento conjunto que la describía como una oportunidad «nueva y frágil» para la seguridad y pedía a los laboratorios tener en cuenta cómo sus decisiones de diseño afectan a esa ventana. En diciembre, OpenAI publicó evaluaciones según las cuales vigilar la cadena de pensamiento es mucho más eficaz que vigilar solo las acciones y los resultados.

Esa ventana ya se estrecha un poco sin necesidad de arquitecturas nuevas. Un estudio de julio de 2026 comprobó que trece modelos avanzados mejoraban hasta 13 puntos en tareas de razonamiento sintéticas al escribir tokens de relleno, sin ningún significado: parte del cálculo ocurre sin dejar un rastro legible. Y en el anuncio de GPT-6 Astra, OpenAI reconoce que, en pruebas en las que se le pedía eludir la supervisión, su razonamiento escrito resultó más difícil de vigilar que el de su predecesor, en parte porque resuelve los problemas con menos pasos escritos.

Pensar sin escribir sería otra forma de gastar cálculo al responder, probablemente más barata por paso. El precio sería cerrar esa ventana. Que llegue a ser una palanca dependerá de lo que rinda, pero también de si los laboratorios, y quienes los regulan, aceptan ese intercambio.

¿Se ha acabado la escala?

Con este recorrido se puede volver a la pregunta del principio. Quien defiende que la escala se agota tiene buenos argumentos:

• Cada multiplicación por diez cuesta más dinero y energía, y los centros de datos tardan años en construirse.
• El texto escrito por personas es finito.
• GPT-4.5 mostró que agrandar el preentrenamiento ya no daba, por sí solo, un salto que se notara en las tareas que más interesaban.
• La ley del refuerzo tiene techo, y el refuerzo funciona sobre todo donde hay una forma automática de comprobar el resultado.

Todos son ciertos, pero cada uno describe el límite de una palanca concreta, no del conjunto. Cuando el preentrenamiento se encareció, el cálculo al responder y el refuerzo tomaron el relevo.

Además, las palancas se apoyan unas en otras. Los autores de DeepSeek-R1 probaron a aplicar el refuerzo directamente a un modelo de 32.000 millones de parámetros, y funcionó peor que enseñarle a imitar los razonamientos del modelo grande. Su conclusión fue que, para ir más allá, harán falta modelos base más potentes y más refuerzo: el refuerzo saca partido de lo que el preentrenamiento ha construido. GPT-6 Astra encaja con esa lectura. Es una vuelta a la primera palanca, pero encima de todas las demás: el mayor preentrenamiento de OpenAI, seguido de refuerzo, herramientas y niveles de esfuerzo.

Queda una cautela que vale para todas las leyes de este artículo. Son observaciones, no garantías. Miden la pérdida o la puntuación en una prueba, no la utilidad en un trabajo real, y pueden dejar de cumplirse sin previo aviso, como dejó de cumplirse la recomendación de Kaplan sobre los datos.

Qué conviene mirar en lugar del tamaño

Durante años, el número de parámetros fue el atajo para comparar modelos. Hoy dice poco por sí solo. Un modelo puede tener 2,8 billones de parámetros y usar 104.000 millones por palabra; puede haber leído 75 veces lo que recomendaba una regla de 2022; puede valer mucho más con un esfuerzo alto que con uno bajo. La pregunta útil ya no es cuánto ha crecido un modelo, sino qué se ha escalado y cómo se ha comprobado.

Esa pregunta tiene consecuencias para quien usa estos modelos en un proceso real. La calidad se ha convertido en parte en una decisión de cada tarea: cuánto esfuerzo, cuánto tiempo y cuánto coste por respuesta merece cada paso. Y los modelos mejoran antes allí donde el resultado se puede verificar. En una organización, los procesos que ya tienen comprobaciones automáticas, como pruebas de software, conciliaciones o validaciones de datos, son los primeros en los que un agente puede llegar a trabajar con fiabilidad. Construir esas comprobaciones es, en buena medida, el mismo trabajo que hacen los laboratorios para entrenar a sus modelos.

Cada palanca de esta historia tuvo su momento de parecer la definitiva. Ninguna lo fue, y ninguna desapareció.

Fuentes

• OpenAI: GPT-6 Astra, 3 de septiembre de 2026
• Fortune: OpenAI launches GPT-6 Astra, 3 de septiembre de 2026
• Cointelegraph: intervención de Ilya Sutskever en NeurIPS, diciembre de 2024
• TechCrunch: OpenAI retirará GPT-4.5 de su API, 14 de abril de 2025
• Kaplan et al.: Scaling Laws for Neural Language Models, enero de 2020
• Brown et al.: Language Models are Few-Shot Learners (GPT-3), mayo de 2020
• Epoch AI: Training compute of frontier AI models grows by 4-5x per year
• Our World in Data: Computation used to train notable AI systems
• Hoffmann et al.: Training Compute-Optimal Large Language Models (Chinchilla), marzo de 2022
• Meta: Introducing Meta Llama 3, abril de 2024
• Villalobos et al.: Will we run out of data?, Epoch AI
• OpenAI: Aligning language models to follow instructions, 27 de enero de 2022
• Ouyang et al.: Training language models to follow instructions with human feedback, marzo de 2022
• Shazeer et al.: Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer, 2017
• Mistral AI: Mixtral of experts, 11 de diciembre de 2023
• Jiang et al.: Mixtral of Experts, enero de 2024
• DeepSeek-AI: DeepSeek-V3 Technical Report, diciembre de 2024
• Meta: The Llama 4 herd, 5 de abril de 2025
• Z.ai: GLM-5, febrero de 2026
• Qwen: Qwen3.5-397B-A17B, febrero de 2026
• Google: Gemma 4 31B, abril de 2026
• DeepSeek-AI: DeepSeek-V4-Pro, abril de 2026
• Moonshot AI: Kimi K3, julio de 2026
• Qwen: Qwen3.8-27B, agosto de 2026
• Qwen: Qwen3.8-2.4T-A95B, agosto de 2026
• Wei et al.: Chain-of-Thought Prompting Elicits Reasoning in Large Language Models, enero de 2022
• Snell et al.: Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters, agosto de 2024
• OpenAI: Learning to reason with LLMs, 12 de septiembre de 2024
• DeepSeek-AI: DeepSeek-R1, enero de 2025
• OpenAI: Introducing OpenAI o3 and o4-mini, 16 de abril de 2025
• xAI: Grok 4, julio de 2025
• Khatri et al.: The Art of Scaling Reinforcement Learning Compute for LLMs, octubre de 2025
• Schick et al.: Toolformer, febrero de 2023
• OpenAI: Function calling and other API updates, 13 de junio de 2023
• Hao et al.: Training Large Language Models to Reason in a Continuous Latent Space (Coconut), diciembre de 2024
• Geiping et al.: Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach, febrero de 2025
• Zhu et al.: Scaling Latent Reasoning via Looped Language Models (Ouro), octubre de 2025
• Korbak et al.: Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety, julio de 2025
• OpenAI: Evaluating chain-of-thought monitorability, 18 de diciembre de 2025
• Baherwani, Goldstein y Panda: Not All LLM Reasoning is Visible in the Chain-of-Thought, julio de 2026