En febrero de 2019, OpenAI presentó GPT-2 mostrando, entre otras cosas, si era capaz de leer un relato y deducir la palabra que faltaba al final. Hoy eso parece un encargo pequeño. Entonces servía para investigar una capacidad fundamental: si el modelo estaba siguiendo lo que ocurría en el texto, más allá de enlazar palabras que suelen aparecer juntas.
En septiembre de 2026, el anuncio de Grok 4.7 compara modelos en pruebas que piden diseñar circuitos eléctricos, detectar riesgos legales en contratos y razonar sobre casos médicos. Comprender las instrucciones es solo una parte de esos encargos: hay que aplicar conocimientos a un caso y cumplir sus requisitos. La expectativa que expresa el anuncio se acerca a la de delegar una parte del trabajo de un profesional.
Entre ambas fechas cambian los modelos, pero también lo que consideramos una demostración de sus capacidades. Los laboratorios lo hacen visible en sus lanzamientos: eligen unas pruebas comunes —los benchmarks—, publican los resultados y los comparan con los de otros sistemas. Las puntuaciones cuentan qué resultado obtiene un modelo. El tipo de prueba que se destaca cuenta qué empezamos a esperar de él.
El recorrido desde los primeros GPT permite seguir ese cambio: cómo los avances fueron dando motivos para pedir tareas más ambiciosas y buscar nuevas formas de comprobar si el modelo podía resolverlas.
2018–2020: ¿está siguiendo lo que lee?
Los primeros GPT, desde 2018, se evaluaban en tareas como responder preguntas sobre un texto o reconocer si dos frases se contradicen. Para un sistema que aprendía a partir de grandes cantidades de lenguaje, acertar esos ejercicios permitía comprobar si lo aprendido le servía para interpretar lo que se le daba a leer.
En el lanzamiento de GPT-2, en febrero de 2019, una de las pruebas destacadas era LAMBADA. Reunía pasajes en los que había que completar la última palabra. La dificultad estaba en que no bastaba con mirar las palabras inmediatamente anteriores: había que usar el contexto del relato.
Julia le explica a un hombre que ya ha enfocado a su amigo y que solo tiene que pulsar el disparador.
«Él asintió, tiró el cigarrillo y cogió la ___».
Respuesta esperada: cámara. El contexto permite deducir qué objeto coge. En el original, la palabra es camera.
Después de «cogió la…» caben muchas cosas. Para llegar a «cámara» hay que conectar el disparador, el amigo al que iban a fotografiar y el objeto que pasa de unas manos a otras. Una respuesta de una sola palabra permitía comprobar si el modelo relacionaba detalles repartidos por el texto.
Ese era el interés de la pregunta. Aciertos como este daban motivos para pensar que aprender a continuar textos podía producir algo más útil que frases verosímiles: una capacidad de seguir situaciones y responder sobre ellas. La prueba aportaba una señal de comprensión en una tarea concreta, aunque no resolviera por sí sola qué significa que una máquina «entienda».
GPT-2 acertaba el 63,24 % de los ejercicios de LAMBADA. En mayo de 2020, GPT-3 llegaba al 86,4 % cuando recibía algunos ejemplos resueltos antes de contestar. Las condiciones eran distintas, y esa ayuda era parte de la novedad: se podía enseñar al modelo qué tarea queríamos con ejemplos incluidos en la propia petición, sin volver a entrenarlo para cada actividad.
Entre GPT-2 y GPT-3, el ejercicio de LAMBADA seguía pidiendo la palabra que faltaba: «cámara», en nuestro ejemplo. Lo que cambió fue también cómo se planteaba la prueba: GPT-3 recibía demostraciones de lo que debía hacer. A la capacidad de relacionar las pistas del relato se añadía otra que se quería comprobar: aprender qué tarea se le pedía a partir de unos ejemplos, sin un entrenamiento específico. Eso daba motivos para probar encargos distintos, como escribir código.
2021–2023: ¿puede usar lo que sabe?
En 2021, OpenAI presentó el Codex original, una familia de modelos que generaban código a partir de instrucciones. Conviene distinguirlo del Codex actual: OpenAI reutiliza el nombre para su producto de programación con agentes, al que se pueden delegar tareas sobre proyectos de software.
El informe técnico de aquel Codex introducía HumanEval: 164 ejercicios en los que se describía una operación y el modelo debía escribir la función que la realizara. Una función es una pieza de código que recibe unos datos y produce un resultado. La evaluación la ejecutaba con distintos datos para comprobar si hacía lo solicitado.
Escribe una función que reciba una lista de números y una distancia máxima. Debe indicar si hay dos números cuya diferencia sea menor que esa distancia.
Por ejemplo: para la lista [1.0, 2.0, 3.0] y una distancia de 0.5, ¿hay alguna pareja que cumpla la condición?
No: la función debe devolver False. La menor diferencia entre dos números de esa lista es 1. El encargo consiste en escribir el código que resuelva también otros casos, no solo contestar a este ejemplo.
Con un intento por problema, Codex resolvía el 28,8 % de los ejercicios. La limitación era considerable, pero también lo era la expectativa que abría: describir una operación con palabras y obtener el código que la hiciera.
El cambio respecto a LAMBADA se veía en la respuesta que se esperaba. Allí bastaba con deducir «cámara» a partir del relato; HumanEval pedía construir una función que resolviera distintos casos al ejecutarla. Se ponía a prueba la capacidad de convertir una instrucción en un procedimiento correcto. El encargo seguía muy acotado: se le decía exactamente qué debía programar.
El 14 de marzo de 2023, la presentación de GPT-4 llevó la comparación a un terreno reconocible para mucha más gente. Según OpenAI, había aprobado una simulación de un examen estadounidense de acceso a la abogacía, con una nota situada aproximadamente entre el 10 % de participantes con mejores resultados. GPT-3.5 había quedado cerca del 10 % con peores resultados.
Escoger ese examen como reclamo proponía una referencia distinta: evaluar al modelo con preguntas que usamos para valorar la preparación de una persona. Su informe técnico incluía también MMLU, una colección de preguntas de opción múltiple sobre 57 materias. GPT-4 acertaba el 86,4 %. Una de las preguntas era esta:
¿Qué política describe mejor una política fiscal de oferta?
Respuesta esperada: C. La política fiscal utiliza impuestos y gasto público. En este caso se pregunta por una medida que incentive la producción: reducir impuestos a la investigación puede favorecer el desarrollo de nuevas tecnologías.
Fuente: MMLU, macroeconomía de bachillerato, conjunto de desarrollo, fila 4.
El mismo modelo respondía sobre economía, historia, física, medicina o derecho. Lo que se intentaba demostrar era una amplitud de conocimientos que permitiera tratarlo como un interlocutor preparado en muchos campos.
La comparación con LAMBADA permite ver qué había cambiado: para completar «cámara», las pistas estaban en el relato; para contestar la pregunta de MMLU, había que aportar conocimientos de economía que el enunciado no explicaba. A interpretar un texto se añadía la exigencia de usar lo aprendido sobre muchas materias. Las buenas notas de GPT-4 abrían así la siguiente pregunta: ¿hasta dónde llegaría cuando conocer la materia fuera solo el primer paso para resolver el problema?
2023–2024: ¿qué pasa cuando el problema se complica?
En diciembre de 2023, Google presentó Gemini Ultra destacando un 90 % de aciertos en MMLU. Según el anuncio, superaba la puntuación de referencia de expertos humanos en esa prueba. El sistema generaba varios razonamientos antes de escoger una respuesta: la nota dependía también de cómo se le permitía resolver el examen.
En marzo de 2024, Claude 3 volvió a compararse con GPT-4 y Gemini en conocimientos, programación y matemáticas. Las pruebas comunes permitían ver las diferencias entre fabricantes, pero empezaban a mostrar un problema para los próximos lanzamientos: en algunas quedaba poco margen para mejorar.
Claude 3 Opus acertaba el 95 % de GSM8K, una colección de problemas de matemáticas de primaria. Este es uno de sus ejercicios:
Los patos de Janet ponen 16 huevos al día. Ella se come tres en el desayuno y usa cuatro para hacer magdalenas. Vende el resto a 2 dólares el huevo.
¿Cuánto ingresa al día?
Respuesta esperada: 18 dólares. (16 − 3 − 4) × 2 = 18. La dificultad es seguir los pasos sin perder de vista qué se cuenta.
Fuente: primera pregunta del conjunto de test de GSM8K, abreviada.
Resolverlo exige entender qué ocurre y encadenar varias operaciones. Pero, con un 95 % de aciertos, la siguiente generación apenas podía distinguirse en esa prueba. Haber aprendido a resolver casi todos esos ejercicios no decía hasta dónde llegaría ante un problema menos rutinario. Para averiguarlo había que cambiar las preguntas.
Eso hizo especialmente visible el lanzamiento de o1, en septiembre de 2024. OpenAI lo presentó como un modelo entrenado para dedicar más cálculo a elaborar una solución antes de responder. Entre sus pruebas destacaban AIME, un examen de problemas matemáticos del proceso de selección para la olimpiada estadounidense, y GPQA, con preguntas especializadas de física, química y biología.
La expectativa era que el modelo pudiera sostener un razonamiento más exigente: encontrar cómo abordar el problema y avanzar hasta una solución, incluso cuando no bastaba con reconocer un concepto o encadenar unas cuentas sencillas. En AIME, OpenAI comparó su anterior GPT-4o con o1-preview, la versión preliminar que acababa de publicar, y con el o1 que seguía desarrollando. Estos fueron sus porcentajes de acierto, con un intento por problema:
Escala de 0 a 100 %. Datos del apéndice A del anuncio de OpenAI, que permiten a cada modelo el máximo cálculo configurado para esa evaluación. La versión disponible al anunciarlo era o1-preview.
La generación anterior fallaba en la gran mayoría de aquellos problemas; o1 acertaba casi tres de cada cuatro bajo las condiciones del estudio. Esa búsqueda de problemas exigentes continuaría acercando la evaluación a la frontera entre resolver ejercicios y producir investigación matemática.
De GSM8K a AIME, el cambio concreto era la dificultad del razonamiento: pasábamos de encadenar las cuentas de los huevos de Janet a encontrar una vía de solución para un problema de competición. Se intentaba medir hasta dónde podía elaborar una solución el modelo cuando las operaciones necesarias eran menos evidentes. Seguíamos, sin embargo, dándole un enunciado y esperando una respuesta. El siguiente paso sería pedirle que actuara sobre archivos y aplicaciones para conseguir un resultado.
2024–2025: ¿puede avanzar sin que le indiquemos cada paso?
El 22 de octubre de 2024, apenas unas semanas después de o1, Anthropic presentó una nueva versión de Claude 3.5 Sonnet. En programación, uno de sus resultados destacados era resolver el 49,0 % de SWE-bench Verified. Esta prueba parte de fallos y peticiones de cambio en proyectos de software reales: entrega al sistema la descripción del problema y los archivos del proyecto, y le pide una corrección.
Un informe de error explica que Django, una herramienta para desarrollar webs, acepta nombres de usuario con un salto de línea al final, aunque debería rechazarlos.
Hay que localizar el código que comprueba los nombres de usuario y corregirlo para que rechace ese caso.
La solución de referencia cambia dos líneas de código. Aunque la modificación es pequeña, encontrarla exige orientarse en los archivos del proyecto. La evaluación comprueba que el fallo quede corregido y que sigan funcionando los comportamientos que también pone a prueba.
Fuente: SWE-bench Verified, conjunto de test, fila 31, y auditoría de OpenAI del 23 de febrero de 2026.
El ejemplo vuelve sobre la promesa de Codex de 2021, pero cambia cuánto trabajo dejamos en manos del sistema. En HumanEval se le describía una función concreta. Aquí tiene que averiguar dónde está el fallo y qué hay que modificar antes de escribir la solución. Dos líneas de código pueden ser el final de una tarea que exige buscar, leer y comprobar bastante más.
Para hacer eso, un modelo necesita acceso a herramientas que le permitan consultar archivos, editarlos y ejecutar pruebas. El programa que lo rodea le devuelve el resultado de cada acción para que decida cómo continuar. Esa combinación es lo que llamamos un agente. La evaluación empieza a medir si el sistema consigue avanzar a través de una secuencia de acciones.
El mismo anuncio de Sonnet presentaba el uso del ordenador mediante capturas de pantalla, clics y teclado. En OSWorld, una prueba de tareas realizadas dentro de aplicaciones, completaba correctamente el 14,9 % de los encargos en esa modalidad; con más pasos, el 22,0 %. Todavía fallaba mucho. Lo nuevo era el objetivo de la demostración: hacer la tarea dentro del programa, en vez de limitarse a explicar cómo se hacía.
En noviembre de 2025, Google destacó en el lanzamiento de Gemini 3 una prueba que llevaba más lejos esa continuidad: Vending-Bench 2. El encargo ya no terminaba al corregir un fallo. Había que mantener un negocio en marcha dentro de una simulación.
El modelo tiene que gestionar un negocio simulado: comprar existencias, tratar con proveedores y decidir precios, manteniendo la actividad durante un año simulado.
Se mide el dinero con el que termina el negocio. Para obtener un buen resultado, hay que coordinar compras, ventas y reposición durante toda la simulación. Cada decisión afecta a las posibilidades de las siguientes.
Fuente: Vending-Bench 2, de Andon Labs, destacado en la presentación de Gemini 3. El año transcurre en una simulación.
SWE-bench Verified terminaba al entregar una corrección; Vending-Bench 2 obligaba a seguir tomando decisiones durante un año simulado. Una compra de existencias condicionaba las ventas y las siguientes reposiciones. A completar una tarea con herramientas se añadía la capacidad de mantener un objetivo, recordar lo ocurrido y ajustar las decisiones con el paso del tiempo. Ese era el aumento de autonomía que la nueva prueba intentaba medir, dentro de una simulación.
En diciembre, GPT-5.2 abrió su tabla de resultados con GDPval, una evaluación de encargos de 44 ocupaciones. Aquí se comparaban presentaciones, hojas de cálculo o documentos producidos por el modelo con trabajos humanos para el mismo encargo. Según OpenAI, las entregas de GPT-5.2 Thinking eran preferidas o consideradas igual de buenas en el 70,9 % de las comparaciones. La cifra reúne victorias y empates en esas tareas; no mide qué parte de una profesión puede sustituirse.
Al cerrar 2025, los benchmarks habían ampliado tanto el encargo como la forma de juzgarlo. HumanEval pedía una función y la comprobaba con pruebas de ejecución; SWE-bench añadía orientarse en un proyecto y corregirlo; GDPval comparaba la calidad de documentos y otros trabajos con entregas humanas. La capacidad que se buscaba era hacerse cargo de más pasos y producir un resultado a la altura del encargo. El anuncio de Grok 4.7 permitiría examinar esa expectativa con criterios concretos de ingeniería y derecho.
2026: ¿puede resolver el encargo de un profesional?
En 2023, presentar la nota de GPT-4 en un examen de abogacía invitaba a compararlo con alguien que había estudiado derecho. Tres años después, una de las pruebas del anuncio de Grok 4.7, publicado el 21 de septiembre de 2026, le pide analizar documentos de una compra de empresa y preparar un informe sobre sus riesgos legales. La comparación se acerca al trabajo que recibiría un abogado en su mesa.
El mismo anuncio incluye pruebas de ingeniería eléctrica, razonamiento clínico, programación y trabajo de oficina. Reunirlas en la presentación de un modelo propone mirarlo como candidato a realizar tareas de distintas profesiones. Cada fila de esta tabla corresponde a una prueba; las columnas comparan los resultados de los modelos en ella.
| Prueba | Grok 4.7 xHigh | Grok 4.6 High | GPT-5.6 Sol Max | Fable 5.1 Max |
|---|---|---|---|---|
| Programación CursorBench 4.0 | 46,3 % | 40,4 % | 41,7 % | 51,8 % |
| Programación DeepSWE v1.1 | 71,0 %* | 65,2 % | 72,7 % | 70,0 % |
| Ingeniería eléctrica EEBench | 64,0 % | 53,0 % | 39,4 % | 56,4 % |
| Trabajo de oficina AA-Briefcase v1.1 | 1657 | 1546 | 1487 | 1678 |
| Trabajo en terminal Terminal-Bench 4.0 | 37,6 % | 20,3 % | 37,3 % | 57,9 % |
| Trabajo jurídico Harvey Legal Agent | 19,6 % | 15,8 % | 2,5 % | 6,7 % |
| Razonamiento clínico HealthBench Professional | 56,7 % | 48,5 % | 60,5 % | 62,1 % |
La prueba de ingeniería EEBench, creada por atopile, muestra qué implica ese cambio. Uno de sus encargos es este:
Un contador de electricidad necesita seguir encendido durante 20 milisegundos después de un corte de luz para guardar la lectura. El encargo consiste en elegir unos condensadores —componentes que almacenan energía— que puedan mantenerlo funcionando ese breve tiempo.
El modelo entrega un archivo que describe el circuito. La evaluación simula su funcionamiento y puntúa tanto el cumplimiento de los requisitos como el coste de los componentes. El circuito no se fabrica en esta prueba.
Ejemplo simplificado de la metodología de EEBench. El esquema muestra el objetivo del encargo, no una solución eléctrica.
La respuesta se juzga por lo que hace el circuito al quedarse sin alimentación. El conocimiento sobre condensadores cuenta en la medida en que permite cumplir ese requisito. La prueba exige pasar de explicar un principio a utilizarlo en un diseño comprobable.
La evaluación jurídica de Harvey aplica esa exigencia a una revisión de contratos:
Un comprador estudia adquirir la empresa ficticia Crestview Software Solutions. El agente recibe ocho contratos relevantes, mezclados con otros documentos.
Debe informar sobre los riesgos legales de la compra y cómo abordarlos.
Una licencia pierde su exclusividad si la empresa cambia de propietario. El comprador podría contar con un derecho exclusivo de uso que dejaría de serlo tras la compra. El informe debe detectar esa cláusula y explicar sus consecuencias.
El examen de GPT-4 comprobaba conocimientos jurídicos. Este encargo exige encontrar una cláusula entre los documentos, relacionarla con la compra y recomendar qué hacer. La revisión exige cumplir todos los criterios obligatorios para dar el informe por válido. El 19,6 % que anuncia xAI para Grok 4.7 indica cuántas tareas superaron ese listón: la exigencia profesional forma parte de la prueba, aunque el modelo falle en muchas de ellas.
El cambio respecto a los exámenes de GPT-4 se ve en qué cuenta como acierto. MMLU comprobaba si el modelo elegía la respuesta correcta; EEBench comprueba si el circuito mantiene encendido el contador el tiempo exigido; Harvey, si el informe detecta los riesgos y cumple los criterios de la revisión. Se exige combinar lectura, conocimientos y decisiones en un resultado comprobable. La capacidad que se intenta medir es cuánto de un encargo profesional puede resolver el sistema cumpliendo sus requisitos.
Lo que esperamos y lo que aún hay que demostrar
Vistos en conjunto, estos lanzamientos muestran cómo fue ampliándose el papel que proponemos a los modelos. Empezamos comprobando si seguían un relato; pasamos a preguntarles por lo que sabían y a plantearles problemas exigentes; después les dimos herramientas y encargos que requieren organizar varios pasos. Cada avance aportaba motivos para probar una tarea más ambiciosa.
Ese recorrido no significa que la comprensión, los conocimientos o el razonamiento sean etapas superadas. Las pruebas conviven y los errores persisten. Tampoco una tabla elegida por un fabricante demuestra que su modelo pueda asumir una profesión. Sí permite ver qué tipo de capacidad considera relevante intentar demostrar ante el público.
La palabra que faltaba en LAMBADA permitía investigar si el modelo relacionaba las pistas de una historia. El informe sobre una compra de empresa pregunta si puede usar esa comprensión, junto con sus conocimientos y herramientas, para detectar un problema que afecta a una decisión. Cambia la tarea y cambia el criterio con el que juzgamos la respuesta.
Por eso la historia también está en las preguntas que elegimos para presentar cada generación. Nos hemos ido atreviendo a pedir una parte mayor del trabajo. Las puntuaciones tienen que decirnos cuánto de esa expectativa cumple el modelo; el anuncio, por sí solo, no la convierte en una capacidad fiable.
Fuentes
- OpenAI: primer GPT, junio de 2018 y GPT-2, febrero de 2019. Las primeras tareas y la tabla de comprensión.
- Paperno y colaboradores: LAMBADA y Brown y colaboradores: GPT-3, 2020. El ejemplo de la cámara y el uso de demostraciones en la instrucción.
- OpenAI: Codex, agosto de 2021 y Chen y colaboradores: informe de Codex y HumanEval. Generación y comprobación de funciones.
- OpenAI: presentación de GPT-4, marzo de 2023 y su informe técnico. Exámenes, MMLU y HumanEval.
- Hendrycks y colaboradores: MMLU y Cobbe y colaboradores: GSM8K. Las tareas que aparecen en las tablas de 2023 y 2024.
- Google: Gemini, diciembre de 2023 y Anthropic: Claude 3, marzo de 2024. Competencia sobre pruebas comunes.
- OpenAI: o1, septiembre de 2024. Saturación de algunas pruebas y resultados en AIME; el gráfico usa el apéndice A.
- Anthropic: nuevo Claude 3.5 Sonnet y uso del ordenador, octubre de 2024. SWE-bench Verified y OSWorld.
- Jimenez y colaboradores: SWE-bench y conjunto SWE-bench Verified. El cambio desde funciones aisladas a incidencias reales.
- Google: Gemini 3, noviembre de 2025, Andon Labs: Vending-Bench 2 y OpenAI: GPT-5.2, diciembre de 2025. Agentes, tareas prolongadas y trabajo profesional.
- xAI: Grok 4.7, septiembre de 2026, atopile: metodología de EEBench y Harvey: Legal Agent Benchmark. La tabla reciente y sus ejemplos de ingeniería y derecho.
