Los grandes modelos de IA son más capaces de lo que los tests habituales nos hacen creer. Eso es, en esencia, la conclusión que acaba de publicar el AI Security Institute (AISI) del Reino Unido —el organismo gubernamental creado precisamente para evaluar los riesgos y capacidades de la inteligencia artificial— tras analizar siete benchmarks de referencia del sector. El problema, según el estudio, no está en los modelos, sino en cómo se les evalúa: los tests limitan artificialmente los recursos computacionales que el agente puede consumir, y eso produce resultados engañosamente bajos. La implicación es seria: el progreso real en la frontera del desarrollo de IA podría ser considerablemente más rápido de lo que la comunidad científica y los reguladores creían hasta ahora.

El presupuesto de cómputo: la trampa oculta en las evaluaciones de IA

Para entender el hallazgo del AISI hay que comprender qué es un "presupuesto de tokens". Cuando un agente de IA afronta una tarea —como escribir o depurar código— genera texto de forma iterativa, y cada fragmento de texto generado consume tokens, que son la unidad básica de procesamiento de estos modelos. Los benchmarks estándar imponen un límite máximo de tokens que el agente puede usar para resolver cada tarea. La justificación suena razonable: normalizar las condiciones para que los modelos sean comparables entre sí. El problema es que ese límite actúa como un techo artificial que impide al agente llegar a la solución correcta aunque, con más intentos o razonamientos intermedios, podría haberlo conseguido.

Lo que el AISI ha demostrado es que este techo artificial no es un detalle menor: tiene un impacto estadísticamente significativo y sistemático en los resultados. Al aumentar el presupuesto de tokens disponible, los modelos resuelven tareas que antes fallaban, y lo hacen de forma consistente en los siete benchmarks analizados. No se trata de un efecto puntual en un test concreto, sino de un sesgo estructural que afecta a toda la metodología de evaluación dominante en el sector. Para los responsables de políticas públicas y para los equipos de seguridad que usan estos benchmarks para decidir qué modelos son "seguros" o "capaces", esto representa un problema de primer orden.

Especificaciones del estudio

El informe del AISI ofrece datos concretos que permiten calibrar la magnitud del efecto:

  • Benchmarks analizados: 7 en total, cubriendo distintas capacidades agénticas
  • Dominio principal de análisis: tareas de ingeniería de software
  • Incremento del presupuesto de tokens probado: multiplicado por diez (10×) respecto al estándar
  • Mejora en la tasa de éxito en tareas de software con presupuesto ampliado: aproximadamente 25 puntos porcentuales
  • Subestimación del progreso en la frontera del desarrollo: el avance real es aproximadamente un 60% más pronunciado de lo que las mediciones previas sugerían
El progreso real en la frontera de la IA es, según el AISI, aproximadamente un 60% más pronunciado de lo que los benchmarks estándar habían indicado hasta ahora.

Los modelos más nuevos son los más beneficiados, y eso no es casualidad

Uno de los hallazgos más relevantes del estudio es que los modelos más recientes son los que más se benefician de ampliar el presupuesto de cómputo. Esto tiene una lógica clara: las generaciones más nuevas de modelos han sido entrenadas y optimizadas precisamente para razonar de forma más extensa, iterar sobre sus propias respuestas y aprovechar cadenas de pensamiento más largas —lo que en el sector se conoce como "razonamiento de cadena de pensamiento" o chain-of-thought. Cuando el benchmark les corta el presupuesto, les está amputando su principal ventaja competitiva respecto a modelos anteriores.

Esto significa que la comparación histórica entre generaciones de modelos también está distorsionada. Si los modelos antiguos estaban ya "cómodos" dentro de los límites de token establecidos pero los nuevos quedan artificialmente truncados, las curvas de progreso que hemos visto publicadas en papers y presentaciones de las grandes empresas de IA estarían subestimando la aceleración real. En otras palabras: la IA no solo es más capaz de lo que los tests dicen hoy, sino que también ha progresado más rápido de lo que creíamos en los últimos años. Para quienes trabajan en regulación, inversión o seguridad, esta corrección tiene consecuencias de enorme alcance.

¿Qué supone para el comprador hispanohablante?

Este estudio no tiene un precio de venta ni una fecha de disponibilidad, pero sus implicaciones llegan de forma muy directa a empresas y profesionales del ámbito hispanohablante que ya usan o evalúan herramientas basadas en agentes de IA —desde startups en Ciudad de México o Buenos Aires hasta equipos de desarrollo en Madrid o Barcelona. Muchos de estos equipos toman decisiones de adopción tecnológica basándose en rankings y puntuaciones de benchmarks públicos para elegir entre modelos de OpenAI, Anthropic, Google o Meta. Si esos rankings están sistemáticamente sesgados a la baja para los modelos más modernos, las decisiones de compra o integración podrían estar mal informadas. No se trata de hardware con un precio en euros o dólares, sino de una advertencia metodológica que debería llevar a cualquier responsable técnico a cuestionar los números que usa para justificar sus elecciones de plataforma.

Nuestra valoración

El trabajo del AISI es incómodo para el sector, y por eso mismo es valioso. Pone sobre la mesa algo que muchos investigadores sospechaban pero que pocos se habían molestado en cuantificar con rigor: que los benchmarks, tal y como están diseñados, no miden lo que dicen medir. Un sesgo del 25% en tasas de éxito no es ruido estadístico; es una distorsión que invalida comparaciones y que, en el contexto de la seguridad de la IA, podría llevar a subestimar riesgos reales. Que sea precisamente un organismo gubernamental —no una empresa con intereses comerciales— quien lo señale añade credibilidad al hallazgo.

La pregunta que deberían hacerse ahora los organismos reguladores, incluidos los europeos bajo el paraguas de la AI Act, es si sus marcos de evaluación de riesgo están construidos sobre esta arena movediza. Si el progreso real es un 60% más acelerado de lo que los tests reflejan, las categorías de riesgo y los umbrales de capacidad que se han fijado podrían estar ya obsoletos antes de entrar en vigor. El AISI no da soluciones definitivas, pero sí lanza una señal de alarma que el sector no puede ignorar: medir bien no es un detalle técnico, es la base de cualquier política de seguridad seria.