La inteligencia artificial lleva meses acaparando titulares con promesas de revolucionar el trabajo profesional, pero un nuevo benchmark viene a poner los pies en el suelo de forma contundente. Los mejores modelos de IA disponibles hoy en día son capaces de resolver únicamente el 3% de las tareas propias del trabajo del conocimiento cuando se enfrentan a condiciones realistas. El estudio, recogido por The Decoder, no solo cuestiona el relato triunfalista que rodea a estos sistemas, sino que obliga a replantear hasta qué punto la IA está realmente lista para integrarse en entornos profesionales exigentes.

Un benchmark diseñado para reflejar el trabajo real, no los exámenes de laboratorio

El problema con la mayoría de las pruebas que se usan para medir la capacidad de los modelos de IA es que están diseñadas en condiciones ideales: preguntas bien formuladas, contextos acotados y respuestas verificables de forma sencilla. El mundo laboral real no funciona así. Un analista financiero, un abogado o un ingeniero de software no reciben problemas perfectamente empaquetados; trabajan con información incompleta, cambiante y con múltiples factores interdependientes. Este nuevo benchmark ha sido diseñado precisamente para replicar ese entorno desordenado y exigente del trabajo del conocimiento profesional.

Los resultados son llamativos por lo categóricos que son. Incluso los modelos considerados más avanzados del mercado caen en picado cuando se les plantean estas tareas realistas, logrando completar con éxito tan solo un 3% de ellas. No se trata de un margen de mejora moderado respecto a lo esperado: es un fracaso estructural que pone de relieve la enorme distancia que existe entre demostrar capacidades en pruebas controladas y rendir de forma efectiva en el trabajo cotidiano. Para el usuario medio que ha empezado a apoyarse en herramientas de IA para su día a día profesional, este dato debería ser una llamada de atención.

Especificaciones del benchmark

Aunque la fuente no detalla exhaustivamente todos los parámetros técnicos del benchmark, los datos publicados permiten extraer los puntos clave de la evaluación:

  • Tipo de tareas: trabajo del conocimiento en condiciones realistas (no escenarios de laboratorio)
  • Tasa de resolución completa del mejor modelo: 3% de las tareas
  • Modelos evaluados: los mejores sistemas de IA disponibles actualmente
  • Enfoque: simulación de condiciones de trabajo profesional real
  • Objetivo: medir la brecha entre capacidades en benchmark estándar y rendimiento en uso profesional
El mejor modelo de IA del mundo resuelve correctamente solo 3 de cada 100 tareas propias del trabajo profesional real.

La brecha entre el marketing de la IA y su rendimiento efectivo

Este resultado llega en un momento especialmente relevante. Empresas de todo el mundo, incluidas muchas españolas y europeas, están tomando decisiones de inversión millonarias basándose en la promesa de que la IA va a transformar radicalmente la productividad de sus equipos. Los laboratorios de investigación compiten entre sí publicando puntuaciones récord en benchmarks de referencia como MMLU, HumanEval o GPQA, creando una narrativa de progreso casi exponencial. Sin embargo, cuando alguien se sienta delante de estas herramientas con un problema profesional complejo y real, la experiencia puede ser muy distinta a lo que los comunicados de prensa sugieren.

La diferencia entre rendir bien en una prueba estándar y hacerlo en una tarea real es análoga a la diferencia entre un deportista que brilla en los entrenamientos y uno que rinde bajo la presión de la competición. Los benchmarks clásicos evalúan habilidades concretas y aisladas; el trabajo del conocimiento exige razonamiento encadenado, gestión de la ambigüedad, síntesis de fuentes contradictorias y toma de decisiones con información incompleta. Ahí es exactamente donde los modelos actuales muestran sus costuras, independientemente de los impresionantes números que exhiban en las hojas de datos de sus fabricantes.

¿Qué supone para el comprador hispanohablante?

Para empresas y profesionales españoles que están evaluando si merece la pena pagar por suscripciones premium a herramientas de IA —que pueden oscilar entre los 20 y los 100 euros mensuales por usuario según el servicio—, este benchmark es información muy valiosa. No significa que la IA no sea útil: para tareas concretas, repetitivas o bien definidas puede ser enormemente eficiente. Pero sí significa que apostar por ella como sustituta de perfiles profesionales cualificados en tareas complejas es, hoy por hoy, una apuesta arriesgada. La disponibilidad de estas herramientas en el mercado español es amplia, pero la madurez real para el trabajo del conocimiento exigente aún no acompaña al entusiasmo comercial que las rodea.

Nuestra valoración

Este benchmark hace un flaco favor al relato que tanto les gusta a las grandes tecnológicas, y eso lo convierte en una contribución muy necesaria al debate. Un 3% de éxito en tareas reales no es un punto de partida prometedor: es un techo de cristal que debería frenar la euforia inversora y, sobre todo, las decisiones precipitadas de organizaciones que están restructurando equipos humanos en nombre de una IA que todavía no está a la altura. La tecnología avanza rápido, sí, pero los datos importan más que las promesas.

¿A quién va dirigido este aviso? A todos: al profesional que confía ciegamente en el output de un chatbot sin revisarlo, a la empresa que está recortando su equipo de analistas, y al responsable de TI que está evaluando qué herramientas de IA integrar en sus flujos de trabajo. La recomendación es clara: usa la IA como copiloto y acelerador, no como piloto automático. Y exige siempre benchmarks en condiciones realistas antes de comprar cualquier solución empresarial basada en estos modelos.