Por qué los benchmarks de IA no predicen trabajo real

Los benchmarks públicos de código entregan notas altas y comparables, pero en las mediciones de IT Lab no ordenaron a los modelos locales según su utilidad en tareas reales. Por eso el Banco IT Lab mide tareas completadas sin intervención humana.

• Un modelo con nota alta en HumanEval cayó al agregar los casos ocultos de HumanEval+; la solución funcionaba, pero era frágil.
• BigCodeBench Hard exige funciones aisladas sobre temas muy distintos del trabajo de una pyme, y su resultado depende del entorno.
• Una puntuación baja en un benchmark público no prueba que un modelo sirva poco: mide otra cosa.

La pregunta de negocio

Una empresa chilena que evalúa IA local no busca un ranking universal. Necesita saber qué modelo conviene mantener en un computador de tamaño normal, con una sola tarjeta gráfica de 16 GiB, para trabajo de software y de documentos. Los benchmarks públicos son el punto de partida habitual: se descargan, se ejecutan y entregan un porcentaje. La cuestión es si ese porcentaje se traduce en una decisión de trabajo.

IT Lab ejecutó esas pruebas con modelos locales antes de definir su propio banco. A juicio de IT Lab, el resultado fue claro: las notas eran altas y no indicaban qué modelo conservar.

Qué mide cada prueba tradicional

HumanEval reúne 164 problemas de programación cortos, cada uno con un conjunto reducido de pruebas. Se informa pass@1: el porcentaje de problemas resueltos al primer intento. HumanEval+ usa los mismos problemas con pruebas ampliadas, que añaden casos que la versión base no cubre. BigCodeBench Hard reúne 148 tareas que piden una función aislada y se apoyan en librerías de gráficos científicos, aprendizaje automático, series de tiempo, extracción de datos de páginas web, hojas de cálculo y archivos comprimidos, comandos de sistema y conexiones de red, criptografía, reconocimiento de texto en imágenes y procesamiento de lenguaje.

Son exámenes legítimos y útiles para comparar modelos entre sí en esas habilidades. El límite aparece al usarlos para decidir qué automatizar en una empresa.

Primera señal: la versión base del examen es la fácil

En la corrida de IT Lab, con una muestra por problema y protocolo directo, cuatro modelos locales obtuvieron estos resultados.

Una pasada por problema (164 problemas), medida por IT Lab; la nota es el porcentaje de problemas resueltos y no existe umbral de aprobación.

Cuando se añaden los casos ocultos, las notas bajan. Un modelo con buena nota en la versión base resulta con una menor al someterlo a la versión completa: su solución funciona en los casos conocidos y falla en otros. Para una empresa, ese patrón equivale a una automatización que anda en la demostración y falla con datos reales.

Una variante con reintentos dirigidos alcanzó 97,6 % y 93,3 % en las dos versiones. IT Lab la registra como diagnóstico y no la compara con la tabla: una pasada limpia no incluye segundas oportunidades.

Segunda señal: la nota no sigue a la tarea

Antes de los benchmarks públicos, IT Lab comparó diez modelos locales en una tarea real de ingeniería de software, con compilación y un conjunto de pruebas. La tabla registró además la velocidad de generación.

Una pasada por modelo, medida por IT Lab sobre una sola tarea; velocidad registrada por el servidor de inferencia.

Dos lecturas, de criterio de IT Lab. La velocidad por sí sola no decide: un modelo que generaba a 74,49 tok/s superó 2 de 8 pruebas. Y el orden de esta tarea no coincide con el de HumanEval: gpt-oss 20B superó las 8 pruebas de la tarea y obtuvo 54,3 % en HumanEval, mientras que Qwen2.5-Coder 14B superó 6 de 7 y obtuvo 89,6 %. Cada medición responde una pregunta distinta, y solo una se parece al trabajo que se quería delegar. Con una sola pasada, las diferencias pequeñas entre modelos no se interpretan como superioridad.

Tercera señal: el examen mide otro trabajo

El problema de BigCodeBench Hard no es la nota, sino qué mide el conjunto.

1. Otro trabajo. Una nota en tareas de gráficos científicos, aprendizaje automático o criptografía no indica qué fracción de una aplicación web, de un formulario o de una base de datos puede construir el modelo.
2. Funciones aisladas, no aplicaciones. El conjunto pide unidades sueltas. El trabajo de una pyme exige una aplicación completa con el contexto de un repositorio.
3. El entorno contamina el resultado. Muchas tareas dependen de red, librerías, datos externos o requisitos artificiales. Fallar una autenticación o la lectura de una tabla web no permite concluir que el modelo no puede desarrollar una aplicación.

La decisión: medir tareas completadas

A partir de esa evidencia, IT Lab fijó una prioridad: no la mejor puntuación abstracta, sino un compañero fiable para proyectos reales. La métrica pasó de "qué porcentaje de problemas pasa" a:

• porcentaje de tareas reales completadas sin intervención manual;
• tiempo total hasta la solución correcta, no solo tokens por segundo;
• correcciones posteriores y regresiones introducidas;
• capacidad de continuar el trabajo en una segunda iteración.

Esa definición dio origen al Banco IT Lab: pruebas que representan tareas de oficina y de desarrollo reconocibles, aprobadas por jueces automáticos fijos y con la mejor configuración posible para cada modelo. El método completo se describe en Cómo evalúa IT Lab un modelo de IA local y en el Informe técnico 4: Metodología del Banco IT Lab.

Qué implica para una empresa chilena

A juicio de IT Lab, un benchmark público sirve para descartar modelos y para comparar habilidades acotadas, y no para decidir qué tarea delegar. Antes de adoptar IA local conviene exigir que la evaluación indique qué tarea se midió, cómo se aprobó y en qué hardware, y desconfiar de una nota alta presentada sin esos datos. Una nota baja tampoco descarta a un modelo: solo informa que mide otra cosa.

Preguntas frecuentes

¿Qué es un benchmark de IA y para qué sirve? Un benchmark público entrega notas comparables sobre problemas acotados, por ejemplo de código. En las mediciones de IT Lab, esas notas no ordenaron a los modelos locales según su utilidad en tareas reales.

¿Por qué una nota alta no garantiza que el modelo sirva en mi empresa? Un modelo con nota alta en HumanEval cayó al agregar los casos ocultos de HumanEval+: la solución funcionaba, pero era frágil.

¿En qué se diferencia el banco de IT Lab de un benchmark público? El Banco IT Lab mide tareas completadas sin intervención humana, no funciones aisladas.

¿Una nota baja en un benchmark significa que el modelo sirve poco? No: una puntuación baja en un benchmark público no prueba que un modelo sirva poco, porque mide otra cosa.

Limitaciones y alcance

• Una sola pasada por modelo y problema; las diferencias pequeñas son ruido.
• La variante con reintentos dirigidos es un diagnóstico y no se compara con la pasada directa.
• La tarea de ingeniería de la segunda tabla es una sola; su orden de modelos no es un ranking general.
• Los benchmarks públicos se ejecutaron con el protocolo directo de IT Lab; otros protocolos pueden dar otras cifras.
• El banco no mide costos. Operar IA local implica costos reales (energía, inversión inicial en hardware, mantención y tiempo) y a juicio de IT Lab, los precios actuales de los servicios de pago pueden no reflejar su costo real.
• Medición de IT Lab sobre un único equipo; no es una recomendación de compra ni una certificación.

Ficha de medición

• Equipo: las mediciones se realizaron en un equipo que IT Lab definió y armó específicamente para pruebas: procesador Ryzen 7 5700X, 31 GiB de RAM y una tarjeta gráfica AMD Radeon RX 9070 XT de 16 GiB, con Linux. La tarjeta se eligió por ser hoy la opción más asequible con buena relación costo-beneficio que una empresa pequeña puede comprar. Los modelos evaluados cuentan con versiones optimizadas para tarjetas NVIDIA, por lo que se espera que el patrón general sea comparable en ese hardware; las cifras publicadas corresponden a este equipo.
• Cuantización: de 3 o 4 bits, según el modelo.
• Pasadas: una por problema o por modelo.
• Banco IT Lab, edición 1.

Informe técnico relacionado: Informe técnico 4: Metodología del Banco IT Lab

Contacto: IT Lab evalúa modelos de IA local para organizaciones chilenas con sus propios documentos y datos. Conversemos

El Banco IT Lab es un instrumento vivo, en perfeccionamiento continuo. Parte de las mediciones proviene de versiones previas del instrumento y de modelos de generaciones anteriores, y algunas cifras pueden contener imprecisiones que se corrigen en cada nueva edición. Las conclusiones expresan el criterio de IT Lab a partir de sus propias mediciones.