Informe técnico 4 (2/2): resultados y conclusiones

Parte 2 de 2. Lea la Parte 1.

3. Resultados

Esta sección reúne la evidencia de que los controles y los principios del método tienen efecto medible. Los resultados por modelo de cada familia están en los informes de capacidades de oficina y de código.

Efecto de los controles sobre el instrumento

Leyenda: medición de IT Lab; los valores de velocidad y memoria son los registrados por el servidor de inferencia. Banco IT Lab, edición 1.

Efecto de la configuración del motor de inferencia

El mismo modelo, con una configuración optimizada del motor de inferencia, que combina caché de atención cuantizada y decodificación especulativa, pasó de 42,4 a 54,6 tok/s y ocupó 13,3 GB de memoria de la tarjeta. Una configuración genérica habría atribuido al modelo una lentitud que era del montaje. La velocidad de un modelo no puede separarse de la configuración con que se midió. El detalle del dimensionamiento se desarrolla en el informe técnico sobre operar IA local en una GPU de 16 GB, y el principio general en el artículo configurar pesa tanto como elegir.

Capacidad del criterio para distinguir modelos

Un criterio útil no aprueba a todos ni a ninguno. Con el criterio fijado antes de la corrida, las tasas de aprobación variaron entre familias.

Leyenda: una pasada por modelo y caso; trabajo agéntico con umbral 80; en código, superar todas las etapas del juez. En código desde cero, dos modelos de pago superan las cinco etapas. Banco IT Lab, edición 1.

La dificultad no es lineal entre familias. Para el método, lo relevante es que el juez distingue: en lectura, 12 de 14 modelos extraen las 183 celdas sin error, y la diferencia se decide en otras preguntas del mismo examen.

Diagnóstico: razonamiento activado

Esta subsección es un diagnóstico y no forma parte de la pasada oficial. Sobre el examen de trabajo agéntico, se repitió la corrida de dos modelos con el razonamiento activado, para medir cuánto corrige y qué cuesta.

Leyenda: diagnóstico, no pasada oficial; umbral 80; Banco IT Lab, edición 1. «Razonamiento desactivado» no es comparable entre familias de modelos.

Activar el razonamiento llevó a ambos modelos sobre el umbral, a cambio de una cantidad de tokens y de tiempo mucho mayor. Para un modelo, la pasada oficial indica el piso del criterio; el diagnóstico indica cuánto cuesta superarlo. Mezclar ambos datos haría que un resultado obtenido con un costo desproporcionado pareciera una capacidad nativa del modelo.

4. Discusión

Señal y ruido. A juicio de IT Lab, hay cuatro hallazgos que constituyen señal. El primero es la caída de 82,9 % a 76,2 % al ampliar un examen público, que muestra que la nota base no mide robustez. El segundo es que la velocidad no predice el acierto: un modelo a 74,49 tok/s superó 2 de 8 pruebas. El tercero es el efecto de la configuración, de 42,4 a 54,6 tok/s en el mismo modelo, y de 76 y 74 a 100 y 97 en nota al permitir razonar. El cuarto es que los controles del instrumento cambian conclusiones: la reparación de formato rescata respuestas que el juez habría contado como fallos del modelo.

Constituyen ruido las diferencias pequeñas obtenidas en una sola pasada. El banco las informa, pero no ordena modelos con ellas.

Por qué un juez determinista. Un modelo que evalúa a otro introduce una segunda fuente de variación que el banco no puede controlar. Un programa fijo que se detiene en la primera etapa fallida entrega, además, un diagnóstico: informa en qué punto se rompió el trabajo. La contrapartida es que el juez solo es comparable dentro del mismo encargo y del mismo juez; un resultado aprobado en un ejercicio de código del banco no equivale a «aprobado en ese lenguaje» en general.

5. Implicancias para organizaciones con recursos acotados

A juicio de IT Lab, una empresa chilena que evalúa IA local con sus propios documentos y datos debería exigir que cualquier evaluación, propia o de un proveedor, declare al menos seis puntos: qué tarea se midió, cómo se aprobó, con qué configuración, en qué hardware, cuántas pasadas se hicieron y qué se hizo con los fallos de formato. Una tabla de velocidad sin esas respuestas no sirve para decidir. Un equipo con una tarjeta de 16 GiB basta para evaluar modelos locales con seriedad si se ejecuta un modelo a la vez y se mide el contexto que realmente cabe, y la elección entre modelo local y de pago debería apoyarse en la nota aprobada y en el tiempo medidos, no en una cifra de velocidad aislada. La evaluación con material propio, acotada a la tarea que se quiere automatizar, es más informativa que una nota pública; IT Lab adapta el procedimiento a los documentos y datos de cada cliente.

Los resultados por familia están en los informes técnicos relacionados: capacidades de oficina, código y operar IA local en una GPU de 16 GB. Una versión divulgativa de este método está en cómo evalúa IT Lab un modelo de IA local, y la discusión de los benchmarks públicos en por qué los benchmarks tradicionales no predicen trabajo real.

Preguntas frecuentes

¿Qué es el Banco IT Lab? Es el instrumento con que IT Lab mide si un modelo de IA local termina trabajo de oficina o de desarrollo en un equipo al alcance de una empresa pequeña.

¿Por qué no basta un benchmark público? En pruebas públicas de código, la versión ampliada de un mismo examen bajó la nota de un modelo de 82,9 % a 76,2 %, y un conjunto de 148 tareas medía un trabajo distinto del que se buscaba automatizar.

¿Cómo se decide si un modelo aprueba? Con un juez determinista y por etapas, y un umbral de aprobación fijado antes de la corrida.

¿Cuánto cuesta una IA local? El banco no mide costos. Operar IA local implica costos reales (energía, inversión inicial en hardware, mantención y tiempo) y a juicio de IT Lab, los precios actuales de los servicios de pago pueden no reflejar su costo real.

6. Limitaciones y alcance

• Una sola pasada por modelo y caso, salvo que el informe de la familia declare otro número; las diferencias pequeñas son ruido.
• La pasada oficial se separa de las sondas, los diagnósticos y los reintentos dirigidos.
• El tope de memoria de la GPU de las pruebas citadas es de 15,4 GiB; los resultados de contexto máximo dependen de ese tope.
• «Razonamiento desactivado» no es homogéneo entre familias de modelos; esos niveles no se comparan entre familias.
• El banco no mide costos. Operar IA local implica costos reales (energía, inversión inicial en hardware, mantención y tiempo) y a juicio de IT Lab, los precios actuales de los servicios de pago pueden no reflejar su costo real.
• Los jueces en etapas solo son comparables dentro del mismo encargo y del mismo juez.
• Las cifras son medición de IT Lab sobre un único equipo y no han sido recalculadas por un tercero.
• Este informe no es una recomendación de compra ni una certificación.
• No se describen los valores de configuración, los componentes del motor ni el contenido de las pruebas, que IT Lab reserva.

7. Conclusiones

1. A juicio de IT Lab, los benchmarks públicos de código no bastan para decidir qué automatizar: la versión ampliada de un examen bajó una nota de 82,9 % a 76,2 %, y un conjunto de 148 tareas medía un trabajo distinto del buscado.
2. El Banco IT Lab mide tareas reconocibles de oficina y de desarrollo mediante siete familias de prueba, con un juez determinista, por etapas en código, y un umbral fijado antes de la corrida.
3. El protocolo da a cada modelo su mejor oportunidad. En el banco, la configuración cambia el resultado tanto como la elección del modelo: de 42,4 a 54,6 tok/s en el mismo modelo, con 13,3 GB de memoria.
4. La pasada oficial se informa aparte de las sondas y los diagnósticos, y el instrumento se somete a controles propios; uno de ellos rescató 16 de 187 respuestas sin regresiones.
5. Cada modelo nuevo relevante se somete al mismo banco y se publica con el número de edición, lo que mantiene comparables los resultados de una misma edición.

Ficha de medición

• Equipo: las mediciones se realizaron en un equipo que IT Lab definió y armó específicamente para pruebas: procesador Ryzen 7 5700X, 31 GiB de RAM y una tarjeta gráfica AMD Radeon RX 9070 XT de 16 GiB, con Linux. La tarjeta se eligió por ser hoy la opción más asequible con buena relación costo-beneficio que una empresa pequeña puede comprar. Los modelos evaluados cuentan con versiones optimizadas para tarjetas NVIDIA, por lo que se espera que el patrón general sea comparable en ese hardware; las cifras publicadas corresponden a este equipo.
• Cuantización: de 3 o 4 bits, según el modelo.
• Contexto: máximo que admite cada modelo bajo el tope de memoria; contextos reales prearmados de 79.964 a 247.581 tokens en las pruebas de contexto largo.
• Tope de memoria de GPU: 15,4 GiB en las pruebas citadas.
• Pasadas: una pasada oficial por modelo y caso, salvo que se indique otro número.
• Banco IT Lab, edición 1.

Cómo citar

IT Lab, Informe técnico ITL-IT-01, Banco IT Lab, edición 1.

Contacto: IT Lab evalúa modelos de IA local para organizaciones chilenas con sus propios documentos y datos. Conversemos

El Banco IT Lab es un instrumento vivo, en perfeccionamiento continuo. Parte de las mediciones proviene de versiones previas del instrumento y de modelos de generaciones anteriores, y algunas cifras pueden contener imprecisiones que se corrigen en cada nueva edición. Las conclusiones expresan el criterio de IT Lab a partir de sus propias mediciones.