Resultados del Banco IT Lab, edición 1

Esta página reúne, en un solo lugar, los resultados por modelo de cada familia de pruebas del Banco IT Lab: el resultado y cuánto tarda.

• Hay una tabla por familia, con su leyenda de pasadas y criterio, y un enlace al artículo que la explica.
• Una matriz resumen cruza modelos y familias; solo marca lo que el banco registra de forma explícita.
• La tabla se actualiza con cada modelo nuevo relevante, que se somete al mismo banco y se publica con su número de edición.

Qué es esta tabla

Es el registro público de los resultados del Banco IT Lab, edición 1. Cada fila es un modelo en una familia de pruebas; cada resultado corresponde a la pasada oficial. Las sondas y los diagnósticos no figuran aquí: se informan, rotulados, en el artículo de cada familia.

Cuando se incorpora un modelo nuevo, se añade en las tablas de las familias en que se evaluó y en la matriz, con la edición del banco en que se midió. Los resultados de ediciones distintas no se mezclan sin rotular.

Convenciones: "Local" corre en el equipo de IT Lab; "De pago" es un servicio comercial. El banco no mide costos. Operar IA local implica costos reales (energía, inversión inicial en hardware, mantención y tiempo) y a juicio de IT Lab, los precios actuales de los servicios de pago pueden no reflejar su costo real. Un guion (—) indica que el banco no tiene el dato. Toda conclusión es criterio de IT Lab basado en sus mediciones.

Lectura de documentos

Extraer un documento real a datos estructurados y responder preguntas cerradas sobre él. Artículo: Documentos: extraer sí, contar no.

Leyenda: una sola pasada por modelo; la familia se informa por nota. Solo dos modelos, ambos de pago, obtuvieron la nota completa (100); ningún modelo local la obtuvo. En las filas agrupadas, el tiempo es el rango del grupo. Tope de memoria de GPU de la familia: 15,4 GiB.

Visión

Interpretar 11 imágenes con 31 preguntas cerradas. Artículo: Visión: imágenes y documentos escaneados.

Leyenda: una sola pasada por modelo; nota = porcentaje de aciertos; la familia se informa por nota. La tabla incluye los seis modelos aptos para visión; un modelo de pago adjuntó la imagen pero declaró no verla y se excluyó por esa declaración, no por su nota. Tope de memoria de GPU de la familia: 15,4 GiB.

Trabajo agéntico

Tres episodios con herramientas y acciones. Artículo: Trabajo agéntico.

Leyenda: una sola pasada por modelo; umbral de aprobación: 80. Superan el criterio cinco de catorce modelos. El diagnóstico de razonamiento de esta familia no es una pasada oficial y se informa aparte, en el artículo. Tope de memoria de GPU de la familia: 15,4 GiB.

Código sobre una base existente

Completar una base con huecos marcados (motor en Rust y API en Ruby on Rails), con un juez de seis etapas encadenadas que se detiene en la primera que falla. Artículo: Completar vs crear.

Leyenda: una sola pasada por modelo; umbral: las seis etapas. Modelos de pago: —, no evaluados en esta familia. Un ensayo de modo equipo no arrojó resultado concluyente. Tope de memoria de GPU de la familia: 15,5 GiB.

Código desde cero

Crear una aplicación en dos lenguajes sin andamiaje, con un juez de cinco etapas. Artículo: Completar vs crear.

Leyenda: una sola pasada por modelo y configuración, salvo lo indicado; umbral: las cinco etapas. En las filas agrupadas, el tiempo es el rango del grupo. En esta familia ningún modelo local supera el criterio. "Razonamiento desactivado" no es homogéneo entre familias de modelos y no se compara entre ellas.

Razonamiento aplicado

40 casos de pyme chilena evaluados con controles automáticos. Artículo: Razonamiento sobre casos de empresa chilena.

Leyenda: una campaña completa por fila. "Aprobado" significa controles automáticos aprobados; algunas áreas con revisión experta en curso tienen puntaje preliminar. Ningún modelo supera el examen completo de 40 casos. Razonamiento: escalera caso por caso en Muse-Glimmer-30B, bajo en los modelos de pago y no registrado caso por caso en las campañas locales. Los modelos de pago no tienen velocidad comparable, por lo que su celda queda vacía y no en cero. Tope de memoria de GPU de la familia: 15,4 GiB.

Programación realista

Repositorios de 10 a 15 archivos con fallos que interactúan. Artículo: Programación difícil en repositorios reales.

Leyenda: dos repeticiones, diez corridas por modelo. El banco no fija un umbral de aprobación para esta familia; solo se marca como superado el 10/10, y el resto queda con un guion. Con dos repeticiones, una diferencia de 9/10 frente a 10/10 no declara un ganador: hay casos que cambian de resultado entre repeticiones. La velocidad no predice el acierto: el modelo más rápido de la tabla obtuvo el puntaje más bajo. La escalera de razonamiento sube de nivel solo en los casos que fallan. Tiempo: —, no hay dato comparable. Modelos de pago: —, no evaluados en esta familia.

Matriz resumen

Cada celda indica si el modelo supera el criterio de la familia, según la pasada oficial de las tablas anteriores; lectura y visión se informan por nota y muestran la nota en lugar de ✓/✗. No es un ranking global: las familias miden capacidades distintas y sus criterios no son comparables entre sí.

Leyenda: ✓ supera el criterio; ✗ no lo supera; un número es la nota (lectura y visión); ◐ resultado mixto (una pasada superada y dos no); — no evaluado o sin dato explícito en el banco.

En programación realista, solo se marca ✓ el puntaje 10/10, único caso en que el banco declara que el modelo aprueba.

Preguntas frecuentes

¿Qué es esta tabla de resultados? Es el registro público de los resultados del Banco IT Lab, edición 1. Cada fila es un modelo en una familia de pruebas, y cada resultado corresponde a la pasada oficial.

¿Se actualiza con modelos nuevos? Sí: cada modelo nuevo relevante se somete al mismo banco y se publica con su número de edición.

¿Qué significa un guion en una celda? Un guion (—) indica que el banco no tiene el dato.

Nota de método y limitaciones

El Banco IT Lab mide por tarea completada sin intervención humana, con jueces automáticos fijos y con la mejor configuración posible para cada modelo. El método completo está en Cómo evalúa IT Lab un modelo de IA local.

• Una sola pasada por modelo y caso, salvo que la leyenda de la tabla indique otro número; las diferencias pequeñas son ruido.
• Cada tabla informa solo la pasada oficial; las sondas y los diagnósticos se informan aparte, en el artículo de cada familia.
• Los umbrales y las escalas son propios de cada familia: no se comparan notas entre tablas.
• Los modelos de pago se miden por servicio.
• Las filas con "—" no son un resultado negativo: indican que el banco no tiene el dato o que el modelo no se evaluó en esa familia.
• Medición de IT Lab sobre un único equipo; no es una recomendación de compra ni una certificación.

Ficha de medición

• Equipo: las mediciones se realizaron en un equipo que IT Lab definió y armó específicamente para pruebas: procesador Ryzen 7 5700X, 31 GiB de RAM y una tarjeta gráfica AMD Radeon RX 9070 XT de 16 GiB, con Linux. La tarjeta se eligió por ser hoy la opción más asequible con buena relación costo-beneficio que una empresa pequeña puede comprar. Los modelos evaluados cuentan con versiones optimizadas para tarjetas NVIDIA, por lo que se espera que el patrón general sea comparable en ese hardware; las cifras publicadas corresponden a este equipo.
• Cuantización: de 3 o 4 bits, según el modelo.
• Pasadas: según cada familia, declaradas en su leyenda.
• Banco IT Lab, edición 1.

Informe técnico relacionado: Informe técnico 4: Metodología del Banco IT Lab

Contacto: IT Lab evalúa modelos de IA local para organizaciones chilenas con sus propios documentos y datos. Conversemos

El Banco IT Lab es un instrumento vivo, en perfeccionamiento continuo. Parte de las mediciones proviene de versiones previas del instrumento y de modelos de generaciones anteriores, y algunas cifras pueden contener imprecisiones que se corrigen en cada nueva edición. Las conclusiones expresan el criterio de IT Lab a partir de sus propias mediciones.