Cómo evalúa IT Lab un modelo de IA local

El Banco IT Lab es el benchmark propio de IT Lab para IA local en empresas chilenas: mide si un modelo de IA local termina trabajo de oficina o de desarrollo, con jueces automáticos que no cambian entre corridas y con la mejor configuración posible para cada modelo. Esta pieza describe el método y sirve de entrada al resto de la publicación.

Cada prueba representa una tarea reconocible y se aprueba o no con un programa determinista, sin un modelo que evalúe a otro.
El protocolo exige dar a cada modelo su mejor oportunidad; en el banco, la configuración cambia el resultado tanto como la elección del modelo.
La pasada oficial se informa aparte de las sondas y los diagnósticos, y el propio instrumento se somete a controles de calidad.

La pregunta de negocio

Una empresa que evalúa IA local necesita saber qué tarea puede automatizar, cuál debe revisar una persona y qué hardware lo permite. Los benchmarks públicos tradicionales miden problemas cortos y aislados, y sus notas altas no ordenan a los modelos según su utilidad en el trabajo cotidiano. El Banco IT Lab traduce la evidencia a decisiones: qué se puede delegar y con qué margen de error.

Qué mide el banco y por qué representa trabajo real

Cada familia de pruebas corresponde a una capacidad que una pyme usa o querría usar: leer un documento, interpretar una imagen, completar una tarea con herramientas, razonar sobre un caso, modificar o escribir código. Se mide por tarea completada sin intervención humana, no por la apariencia de la respuesta.

Se publica qué capacidad mide cada prueba y para qué sirve el resultado; su contenido no se publica.

Cómo se aprueba

El criterio de aprobación lo aplica un juez automático y fijo: programas deterministas, sin un modelo evaluando a otro. El umbral se define antes de la corrida y el instrumento no se modifica para favorecer a un modelo. En las pruebas de código, el juez avanza por etapas y se detiene en la primera que falla, de modo que el resultado indica dónde se rompió el trabajo y no solo que se rompió.

Cuando una prueba tiene una sola pasada por modelo, el banco lo declara. Una diferencia pequeña en una sola pasada se trata como ruido y no establece que un modelo sea superior.

La mejor oportunidad para cada modelo

El protocolo exige investigar la documentación de cada modelo y usar sus mejores parámetros y su mejor forma de instrucción, de modo que cada uno resuelva cada caso lo mejor que puede. Es, a la vez, un criterio de evaluación equitativa y un hallazgo práctico: la configuración cambia el resultado tanto como la elección del modelo.

Con el mismo modelo y el mismo equipo, una configuración optimizada del motor de inferencia (caché de atención cuantizada y decodificación especulativa) puede ser más rápida y ocupar menos memoria que una genérica. Una configuración genérica habría atribuido al modelo una lentitud propia del montaje. Ese trabajo también sirvió para afinar las pruebas y eliminar ambigüedades.

Pasada oficial, sondas y diagnósticos

La pasada oficial es la que determina si un modelo supera el criterio. Las sondas y los diagnósticos, por ejemplo una repetición con razonamiento activado para medir cuánto corrige y cuánto cuesta en tokens y tiempo, se informan en párrafos o tablas rotulados y nunca se mezclan con la pasada oficial. "Razonamiento desactivado" no es homogéneo entre familias de modelos y no se compara entre ellas.

Controles de calidad del instrumento

Un instrumento mal calibrado puede descartar configuraciones viables o aprobar las que no lo son; por eso el protocolo lo somete a controles.

Reparación de formato determinista y ajena al modelo. Corrige defectos de formato en las respuestas sin interpretar su contenido. Una salida cortada por límite no se repara: se aumenta el presupuesto de salida.
Cada imagen junto a sus preguntas. En las pruebas de visión, el formato oficial intercala cada imagen con las preguntas que le corresponden, para evitar confusiones de asociación.
Contexto real prearmado de una sola pieza. Las pruebas de contexto largo usan documentos reales completos con conteo de tokens, no un llenado artificial por tramos.
Medición del contexto que cabe en memoria. Si un modelo no cabe en el tope de la tarjeta, se mide el contexto máximo que admite en lugar de excluirlo, y se documenta.
Control de memoria de la GPU. El margen de memoria se calibra contra el estado real del equipo, para no descartar configuraciones por un límite mal fijado.
Velocidad con decodificación especulativa. Se mide con tarea nueva y se declara la tasa de aceptación, porque el contenido repetido puede inflar la cifra.

Qué produce el banco

Cada familia tiene su propio artículo, con tablas de la pasada oficial, patrones de fallo y limitaciones:

Lectura de documentos. Extraer datos de documentos y responder sobre ellos; separa lo que se puede automatizar de lo que exige revisión. Documentos: extraer sí, contar no
Visión. Interpretar imágenes y documentos escaneados con preguntas cerradas. Visión: imágenes y documentos escaneados
Trabajo agéntico. Encontrar una respuesta usando herramientas y terminar el trabajo. Trabajo agéntico
Código sobre base existente y desde cero. Completar una base con huecos marcados frente a crear una aplicación desde cero. Completar vs crear
Razonamiento aplicado. Casos de pyme chilena evaluados con controles automáticos. Razonamiento sobre casos de empresa chilena
Programación realista. Repositorios con fallos que interactúan, resueltos sin ayuda. Programación difícil en repositorios reales

Dos artículos tratan de lo que rodea al modelo: configurar pesa tanto como elegir y qué hardware de pyme alcanza para IA local con 16 GB.

Política de publicación

IT Lab publica qué se mide, para qué sirve el resultado y los resultados por modelo. Reserva los enunciados, las rúbricas y la configuración fina, porque son conocimiento acumulado que pone al servicio de sus clientes. Cada modelo nuevo relevante se somete al mismo banco y se publica con el número de edición, de modo que los resultados son comparables entre sí.

Qué implica para una empresa chilena

A juicio de IT Lab, un resultado sin su método no sirve para decidir. Antes de adoptar IA local, la empresa debería exigir que la evaluación indique qué tarea se midió, cómo se aprobó, con qué configuración y en qué hardware.

Preguntas frecuentes

¿Qué es una IA local? Un modelo de inteligencia artificial que corre en los equipos de la propia organización, de modo que los documentos no salen hacia un proveedor externo.

¿Cómo se decide si un modelo aprueba? Un juez automático y fijo, hecho de programas deterministas, aplica un criterio definido antes de la corrida; ningún modelo evalúa a otro.

¿Por qué cada modelo usa su mejor configuración? Porque la configuración cambia el resultado tanto como la elección del modelo; evaluar con valores genéricos atribuiría al modelo defectos del montaje.

¿Se publican las preguntas de las pruebas? No. IT Lab publica qué se mide y para qué sirve el resultado; reserva enunciados y rúbricas.

¿Los resultados son una recomendación de compra? No. Son mediciones de laboratorio sobre un único equipo.

Limitaciones y alcance

Una sola pasada por modelo y caso, salvo que se indique otro número; las diferencias pequeñas son ruido.
La pasada oficial se separa de las sondas y los diagnósticos.
El banco no mide costos. Operar IA local implica costos reales (energía, inversión inicial en hardware, mantención y tiempo) y a juicio de IT Lab, los precios actuales de los servicios de pago pueden no reflejar su costo real.
Medición de IT Lab sobre un único equipo; no es una recomendación de compra ni una certificación.

Ficha de medición

Equipo: un computador que IT Lab definió y armó específicamente para pruebas, con una tarjeta gráfica de 16 GiB elegida como la opción más asequible con buena relación costo-beneficio para una empresa pequeña. Detalle en Hardware de pyme para IA local con 16 GB.
Cuantización: de 3 o 4 bits, según el modelo.
Pasadas: según cada familia, declaradas en su artículo.
Banco IT Lab, edición 1.

Informe técnico relacionado: Informe técnico 4: Metodología del Banco IT Lab

Contacto: IT Lab evalúa modelos de IA local para organizaciones chilenas con sus propios documentos y datos. Conversemos

El Banco IT Lab es un instrumento vivo, en perfeccionamiento continuo. Parte de las mediciones proviene de versiones previas del instrumento y de modelos de generaciones anteriores, y algunas cifras pueden contener imprecisiones que se corrigen en cada nueva edición. Las conclusiones expresan el criterio de IT Lab a partir de sus propias mediciones.