Razonamiento de IA local sobre casos de empresa chilena

El Banco IT Lab presenta a los modelos 40 casos de pyme chilena y los evalúa con controles automáticos. Ningún modelo supera todos; el mejor resultado local es 30 de 40, con el razonamiento ajustado caso a caso.

• Ningún modelo evaluado supera los 40 casos. El mejor resultado local es 30 de 40, y un modelo de pago alcanza 28 de 40.
• Más razonamiento corrige parte de los fallos, pero no los de tipo estructural: premisas falsas, respaldo de las fuentes, no inventar acuerdos ni normas.
• A juicio de IT Lab, estas tareas requieren revisión humana antes de delegarse a un modelo local.

La pregunta de negocio

Una empresa que lee, ordena y resume sus propios papeles necesita saber si un modelo puede razonar sobre ellos sin agregar nada que no esté escrito. El riesgo es que el modelo se equivoque con apariencia de seguridad: una norma inexistente o un acuerdo que nadie tomó pasan sin notarse en una lectura rápida. El banco mide cuántas veces ocurre y en qué tipo de tarea.

Qué mide la prueba y por qué representa trabajo real

La familia de razonamiento aplicado reúne 40 casos de pyme chilena de áreas temáticas variadas. El material corresponde a lo que una empresa pequeña tiene en sus archivos: documentos administrativos, planillas, hilos de correos, cotizaciones, consultas de normativa laboral, evidencia de ciberseguridad y actas de reunión. Cada caso exige leer el material y responder solo con lo que este respalda.

El banco publica qué capacidad mide cada área y para qué sirve el resultado; el contenido de los casos no se publica.

Cómo se aprueba

Un juez automático y fijo decide cada caso con programas deterministas, sin un modelo evaluando a otro. El criterio de aprobación se define antes de la corrida y el material de prueba permanece congelado, de modo que cualquier pasada posterior corra sobre lo mismo y sea comparable.

La regla que distingue a esta familia es el respaldo: un caso se aprueba solo si cada afirmación queda sustentada por la fuente correcta del material. Citar bien, pero desde el documento equivocado, cuenta como falla. En los casos con normativa, inventar una norma es la falta más grave.

"Supera" significa en esta pieza que el caso aprobó los controles automáticos. No equivale a una aprobación humana completa: algunas áreas con revisión experta en curso no se incluyen en el puntaje.

Resultados

Leyenda: una pasada por modelo y caso; para Swift 1.5 se informa la mejor de varias pasadas. Un caso aprueba si supera los controles automáticos; no existe un umbral global de aprobación. La velocidad de los modelos locales fue registrada por el servidor de inferencia; los modelos de pago no corren en un servidor de IT Lab y su velocidad queda sin registro. Banco IT Lab, edición 1.

Nota: el nivel de razonamiento no es comparable entre campañas. En las campañas locales no se registró caso a caso y "razonamiento desactivado" no es homogéneo entre familias de modelos, por lo que esta tabla no ordena a los modelos según ese ajuste.

A juicio de IT Lab, el techo es bajo y la velocidad no predice el resultado: el modelo que generó a 121,9 tok/s aprobó 9 de 40. Las diferencias entre puntajes cercanos corresponden a una sola pasada y se tratan como ruido.

La escalera de razonamiento: cuánto corrige

En la mejor campaña se aplicó una escalera de razonamiento: cada caso parte del nivel más bajo y solo los fallidos suben de nivel. Con nivel bajo aprobaron 23 casos; la escalera sumó 7 más, de modo que el avance fue de 23 a 28 y luego a 30. Siete casos siguieron reprobados en el nivel máximo, y coinciden con los tipos de fallo estructural que el banco registra en todas las campañas:

• Premisas falsas. El modelo da por válida una premisa del enunciado que los hechos desmienten.
• Respaldo de fuentes. La afirmación es plausible, pero no está sustentada por el documento que corresponde.
• Acuerdos y normas inventados. El modelo registra acuerdos que ningún borrador contiene o cita normas ausentes del material, en lugar de abstenerse. La abstención correcta existe y se registra aparte, pero es la excepción.
• Lectura de datos pequeños. Transcribir un identificador impreso en una imagen fotografiada sigue siendo un punto débil.

Subir el nivel cuesta: multiplica los tokens y el tiempo. En una prueba focalizada con Swift 1.5, tres casos difíciles fallaron igual con razonamiento desactivado y con nivel bajo; el nivel bajo generó más tokens y tardó más sin convertir ninguno en aprobación. A juicio de IT Lab, el razonamiento adicional repara casos puntuales, pero no vuelve confiable a un modelo que no respalda lo que afirma.

Dónde se concentran los fallos

El banco cuenta los fallos por área temática sobre todas las campañas con registros corregidos. Las seis áreas con más fallos son:

Qué implica para una empresa chilena

A juicio de IT Lab, con los resultados de la edición 1 del banco:

• Automatizable con supervisión: ordenar y cuadrar datos de documentos y planillas, clasificar evidencia y responder consultas sobre documentos concretos.
• Con revisión humana obligatoria: contar y agregar sobre muchos documentos, citar normativa, redactar actas y toda lectura de un dato pequeño en una imagen. La lectura de comprobantes se trata en IA local: boletas y comprobantes.
• Hardware: el mejor resultado local se obtuvo en una tarjeta de 16 GiB. Para datos que no pueden salir de la empresa es una opción medida, siempre con una persona que revise.

El método completo se describe en Cómo evalúa IT Lab un modelo de IA local.

Preguntas frecuentes

¿Puede una IA local razonar sobre casos de mi empresa? El banco presentó 40 casos de pyme chilena: ningún modelo los supera todos, y el mejor resultado local es 30 de 40.

¿Más razonamiento resuelve los fallos? Corrige parte de ellos, pero no los de tipo estructural: premisas falsas, respaldo de las fuentes, no inventar acuerdos ni normas.

¿Cuál es el riesgo principal? Que el modelo se equivoque con apariencia de seguridad: una norma inexistente o un acuerdo que nadie tomó pasan sin notarse en una lectura rápida.

¿Se puede delegar sin revisión? A juicio de IT Lab, estas tareas requieren revisión humana antes de delegarse a un modelo local.

Limitaciones y alcance

• Una sola pasada por modelo y caso; las diferencias pequeñas son ruido.
• "Supera" significa controles automáticos aprobados, no aprobación humana total. Algunas áreas con revisión experta en curso no se incluyen en el puntaje.
• El nivel de razonamiento no es comparable entre campañas ni entre familias de modelos.
• No hay velocidad comparable de los modelos de pago.
• El banco no mide costos. Operar IA local implica costos reales (energía, inversión inicial en hardware, mantención y tiempo) y a juicio de IT Lab, los precios actuales de los servicios de pago pueden no reflejar su costo real.
• Medición de IT Lab sobre un único equipo; no es una recomendación de compra ni una certificación.

Ficha de medición

• Equipo: las mediciones se realizaron en un equipo que IT Lab definió y armó específicamente para pruebas: procesador Ryzen 7 5700X, 31 GiB de RAM y una tarjeta gráfica AMD Radeon RX 9070 XT de 16 GiB, con Linux. La tarjeta se eligió por ser hoy la opción más asequible con buena relación costo-beneficio que una empresa pequeña puede comprar. Los modelos evaluados cuentan con versiones optimizadas para tarjetas NVIDIA, por lo que se espera que el patrón general sea comparable en ese hardware; las cifras publicadas corresponden a este equipo.
• Cuantización: de 3 o 4 bits, según el modelo.
• Tope de memoria de GPU: 15,4 GiB.
• Pasadas: una por modelo y caso, salvo lo indicado en la leyenda.
• Banco IT Lab, edición 1.

Informe técnico relacionado: Informe técnico 1: Capacidades de oficina

Contacto: IT Lab evalúa modelos de IA local para organizaciones chilenas con sus propios documentos y datos. Conversemos

El Banco IT Lab es un instrumento vivo, en perfeccionamiento continuo. Parte de las mediciones proviene de versiones previas del instrumento y de modelos de generaciones anteriores, y algunas cifras pueden contener imprecisiones que se corrigen en cada nueva edición. Las conclusiones expresan el criterio de IT Lab a partir de sus propias mediciones.