Informe técnico 1: capacidades de oficina de la IA local

Código: ITL-IT-02 · Banco IT Lab, edición 1

Resumen

Este informe reúne los resultados de cuatro familias de pruebas del Banco IT Lab que representan trabajo de oficina: lectura de documentos, visión, trabajo agéntico y razonamiento aplicado a casos de empresa chilena. Se evaluaron catorce modelos, diez locales y cuatro de pago, con una pasada oficial por modelo y un juez automático fijo. En lectura, doce de catorce modelos extrajeron las 183 celdas sin error, pero solo dos modelos, ambos de pago, obtuvieron la nota completa (100), porque el examen se decidió en las preguntas de conteo. En visión, cinco de seis modelos aptos obtuvieron 97 o más y dos locales alcanzaron 97. En trabajo agéntico aprobaron cinco de catorce y el mejor resultado fue local, con 100. En razonamiento aplicado, ningún modelo superó los 40 casos y el mejor resultado local fue 30 de 40. Un apartado remite al artículo sobre boletas y comprobantes. A juicio de IT Lab, los modelos locales extraen y leen lo bastante bien para automatizar con supervisión, mientras que contar, terminar el trabajo, declarar lo ilegible y respaldar cada afirmación siguen exigiendo revisión humana.

1. Introducción y pregunta

Una organización que considera IA local para tareas administrativas necesita saber cuáles puede automatizar, cuáles debe revisar una persona y qué margen de error esperar. Las notas de los benchmarks públicos tradicionales no lo responden, porque miden problemas cortos y aislados. El Banco IT Lab, descrito en el Informe técnico 4: Metodología del Banco IT Lab, mide si el modelo termina una tarea reconocible sin intervención humana.

Este informe responde una pregunta acotada: qué hace hoy un modelo local, en un equipo accesible, frente a las cuatro capacidades más próximas al trabajo de oficina de una empresa chilena. Cada familia tiene su artículo de divulgación: lectura de documentos, visión, trabajo agéntico, razonamiento sobre casos de empresa chilena y boletas y comprobantes.

2. Método

Familias de prueba

Lectura y extracción. Un documento real con varias tablas se convierte a datos estructurados: 183 celdas que se comparan una a una contra la referencia. Luego el modelo responde 12 preguntas cerradas sobre el mismo documento, agrupadas por tipo, desde la búsqueda directa hasta distintas formas de conteo, para separar leer de agregar.

Visión. Once imágenes reales de tipos variados con 31 preguntas cerradas. La nota es el porcentaje de aciertos.

Trabajo agéntico. Tres episodios con herramientas y acciones reales, de tipo operativo y de TI, con el mismo protocolo para modelos locales y de pago.

Razonamiento aplicado. Cuarenta casos de pyme chilena de áreas temáticas variadas: documentos administrativos, planillas, hilos de correos, cotizaciones, normativa laboral, ciberseguridad, actas y otros. El material y las referencias están congelados. Un caso solo se aprueba si cada afirmación queda respaldada por la fuente correcta del material; citar un documento real pero equivocado es falla.

Juez, criterio y controles de calidad

El juez es un programa determinista en todas las familias; ningún modelo evalúa a otro. Cada familia fija su criterio antes de la corrida: 80 sobre 100 en trabajo agéntico, nota sobre 100 en lectura y visión, y número de casos aprobados sobre 40 en razonamiento aplicado. En esa familia "aprueba" significa que el caso superó los controles automáticos; algunas áreas con revisión experta en curso no se incluyen en el puntaje. Los validadores se someten a controles antes de usarse.

El protocolo exige dar a cada modelo su mejor oportunidad, con sus mejores parámetros y su mejor forma de instrucción. Los controles del instrumento que aplican aquí son tres: la reparación de formato es determinista y ajena al modelo (una salida cortada por límite no se repara, se amplía el presupuesto de salida); en visión cada imagen va junto a sus preguntas; y si un modelo no cabe en el tope de memoria a su contexto máximo, se mide el contexto que admite en lugar de excluirlo. El protocolo separa además al modelo que agota su presupuesto de salida razonando del que no sabe resolver la tarea, porque desde fuera se ven iguales.

La pasada oficial es una por modelo, en serie, con el mismo protocolo para locales y de pago. Los diagnósticos se informan en subsecciones rotuladas y no se mezclan con las tablas oficiales. Las corridas locales fueron estrictamente seriales, en el equipo descrito en la ficha de medición, con un tope de memoria de la GPU de 15,4 GiB.

3. Resultados

Todas las tablas de esta sección corresponden al Banco IT Lab, edición 1. En lectura, visión y trabajo agéntico, la pasada oficial es de una por modelo; el umbral de aprobación 80 corresponde a trabajo agéntico. Los tiempos son segundos de pared por corrida.

Lectura y extracción de documentos

Pasada oficial.

Leyenda: una pasada por modelo; Banco IT Lab, edición 1. Solo dos modelos, ambos de pago, obtuvieron la nota completa (100); ningún modelo local la obtuvo.

Diagnóstico: acierto por tipo de pregunta. La tabla siguiente separa las preguntas del examen según lo que exigen, sobre 24 corridas analizadas. No forma parte de la pasada oficial.

Patrones de fallo. Dos modelos no extrajeron las 183 celdas sin error: uno registró 181 de 183 y otro no produjo una salida interpretable. Para los demás, la extracción casi no discrimina; la diferencia se produjo en las preguntas de conteo, donde los modelos devolvieron números plausibles pero equivocados. La pregunta más exigente fue acertada en 5 de las 24 corridas analizadas y por ningún modelo local en la pasada oficial. A juicio de IT Lab, esto indica comprensión presente y agregación ausente, no un problema de formato ni de presupuesto.

Diagnóstico: el modelo sin resultado. Un modelo local obtuvo 0 porque agotó su tope de salida razonando sin producir contenido. Al duplicar el tope el resultado fue el mismo y el registro mostró repetición en bucle, no falta de margen. Desde fuera, "no razona bien" y "no tuvo margen para razonar" son indistinguibles; el protocolo los registra por separado.

Visión sobre imágenes y documentos escaneados

Pasada oficial.

Leyenda: una pasada por modelo; 11 imágenes y 31 preguntas cerradas; Banco IT Lab, edición 1. Cinco de seis modelos aptos obtienen 97 o más.

El modelo excluido recibe la imagen pero declara no verla; se descarta por esa declaración, no por una nota baja. Los dos modelos locales de 97 empatan con los de pago, y el modelo local más rápido resuelve el examen completo en 7,0 s con 87.

Diagnóstico: efecto del orden imagen y pregunta. Cuando las imágenes se entregan todas al principio y las preguntas después, los modelos confunden la asociación entre imagen y pregunta. Un modelo pasó de 77 a 87 al intercalar cada imagen junto a sus preguntas, sin cambiar ninguna pregunta. Por eso el formato oficial usa la disposición intercalada: la diferencia pertenece al instrumento, no al modelo.

Patrón de fallo. Frente a texto diminuto o degradado, ningún modelo lo leyó, y varios completaron con un nombre plausible en lugar de declarar que no lo veían. Un lector de caracteres clásico tampoco lo resolvió. Este modo de fallo es distinto del error de lectura: el modelo produce una respuesta verosímil y no una señal de incertidumbre.

Trabajo agéntico

Pasada oficial.

Leyenda: una pasada por modelo; tres episodios; umbral de aprobación 80; Banco IT Lab, edición 1. Aprueban 5 de 14 modelos (36 %); tres de los cinco son locales.

El mejor resultado fue de un modelo local, con 100 en 20,6 s, por delante de un modelo de pago con 99 en 60,3 s. En el extremo opuesto de tiempo, un modelo de pago empleó 222,6 s para obtener 96, mientras que un modelo local obtuvo 95 en 5,1 s: en este examen el tiempo no compra nota.

Patrones de fallo. El examen separa la exploración del cierre. Cinco modelos exploraron de forma óptima, leyendo los archivos necesarios, y aun así calcularon mal el total del pedido. Además aparece una categoría de fallo que el banco trata como propia: modelos que saben pero no terminan. Uno identificó la causa del incidente y quedó en bucle repitiendo la misma acción sin llegar a enviar el resultado; dos agotaron el límite de turnos leyendo sin entregar; otro respondió vacío en tres turnos consecutivos. El modelo que falló en lectura por agotar el tope de salida razonando falló también aquí, con el mismo diagnóstico. El juez trata un trabajo no entregado como un trabajo no hecho.

Diagnóstico: coste de activar el razonamiento. Sobre los ocho modelos elegibles se midió, fuera de la pasada oficial, cuánto cambia el resultado al activar el razonamiento; no es comparable entre familias. El nivel "desactivado" no es homogéneo: un modelo de pago registró 4.910 tokens de razonamiento en su corrida sin razonamiento. En dos familias locales, los niveles medio y alto produjeron salida idéntica byte a byte. Activarlo es estrictamente necesario solo para un modelo; en los demás repara la aritmética a cambio de multiplicar el tiempo entre 12 y 39 veces, con tokens de salida entre 6 y 62 veces mayores y una nota que sube entre 0 y 23 puntos.

Diagnóstico no oficial; una sola corrida por celda; no mezclar con la tabla oficial.

Razonamiento aplicado sobre casos de empresa chilena

Campañas por modelo. Cada campaña corre los 40 casos con el mismo material congelado y se informa el número de casos que superan los controles automáticos. Es una familia con campañas por modelo y no una pasada común de catorce modelos; en las campañas locales el nivel de razonamiento no quedó registrado caso por caso, salvo donde se indica.

Leyenda: una pasada por campaña salvo donde se indica; los tiempos son la suma de segundos de generación registrados, no tiempo de pared; los modelos de pago no corren en un servidor de IT Lab y no tienen velocidad comparable; Banco IT Lab, edición 1. "Aprobado" significa controles automáticos aprobados.

Ningún modelo superó los 40 casos. El mejor resultado local, 30 de 40, corresponde a una configuración con razonamiento ajustado caso a caso; el mejor resultado de pago fue 28. El modelo más rápido de la tabla, con 121,9 tok/s, aprobó 9 de 40: la velocidad no predice comprensión.

Diagnóstico: la escalera de razonamiento. En la campaña de mejor resultado, cada caso parte en el nivel más bajo y solo los casos fallidos suben de nivel. Con nivel bajo se aprobaron 23 casos; la escalera rescató otros 7, pasando por 28 hasta llegar a 30. Siete casos permanecieron reprobados incluso en el nivel máximo. En otra prueba focalizada con Swift 1.5, tres casos difíciles fallaron igual con razonamiento desactivado y con razonamiento bajo; el modo bajo generó más tokens y tardó más sin convertir ninguno en aprobación. Una limitación de proceso: no existe todavía una comparación completa entre modelos por modo de razonamiento, porque las campañas históricas no siempre lo registraron.

Patrones de fallo. Los fallos estructurales se repiten entre modelos y no desaparecen al subir el razonamiento. Se describen en términos generales: afirmaciones sin respaldo en la fuente correcta del material; premisas falsas del planteamiento aceptadas como verdaderas; acuerdos o normas inventados en lugar de abstenerse, aunque la abstención honesta existe y se registra aparte; evidencia mal clasificada, por ejemplo atribuida al documento equivocado; y cuentas mal hechas sobre lo que sí se había leído. La distribución de fallos por área, sumando todas las campañas con registro corregido, es la siguiente.

Agregado de IT Lab sobre los registros corregidos de aproximadamente 20 campañas; solo las seis áreas con más fallos.

Documentos tributarios y comprobantes

IT Lab también mide la lectura de documentos tributarios y comprobantes chilenos fotografiados, con experiencia y criterios propios para ese tipo de documentos. En términos generales, los modelos con visión resuelven los casos más simples y los más exigentes requieren revisión humana. El detalle se trata en IA local para boletas y comprobantes.

4. Discusión

Las lecturas siguientes son criterio de IT Lab basado en sus mediciones; ninguna se apoya en una diferencia de una sola pasada entre modelos cercanos.

Extraer sí, agregar no. En lectura, 12 de 14 modelos extrajeron las 183 celdas sin error y la extracción dejó de discriminar. En el mismo examen, el acierto cae de forma sostenida cuando la pregunta pasa de buscar a contar, de 100 % a 20,8 %. Un patrón análogo aparece en trabajo agéntico: cinco modelos exploraron de forma óptima y fallaron en el cálculo final. A juicio de IT Lab, la lectura y la exploración son capacidades maduras en los modelos locales evaluados; la agregación exacta sobre lo leído no.

Terminar el trabajo es distinto de saberlo. Interpretar imágenes está en buena medida resuelto, con cinco de seis modelos aptos en 97 o más, mientras entregar un trabajo de varios pasos no: en trabajo agéntico aprobaron cinco de catorce modelos. Los fallos agénticos no son de conocimiento: un modelo identificó la causa y no la envió, otros agotaron los turnos leyendo, otro respondió vacío. En producción, un trabajo no cerrado no puede revisarse ni usarse, y el juez lo trata como no hecho.

Inventar frente a declarar ilegible. En visión y en lectura de documentos tributarios, el modo de fallo de mayor riesgo no es leer mal sino producir una respuesta verosímil donde corresponde declarar incertidumbre. Un lector de caracteres clásico falla por el mismo lado en texto degradado, pero devuelve ruido y no una conjetura plausible; el modelo agrega ese riesgo y a cambio, resuelve juicios de contexto que el lector clásico no puede. Por eso el juez castiga la invención y no la ilegibilidad declarada, y cualquier flujo de extracción necesita una salida explícita de "no legible".

El razonamiento corrige una parte, no lo estructural. En trabajo agéntico, activar el razonamiento repara la aritmética de algunos modelos a un costo de 12 a 39 veces el tiempo, y solo es necesario para uno. En razonamiento aplicado, la escalera pasa de 23 a 30 casos, pero siete permanecen reprobados en el nivel máximo y son estructurales: respaldo de fuentes, premisas falsas, evidencia mal clasificada, normas y acuerdos inventados. A juicio de IT Lab, el razonamiento adicional es una palanca de corrección de casos puntuales, con costo medible, no una forma de volver fiable a un modelo que no respalda lo que dice; la escalera, que sube de nivel solo cuando el caso lo exige, es la regla operativa que mejor equilibra resultado y costo.

Velocidad y ruido. La velocidad no predice acierto: el modelo más veloz del razonamiento aplicado aprobó 9 de 40, y en trabajo agéntico el tiempo no se asocia a la nota. Las diferencias de uno o dos puntos entre modelos del mismo grupo corresponden a una sola pasada y no establecen que uno supere al otro.

5. Implicancias para organizaciones con recursos acotados

Criterio de IT Lab sobre sus mediciones, válido para el equipo descrito.

• Automatizar con supervisión: extracción de tablas y datos, búsqueda dentro de documentos, lectura general de capturas, logos y páginas escaneadas, y lectura de documentos tributarios legibles. Los modelos locales igualaron a los de pago en visión y quedaron entre 87 y 93 en lectura, lo que permite mantener los documentos dentro de la organización.
• Revisar siempre: todo conteo o total calculado sobre lo leído; texto pequeño o degradado; y toda cita de norma o afirmación que deba respaldarse con la fuente correcta.
• Diseñar el cierre: en flujos de varios pasos, el envío del resultado debe ser un evento obligatorio con plazo, y el flujo debe exigir el resultado y no la actividad.
• Exigir una salida de incertidumbre: un campo "no legible" que el modelo pueda usar y una validación por reglas de los campos de estructura conocida antes de aceptar la lectura.
• Razonamiento con criterio: aplicarlo por escalera y no por defecto, porque multiplica tokens y tiempo y no cambia los fallos estructurales.
• Hardware: tres de los cinco modelos que aprobaron trabajo agéntico son locales y caben en una tarjeta de 16 GiB.

Preguntas frecuentes

¿Qué tareas de oficina midió el banco? Lectura de documentos, visión, trabajo agéntico y razonamiento aplicado a casos de empresa chilena, con catorce modelos: diez locales y cuatro de pago.

¿Qué tan confiable es la IA local para leer documentos? Doce de catorce modelos extrajeron las 183 celdas de un documento sin error; contar sobre lo leído exige revisión.

¿Qué se puede automatizar sin revisión? A juicio de IT Lab, la extracción de datos y la lectura general de imágenes se pueden automatizar; los conteos, el texto fino y el trabajo agéntico exigen revisión humana.

¿Cuánto cuesta una IA local? El banco no mide costos. Operar IA local implica costos reales (energía, inversión inicial en hardware, mantención y tiempo) y a juicio de IT Lab, los precios actuales de los servicios de pago pueden no reflejar su costo real.

6. Limitaciones y alcance

• Una sola pasada por modelo en lectura, visión y trabajo agéntico; las diferencias pequeñas son ruido. En razonamiento aplicado hay campañas por modelo.
• La pasada oficial se separa de los diagnósticos: acierto por tipo de pregunta, orden imagen y pregunta, coste de activar el razonamiento y escalera de razonamiento.
• En razonamiento aplicado, "aprueba" significa controles automáticos aprobados; algunas áreas con revisión experta en curso no se incluyen en el puntaje.
• El nivel de razonamiento de los modelos locales no quedó registrado caso por caso en esas campañas, por lo que no hay comparación completa por modo; los modelos de pago no tienen velocidad comparable y la suma de segundos de generación no es tiempo de pared.
• Tope de memoria de GPU de 15,4 GiB: un modelo participó con contexto reducido en razonamiento aplicado y dos recibieron el contexto máximo que admitían en trabajo agéntico.
• "Razonamiento desactivado" no es homogéneo entre familias de modelos: esos niveles no se comparan entre familias.
• El banco no mide costos. Operar IA local implica costos reales (energía, inversión inicial en hardware, mantención y tiempo) y a juicio de IT Lab, los precios actuales de los servicios de pago pueden no reflejar su costo real.
• Medición de IT Lab sobre un equipo; no es una recomendación de compra ni una certificación.

7. Conclusiones

1. La lectura y la extracción de documentos no son hoy el factor que separa a los modelos locales de los de pago: 12 de 14 modelos extrajeron sin error las 183 celdas.
2. Contar y agregar sobre lo leído sigue exigiendo revisión: solo dos modelos, ambos de pago, obtuvieron la nota completa en lectura.
3. En visión, dos modelos locales igualaron con 97 a los de pago; el texto diminuto o degradado y la tendencia a completar con algo plausible son el límite.
4. En trabajo agéntico aprobaron cinco de catorce modelos y el mejor resultado fue local con 100; el fallo característico es no cerrar el trabajo.
5. En razonamiento aplicado ningún modelo superó los 40 casos; el mejor resultado local fue 30 de 40 con razonamiento ajustado caso a caso, que corrige parte de los fallos y no los estructurales.
6. En documentos tributarios y comprobantes, IT Lab mantiene la revisión humana como regla y aplica criterios propios, detallados en el artículo dedicado.

Ficha de medición

• Equipo: las mediciones se realizaron en un equipo que IT Lab definió y armó específicamente para pruebas: procesador Ryzen 7 5700X, 31 GiB de RAM y una tarjeta gráfica AMD Radeon RX 9070 XT de 16 GiB, con Linux. La tarjeta se eligió por ser hoy la opción más asequible con buena relación costo-beneficio que una empresa pequeña puede comprar. Los modelos evaluados cuentan con versiones optimizadas para tarjetas NVIDIA, por lo que se espera que el patrón general sea comparable en ese hardware; las cifras publicadas corresponden a este equipo.
• Cuantización: de 3 o 4 bits, según el modelo.
• Contexto: el máximo que admite cada modelo dentro del tope de memoria; los modelos que no cabían recibieron el máximo medido.
• Tope de memoria de GPU: 15,4 GiB.
• Pasadas: una por modelo en lectura, visión y trabajo agéntico; campañas por modelo en razonamiento aplicado.
• Juez: programa determinista; umbral de aprobación 80 en trabajo agéntico; lectura y visión se informan por nota.
• Banco IT Lab, edición 1.

Cómo citar

IT Lab, Informe técnico ITL-IT-02, Banco IT Lab, edición 1.

Informe técnico relacionado: Informe técnico 4: Metodología del Banco IT Lab

Contacto: IT Lab evalúa modelos de IA local para organizaciones chilenas con sus propios documentos y datos. Conversemos

El Banco IT Lab es un instrumento vivo, en perfeccionamiento continuo. Parte de las mediciones proviene de versiones previas del instrumento y de modelos de generaciones anteriores, y algunas cifras pueden contener imprecisiones que se corrigen en cada nueva edición. Las conclusiones expresan el criterio de IT Lab a partir de sus propias mediciones.