Documentos con IA local: extraer sí, contar no

En el Banco IT Lab, convertir un documento real en datos estructurados ya no distingue a los modelos; agregar o contar sobre lo leído sí. A juicio de IT Lab, la extracción y la búsqueda se pueden automatizar, y todo conteo debe revisarse.

• 12 de 14 modelos extrajeron las 183 celdas del documento sin un solo error, entre ellos varios que corren en una tarjeta de 16 GiB sin que el documento salga de la empresa.
• Solo dos modelos, ambos de pago, obtuvieron la nota completa (100); ningún modelo local la obtuvo, y la diferencia se decidió en las preguntas que exigen contar.
• Un modelo que agota su presupuesto de salida razonando se ve igual que uno que no sabe; el protocolo separa ambos casos.

La pregunta de negocio

Una empresa que quiere pasar facturas, órdenes, planillas o contratos a datos ordenados necesita saber dos cosas: si un modelo local puede transcribir sin errores y si puede responder sobre lo transcrito. La primera decide si el trabajo se automatiza; la segunda, cuánta revisión humana exige. Esta pieza responde ambas con la familia de lectura del Banco IT Lab, cuyo método está en cómo evalúa IT Lab un modelo de IA local.

Qué mide la prueba y por qué representa trabajo real

Cualquier oficina convierte documentos en datos todos los días. La prueba usa un documento real con varias tablas y decenas de cargos, y plantea una tarea de dos partes:

1. Extraer. Pasar el contenido a un formato estructurado exacto, celda por celda: 183 celdas que se comparan una a una contra el original, con campos obligatorios y formato exigido.
2. Responder. Doce preguntas cerradas sobre ese mismo documento, de búsqueda directa y de conteo.

Se mide por tarea completada, no por la apariencia de la respuesta. Se publica qué capacidad mide la prueba y para qué sirve el resultado; el contenido del documento y de las preguntas se reserva.

Cómo se califica

La nota la calcula un juez automático y fijo: un programa determinista, sin un modelo que evalúe a otro. La nota combina la extracción y las preguntas, sobre 100. Todos los modelos, locales y de pago, recibieron el mismo protocolo: una sola pasada, en serie y sin segundas oportunidades. Participaron 14 modelos, diez locales y cuatro de pago.

Resultados

Pasada oficial de la familia de lectura, Banco IT Lab, edición 1. Una pasada por modelo.

Solo dos modelos, ambos de pago, obtuvieron la nota completa (100); ningún modelo local la obtuvo. Las diferencias de pocos puntos entre los locales, medidas en una sola pasada, quedan dentro del ruido y no establecen un orden entre ellos.

La extracción ya no distingue

Doce de los 14 modelos copiaron las 183 celdas sin un error. El único con fallos de transcripción reales registró 181 de 183. Para pasar una tabla a datos estructurados, casi cualquier modelo moderno resulta suficiente, incluidos los que se ejecutan en el equipo de la propia empresa.

Acierto por tipo de pregunta

El examen se decidió en las preguntas. La tabla agrupa el acierto por tipo sobre las 24 corridas analizadas de esta familia.

El acierto cae en el punto en que la tarea pasa de buscar a contar. Los modelos encontraron lo que había que encontrar; la agregación final no estaba. El fallo no es de formato ni de presupuesto: en la lectura de IT Lab, la comprensión está presente y la aritmética sobre lo leído, ausente.

Control del protocolo: el presupuesto de razonamiento

GPT-OSS-20B terminó con nota 0. La causa no fue falta de conocimiento: consumió todo el presupuesto de salida en razonamiento y no produjo contenido. Se repitió la corrida con el techo duplicado y el resultado fue el mismo; el registro del servidor muestra un bucle de repetición, no un agotamiento por falta de margen.

Este caso no es una anécdota sino la razón de un control. Desde fuera, "no razona bien" y "no tuvo margen para razonar" producen la misma nota. Por eso el protocolo da al razonamiento su propio presupuesto, separado del contenido de la respuesta, y registra cuánto de la salida se gastó pensando. Sin esa separación, lo que se mide es el presupuesto y no el modelo. Con ella, la nota 0 queda clasificada como bucle de razonamiento y no como incapacidad de lectura; la nota oficial se mantiene en 0.

Qué implica para una empresa chilena

A juicio de IT Lab, con estos resultados:

• Automatizar. Extraer tablas, planillas y documentos a datos estructurados, y la búsqueda directa de valores. Casi cualquier modelo de la prueba cumple, y la opción local se justifica cuando el documento no puede salir de la organización.
• Revisar. Todo conteo, suma o agregación sobre lo leído. En esta familia solo dos modelos, ambos de pago, obtuvieron la nota completa y ningún local lo hizo. Leer un contrato y resumir lo que dice es viable; contar en cuántos de varios contratos aparece una cláusula exige revisión humana.
• Hardware. Las corridas locales se midieron en una tarjeta de 16 GiB, con tiempos de 17,9 a 95,7 s por corrida.

Preguntas frecuentes

¿Puede una IA local pasar facturas, planillas o contratos a datos ordenados? Para extraer datos, sí: 12 de 14 modelos extrajeron las 183 celdas de un documento real sin error. Varios corren en una tarjeta de 16 GiB sin que el documento salga de la empresa.

¿Dónde falla la IA local con documentos? Al contar o agregar sobre lo leído. Ningún modelo local obtuvo la nota completa, y la diferencia se decidió en las preguntas que exigen contar.

¿Hay que revisar lo que entrega el modelo? A juicio de IT Lab, la extracción y la búsqueda se pueden automatizar, y todo conteo debe revisarse.

¿Qué hardware se necesita? Varios de los modelos que extrajeron las 183 celdas sin error corren en una tarjeta gráfica de 16 GiB.

Limitaciones y alcance

• Una sola pasada por modelo; las diferencias pequeñas de nota son ruido y no declaran un modelo superior.
• La pasada oficial se mantiene separada de las sondas y los diagnósticos.
• Tope de memoria de GPU de la configuración: 15,4 GiB.
• El banco no mide costos. Operar IA local implica costos reales (energía, inversión inicial en hardware, mantención y tiempo) y a juicio de IT Lab, los precios actuales de los servicios de pago pueden no reflejar su costo real.
• Medición de IT Lab sobre un único equipo y un único documento; no es una recomendación de compra ni una certificación.

Ficha de medición

• Equipo: las mediciones se realizaron en un equipo que IT Lab definió y armó específicamente para pruebas: procesador Ryzen 7 5700X, 31 GiB de RAM y una tarjeta gráfica AMD Radeon RX 9070 XT de 16 GiB, con Linux. La tarjeta se eligió por ser hoy la opción más asequible con buena relación costo-beneficio que una empresa pequeña puede comprar. Los modelos evaluados cuentan con versiones optimizadas para tarjetas NVIDIA, por lo que se espera que el patrón general sea comparable en ese hardware; las cifras publicadas corresponden a este equipo.
• Cuantización: según el modelo local.
• Tope de memoria de GPU: 15,4 GiB.
• Pasadas: una por modelo (14 modelos); acierto por tipo de pregunta sobre 24 corridas analizadas.
• Banco IT Lab, edición 1.

Informe técnico relacionado: Informe técnico 1: IA local, capacidades de oficina

Contacto: IT Lab evalúa modelos de IA local para organizaciones chilenas con sus propios documentos y datos. Conversemos

El Banco IT Lab es un instrumento vivo, en perfeccionamiento continuo. Parte de las mediciones proviene de versiones previas del instrumento y de modelos de generaciones anteriores, y algunas cifras pueden contener imprecisiones que se corrigen en cada nueva edición. Las conclusiones expresan el criterio de IT Lab a partir de sus propias mediciones.