Visión: imágenes y documentos escaneados

En el Banco IT Lab, leer capturas de pantalla, logos, precios y texto visible ya es una tarea que los modelos locales resuelven al nivel de los de pago. El límite está en el texto diminuto o degradado, donde el modelo puede completar con algo plausible en lugar de leer.

• Cinco de seis modelos aptos obtienen 97 o más; dos modelos locales alcanzan 97.
• En texto diminuto grabado en un objeto, ningún modelo lo leyó correctamente, y el OCR clásico tampoco; varios modelos respondieron con algo verosímil en lugar de declarar que no lo veían.
• A juicio de IT Lab, la lectura general de imágenes se puede automatizar; el texto fino, las marcas y los números exigen revisión humana y una salida explícita de "no estoy seguro".

La pregunta de negocio

Muchas empresas reciben información como imagen: capturas de errores, fotografías de productos, logos, páginas escaneadas de un PDF. La pregunta es qué parte de esa lectura puede delegarse a un modelo que corre dentro de la propia empresa, sin enviar los archivos a un tercero, y en qué casos debe intervenir una persona. El banco mide esa frontera con imágenes reales y preguntas que tienen una respuesta comprobable.

Qué mide la prueba y por qué representa trabajo real

La prueba usa 11 imágenes reales de tipos variados. Sobre ellas se formulan 31 preguntas cerradas sobre datos concretos de lo que se ve. Es el trabajo que una persona hace al mirar un archivo y decir qué contiene.

La familia de visión mide si el modelo extrae de una imagen el dato correcto sin intervención humana. No mide la calidad de una descripción libre. Se publica qué capacidad mide la prueba y para qué sirve el resultado; el contenido de las imágenes y de las preguntas no se publica.

Cómo se califica

La nota es el porcentaje de respuestas correctas. Lo aplica un juez automático y fijo: un programa determinista con lista de aceptación de respuestas válidas, sin un modelo evaluando a otro. El instrumento no se modifica para favorecer a un modelo. Cualquier ajuste del juez debe aplicarse por igual a todas las corridas, porque una corrección que no vale para todos los modelos es un parche para uno solo.

El protocolo es el mismo para los modelos que corren en la tarjeta de 16 GiB y para los de pago, con una sola pasada por modelo. Un modelo de pago se excluyó de la tabla porque adjuntaba la imagen pero declaraba no verla; la exclusión obedece a esa declaración y no a una nota baja.

Resultados

Una pasada por modelo. Banco IT Lab, edición 1.

Cinco de los seis modelos aptos obtienen 97 o más. Los dos locales con mejor nota coinciden con los de pago en 97. El modelo local más rápido resolvió la prueba completa en 7,0 s con 87. Las diferencias de uno o dos aciertos entre los modelos de la parte alta de la tabla caen dentro del ruido de una sola pasada y no establecen que uno sea superior a otro.

Dónde falla la visión: texto diminuto grabado en un objeto

La pregunta más exigente de la prueba pedía leer un texto diminuto grabado en un objeto fotografiado. Ningún modelo lo leyó correctamente. Tres de ellos, en lugar de declarar que no lograban verlo, respondieron con un nombre verosímil que correspondía a la categoría del objeto pero no al dato. La verdad de terreno se fijó ampliando el recorte de la fotografía manualmente, no por vía automática.

El OCR clásico que usa el banco tampoco pudo leerlo. De ese caso, IT Lab extrae tres conclusiones.

1. El umbral del texto pequeño en objetos físicos sigue abierto tanto para los modelos como para el OCR. Cuando un proceso depende de texto grabado fotografiado, necesita una persona o una fotografía mejor.
2. El modelo puede completar con algo plausible. Es el modo de fallo que el OCR no tiene: un OCR devuelve ruido o nada, mientras que un modelo puede producir una respuesta que parece correcta. En un flujo de trabajo, eso es un riesgo de proceso.
3. El modelo aporta lo que el OCR no puede. Decidir qué es y qué no es un documento relevante son juicios de contexto. El OCR entrega texto plano y deja esa decisión a una persona. Esta comparación se desarrolla para documentos tributarios en IA local para boletas y comprobantes.

Control de calidad del instrumento: cada imagen junto a sus preguntas

En el formato oficial de la prueba, cada imagen se presenta junto a las preguntas que le corresponden. Enviar todas las imágenes al inicio y las preguntas después induce errores de asociación, en los que el modelo responde sobre una imagen usando otra. El protocolo exige el formato intercalado para que la nota refleje la capacidad de ver y no la de mantener un índice. Es un control del instrumento: el examen debe medir al modelo, no al montaje.

Qué implica para una empresa chilena

A juicio de IT Lab, y según estas mediciones:

• Automatizable hoy con buena nota: extraer texto en pantalla, identificar logos y colores, leer precios y cifras visibles, describir capturas de error y clasificar documentos escaneados.
• Con una persona revisando: texto pequeño grabado o impreso sobre objetos fotografiados con mala luz, y cualquier dato que no admita una suposición.
• Requisito de proceso: si el sistema puede producir una respuesta verosímil en lugar de declarar que no ve, el flujo debe incluir un campo obligatorio de "no estoy seguro" y una revisión de los casos que lo usan. Sin esa salida, el modelo rellena los vacíos con apariencia de seguridad.
• Hardware: los dos modelos locales con 97 corren en una tarjeta de 16 GiB, una configuración al alcance de una empresa pequeña.

El detalle de la familia de visión, junto con lectura de documentos, trabajo agéntico y razonamiento aplicado, está en el Informe técnico 1: capacidades de oficina. El método general se describe en Cómo evalúa IT Lab un modelo de IA local.

Preguntas frecuentes

¿Puede una IA local leer imágenes, capturas y documentos escaneados? Sí: leer capturas de pantalla, logos, precios y texto visible lo resuelven los modelos locales al nivel de los de pago. Cinco de seis modelos aptos obtienen 97 o más.

¿Cuándo falla la lectura de imágenes? Con texto diminuto o degradado, donde el modelo puede completar con algo plausible en lugar de leer.

¿Se puede confiar sin revisión? A juicio de IT Lab, la lectura general de imágenes se puede automatizar; el texto fino, las marcas y los números exigen revisión humana.

¿Un OCR clásico lee mejor el texto diminuto? No en esta prueba: en texto diminuto grabado en un objeto, ningún modelo lo leyó correctamente y el OCR clásico tampoco.

Limitaciones y alcance

• Una sola pasada por modelo y por pregunta; las diferencias pequeñas son ruido.
• La prueba es de preguntas cerradas sobre 11 imágenes. No mide descripciones libres ni todos los tipos de imagen que una empresa puede recibir.
• La pasada oficial se informa separada de las sondas y los diagnósticos.
• El banco no mide costos. Operar IA local implica costos reales (energía, inversión inicial en hardware, mantención y tiempo) y a juicio de IT Lab, los precios actuales de los servicios de pago pueden no reflejar su costo real.
• Medición de IT Lab sobre un único equipo; no es una recomendación de compra ni una certificación.

Ficha de medición

• Equipo: las mediciones se realizaron en un equipo que IT Lab definió y armó específicamente para pruebas: procesador Ryzen 7 5700X, 31 GiB de RAM y una tarjeta gráfica AMD Radeon RX 9070 XT de 16 GiB, con Linux. La tarjeta se eligió por ser hoy la opción más asequible con buena relación costo-beneficio que una empresa pequeña puede comprar. Los modelos evaluados cuentan con versiones optimizadas para tarjetas NVIDIA, por lo que se espera que el patrón general sea comparable en ese hardware; las cifras publicadas corresponden a este equipo.
• Cuantización: de 3 o 4 bits, según el modelo.
• Pasadas: una por modelo.
• Banco IT Lab, edición 1.

Informe técnico relacionado: Informe técnico 1: capacidades de oficina

Contacto: IT Lab evalúa modelos de IA local para organizaciones chilenas con sus propios documentos e imágenes, sin sacarlos de su infraestructura. Conversemos

El Banco IT Lab es un instrumento vivo, en perfeccionamiento continuo. Parte de las mediciones proviene de versiones previas del instrumento y de modelos de generaciones anteriores, y algunas cifras pueden contener imprecisiones que se corrigen en cada nueva edición. Las conclusiones expresan el criterio de IT Lab a partir de sus propias mediciones.