Trabajo agéntico con IA local: terminar el trabajo

En la familia de trabajo agéntico del Banco IT Lab, 5 de 14 modelos superan el criterio, y el mejor resultado lo obtuvo un modelo local. El fallo característico no es ignorar la respuesta, sino no cerrar el trabajo. Método general: Cómo evalúa IT Lab un modelo de IA local.

• Qwen3.8-27B-GSQ-RCO, un modelo local, obtuvo 100 en 20,6 s, y tres de los cinco que superan el criterio corren en una tarjeta de 16 GiB.
• Los modelos que fallan suelen encontrar la causa y no entregar.
• A juicio de IT Lab, el trabajo agéntico sigue requiriendo revisión humana y una entrega obligatoria en el flujo.

La pregunta de negocio

Delegar procesos en un agente exige saber si el modelo termina el trabajo sin intervención. Responder bien y completar una secuencia de acciones son capacidades distintas; esta familia mide la segunda.

Qué mide la prueba y por qué representa trabajo real

La prueba tiene tres episodios con herramientas y acciones reales, de tipo operativo y de TI, en los que el modelo debe actuar paso a paso y cerrar el trabajo. Todos los modelos reciben el mismo protocolo.

Se mide la tarea cerrada, no la actividad: leer todos los archivos sin entregar un resultado correcto no cuenta. El contenido de los episodios no se publica.

Cómo se aprueba

Un juez automático y fijo, sin un modelo evaluando a otro, califica el trabajo entregado. El umbral de aprobación es 80 y se definió antes de la corrida. La pasada oficial es una sola por modelo, en serie, con el mismo protocolo para todos.

Resultados

Pasada oficial: una pasada por modelo; umbral 80; Banco IT Lab, edición 1; razonamiento desactivado (no comparable entre familias).

GPT-OSS-20B abortó tras tres respuestas vacías.

A juicio de IT Lab, el tiempo no compra nota: un modelo de pago empleó 222,6 s para una nota de 96, mientras un modelo local obtuvo 95 en 5,1 s. La diferencia entre 100 y 99 en una sola pasada está dentro del ruido y no declara un mejor modelo.

Dónde se rompe el trabajo

Cinco modelos exploraron de forma óptima y aun así fallaron en el cálculo final del pedido: el plan estaba bien y la aritmética no. El patrón más relevante para una empresa es otro: modelos que saben pero no terminan.

Un modelo encontró la causa raíz del incidente y repitió la misma acción sin enviar; dos agotaron el límite de turnos leyendo, sin entregar; otro respondió vacío tres veces seguidas.

Un agente que no entrega no aporta valor en producción: el trabajo no queda cerrado.

Diagnóstico (fuera de la pasada oficial)

No forma parte de la pasada oficial. Mide cuánto corrige activar el razonamiento y cuánto cuesta,; incluye pasadas adicionales.

Lectura de IT Lab: pensar es necesario para aprobar solo en un modelo. En los dos Gemma, activar el razonamiento repara el cálculo y lleva la nota de 76 a 100 y de 74 a 97, a cambio de multiplicar tokens y tiempo; en Qwen3.8-27B-GSQ-RCO la nota no cambia. El tiempo se multiplica por 12 a 39.

"Razonamiento desactivado" no es homogéneo: un modelo de pago registró 4.910 tokens de razonamiento en su corrida sin razonamiento, así que esos niveles no se comparan entre familias.

Orquestación multi-agente en una sola GPU

IT Lab hizo una prueba exploratoria aparte: una jerarquía de roles sobre un único modelo local de 27B, con varias sesiones de contexto concurrentes en la misma tarjeta. Un planificador decide al final, un integrador descompone el encargo en subtareas y varios ejecutores producen y revisan las piezas.

La mecánica funciona. Con un formato de salida fiable, el esquema completa la pieza: ocho de diez modelos terminan su corrida, y los ejecutores concurrentes suman cerca de 63,5 tok/s con varias sesiones concurrentes.

El cuello de botella es el formato de salida, no la inteligencia. En las primeras matrices de pruebas, 14 de los 17 fallos fueron errores de decodificación del formato. Con la reparación de formato determinista bajaron de 17 a 13 en lotes del mismo tamaño: una mejora real y lejos de ser suficiente. Dos modelos no caben en el contexto requerido bajo el tope de memoria. Y el único modelo que completó todas las fases del bucle entregó un resultado sin contenido útil, que el juez detuvo en la segunda etapa: orquestar más no compensa a un modelo que no sabe programar. Es evidencia de una sola prueba exploratoria; su conclusión registrada es "no listo para incorporar".

Qué implica para una empresa chilena

A juicio de IT Lab:

• Qué automatizar. Tareas operativas con herramientas, con revisión humana y la entrega como evento obligatorio con plazo.
• Qué revisar. Todo cálculo exacto, y exigir el resultado y no la actividad.
• Formato y razonamiento. Un orquestador necesita reparación determinista de formato y reintento; el razonamiento se decide por modelo, con su costo en tokens y tiempo a la vista.
• Hardware. Tres de los cinco modelos que superan el criterio funcionan en una tarjeta de 16 GiB.

Preguntas frecuentes

¿Qué es el trabajo agéntico? Son tareas en que el modelo usa herramientas y ejecuta acciones. El banco las mide en tres episodios.

¿Qué tan confiable es una IA local en este tipo de trabajo? 5 de 14 modelos superan el criterio, y el mejor resultado lo obtuvo un modelo local, con 100 en 20,6 s.

¿Cuál es el fallo típico de estos modelos? No cerrar el trabajo: los modelos que fallan suelen encontrar la causa, pero no entregar.

¿Se puede dejar funcionar sin supervisión? A juicio de IT Lab, el trabajo agéntico sigue requiriendo revisión humana y una entrega obligatoria en el flujo.

Limitaciones y alcance

• Una sola pasada por modelo y episodio; las diferencias pequeñas son ruido.
• El diagnóstico de razonamiento incluye pasadas adicionales y se separa de la pasada oficial.
• "Razonamiento desactivado" no es homogéneo entre familias de modelos; no se comparan esos niveles entre familias.
• El banco no mide costos. Operar IA local implica costos reales (energía, inversión inicial en hardware, mantención y tiempo) y a juicio de IT Lab, los precios actuales de los servicios de pago pueden no reflejar su costo real.
• Medición de IT Lab sobre un único equipo; no es una recomendación de compra ni una certificación.

Ficha de medición

• Equipo: las mediciones se realizaron en un equipo que IT Lab definió y armó específicamente para pruebas: procesador Ryzen 7 5700X, 31 GiB de RAM y una tarjeta gráfica AMD Radeon RX 9070 XT de 16 GiB, con Linux. La tarjeta se eligió por ser hoy la opción más asequible con buena relación costo-beneficio que una empresa pequeña puede comprar. Los modelos evaluados cuentan con versiones optimizadas para tarjetas NVIDIA, por lo que se espera que el patrón general sea comparable en ese hardware; las cifras publicadas corresponden a este equipo.
• Cuantización: de 3 o 4 bits, según el modelo.
• Pasadas: una por modelo en la pasada oficial, en serie.
• Banco IT Lab, edición 1.

Informe técnico relacionado: Informe técnico 1: Capacidades de oficina con IA local

Contacto: IT Lab evalúa agentes de IA local con los procesos y datos de cada organización. Conversemos

El Banco IT Lab es un instrumento vivo, en perfeccionamiento continuo. Parte de las mediciones proviene de versiones previas del instrumento y de modelos de generaciones anteriores, y algunas cifras pueden contener imprecisiones que se corrigen en cada nueva edición. Las conclusiones expresan el criterio de IT Lab a partir de sus propias mediciones.