¿Mejora un modelo cuando trabaja dentro de un agente?

Pusimos tres modelos a resolver el Banco ITLab 02.5 dentro de Pi, un agente que les da herramientas para leer archivos, ejecutar comandos y entregar resultados. La respuesta corta: el agente no mejora a un modelo por sí solo. Cuando la integración está bien hecha, el resultado queda igual o un poco mejor; cuando no, empeora mucho.

• GPT-6.1 Sol: leve mejora. Pasa de 95,0 a 95,6 puntos, con 13 % más tokens. La ganancia viene casi toda de la serie Visión, y la configuración cambió en más de un aspecto, así que no se puede atribuir entera al agente.
• Swift Flash Next IQ3_S: depende de la integración. Su primera pasada con Pi cayó a 76,8 por problemas con los adjuntos. Con la integración corregida y Ponytail, el resultado combinado es 94,3, frente a 94,6 sin agente: prácticamente igual, con 23 % menos tokens.
• GPT-OSS 20B: no comparable. Sube de 68,5 a 70,1, pero no admite imágenes y su caída en la serie agéntica muestra que la integración todavía no le sienta bien.

Qué probamos

Pi es un agente de programación: en vez de recibir el enunciado y responder de una vez, el modelo trabaja por turnos, abre archivos, ejecuta comandos y entrega su resultado con herramientas. Ponytail es un conjunto de instrucciones (skills) para Pi que empuja al modelo a resolver con la solución más simple que funcione. Usamos Pi 1.4.0 y Ponytail 5.3.2; los modelos locales corrieron en la misma tarjeta gráfica de consumo de 16 GiB del informe de 10 modelos, con la versión estable de llama.cpp que usamos en el banco.

Comparamos tres modelos, cada uno con y sin Pi, en los mismos 49 casos del Banco ITLab, versión 02.5, con las mismas reglas: en la serie N todas las comprobaciones valen lo mismo; las series C, M, A, Visión y L usan los pesos de los autores del test; y el total pondera N 35 %, C 20 %, M 20 %, A 10 %, Visión 10 % y L 5 %.

• GPT-6.1 Sol (pago): directo por la API nativa frente a Pi.
• Swift Flash Next IQ3_S (local): sin agente frente a dos configuraciones con Pi, una inicial y otra con la integración corregida y Ponytail.
• GPT-OSS 20B (local): sin agente frente a Pi.

Resultados

El 94,3 de Swift con Pi y Ponytail es un resultado combinado con sustituciones selectivas, no una pasada completa: tras corregir el banco y el adaptador, se repitieron cinco casos autorizados y sus resultados reemplazaron a los de la pasada original, que había obtenido 78,6 en la escala de los autores del test.

Con una sola pasada por caso, diferencias de menos de un punto no permiten declarar que una configuración sea mejor que otra.

Ranking total con todas las configuraciones

Las configuraciones con Pi van integradas con su puesto real y marcadas «+ Pi» en el nombre; GPT-OSS 20B, con y sin Pi, no tiene total comparable porque no admite imágenes. Los rankings por serie de todos los modelos están en la nota GPT-6.1 Terra se incorpora al Banco ITLab 02.5.

Por serie

La serie N se puntúa por comprobaciones aprobadas; las demás, con los pesos de los autores del test. Fallas críticas: casos en que falló una comprobación etiquetada como crítica; es informativa y no cambia el puntaje.

Sol. Con y sin Pi aprueba las mismas 48 comprobaciones de oficina, aunque con Pi tiene dos casos menos con falla crítica. La diferencia en el total sale de Visión (de 92,5 a 98,4). La pasada con Pi y la directa no difieren solo en el agente: cambian también la forma de llamar al modelo y otros parámetros de la sesión. Por eso no atribuimos toda la mejora a Pi.

Swift Flash Next. La primera pasada con Pi perdió la calculadora del proyecto de software (M baja a 25,0) y cuatro comprobaciones de oficina. Al investigarlo encontramos que los adjuntos llegaban con nombres y en un orden distintos de los esperados, que el transporte de imágenes fallaba y que esa configuración tenía los skills deshabilitados. Con eso corregido y Ponytail activo, Swift recupera las 47 comprobaciones de oficina y el proyecto completo. Queda prácticamente igual que sin agente.

GPT-OSS 20B. Con Pi gana en oficina, en el proyecto de software y en lectura, pero cae en la serie agéntica de 90,7 a 37,3. En esa serie las acciones son simuladas, y el modelo dentro del agente tendía a buscar archivos reales en vez de usar las herramientas del ejercicio; corregimos esa integración y repetimos A01, y aun así el resultado quedó bajo. Como no admite imágenes, su total se calcula sin Visión y no es comparable con el de los otros dos.

Informativos: N13, N14 y M08

No suman al total. La regla nueva de entrega de N14 (las notas fuera del mensaje pedido no pasan la puerta) afectó a algunas respuestas con Pi.

Otro orden posible: todas las comprobaciones por igual

El Banco ITLab tiene su ponderación propia: pesos por serie y, salvo en N, pesos por ejercicio y por comprobación fijados por los autores del test. Pero cada comprobación individual queda registrada, y con ellas se puede mirar el resultado completo desde otro ángulo: contar todas las comprobaciones aprobadas, en todas las series, como si cada una valiera lo mismo.

Para esta tabla entran las 418 comprobaciones de fondo de las seis series (N, C, M, A, Visión y L, con N02 dentro de Visión). Quedan fuera las puertas de formato, que no son comprobaciones de fondo, y los ejercicios informativos N13, N14 y M08. Las comprobaciones no ejecutadas o indeterminadas cuentan como no aprobadas. Swift con Pi y Ponytail registra 420 porque en su repetición de M10 la evaluación quedó desglosada en dos comprobaciones más; GPT-OSS 20B registra 375 porque no tiene Visión, así que su porcentaje no es comparable y no lleva puesto.

Los cinco primeros son los mismos cinco que encabezan el ranking ponderado (95,6; 95,0; 94,6; 94,3 y 92,6), con Sol con y sin Pi empatados arriba. Las diferencias aparecen más abajo, y se explican por cómo se reparten las comprobaciones: la lectura (L01) aporta 195 de las 418 y la calculadora (M10) 72, mientras la serie de oficina aporta solo 54. Por eso, con este criterio, Swift 27B IQ3_S pasa del octavo puesto del ranking ponderado al duodécimo de esta tabla (es el mejor en oficina, pero falla la calculadora), y Terra, Gemma 26B y GPT-6 Luna suben, porque resuelven la calculadora. Ningún orden es «el verdadero»: la ponderación de ITLab refleja qué trabajo importa más; el conteo simple muestra el volumen de aciertos. Publicamos ambos para que cada lector juzgue con los datos completos.

Para el agente, el conteo simple dice algo claro: Sol aprueba exactamente las mismas 410 comprobaciones con y sin Pi, y Swift con Pi y Ponytail queda prácticamente igual que sin agente. GPT-OSS 20B sube de 273 a 334 comprobaciones con Pi, casi todo por la calculadora, aunque pierde la serie agéntica.

Coste en tokens y tiempo

Tiempos y tokens corresponden a la campaña original de cada configuración; no suman repeticiones. La pasada inicial de Swift con Pi no se incluye.

• Sol con Pi gasta 12,7 % más tokens y tarda 6,6 % más.
• Swift con Pi y Ponytail genera 22,7 % menos tokens y tarda 6,5 % menos, aunque su tiempo incluye pausas para ajustar la memoria de la tarjeta gráfica. Las cinco repeticiones selectivas sumaron 21 018 tokens y 5 min 47 s más; contando la pasada original y esas repeticiones, el gasto total fue de 169 588 tokens y 56 min 15 s.
• GPT-OSS con Pi gasta 5,1 % más tokens y tarda 10,2 % más.

Velocidad de lectura y de generación (modelos locales)

La velocidad de generación casi no cambia: el agente no acelera ni frena al modelo. Lo que cambia es cuánto escribe. En la configuración de Swift probamos distintas reservas de memoria de la tarjeta gráfica y terminamos usando 544 MiB.

Cuándo ayudan las herramientas y los skills

Lo que separó una pasada con Pi que cae 17,8 puntos de otra que queda a la par fue la integración, no el modelo:

1. Que los archivos lleguen bien. Nombres y orden de los adjuntos tienen que coincidir con lo que pide la tarea; si no, el modelo trabaja sobre el archivo equivocado.
2. Que las imágenes lleguen al modelo. Un transporte de imágenes defectuoso hunde la visión aunque el modelo sepa leerlas.
3. Que los skills estén activos. Una configuración con los skills deshabilitados no recibe las instrucciones que se supone que la mejoran.
4. Que las herramientas del agente no compitan con las del ejercicio. Si la tarea pide acciones simuladas y el agente ofrece acceso real a archivos, el modelo puede ir a buscar donde no debe.
5. Que la memoria alcance. En una tarjeta de 16 GiB, la reserva de memoria del agente y del motor influye en que la batería corra completa.

Qué recomienda ITLab

• No adoptar un agente esperando que mejore al modelo. En nuestras pruebas, el mejor resultado con agente quedó prácticamente igual que sin él.
• Adoptarlo si el trabajo lo requiere, por ejemplo para operar sobre archivos y repositorios reales, y medir el resultado antes de usarlo en producción.
• Revisar la integración antes de culpar al modelo: adjuntos, imágenes, skills y herramientas.
• Considerar el coste: con Pi, Sol gastó más tokens; Swift con Ponytail, menos.

Limitaciones

• Una sola pasada por configuración y caso. Diferencias de menos de un punto son ruido.
• Variables confundidas. En Sol cambia también la forma de llamar al modelo; en Swift, el banco y el adaptador se corrigieron juntos. Ninguna comparación aísla solo el efecto del agente.
• Resultado combinado. El 94,3 de Swift con Pi y Ponytail combina la pasada original con cinco repeticiones selectivas autorizadas; no es otra batería completa.
• GPT-OSS 20B no comparable. No admite imágenes y su total se calcula sobre cinco series.
• N14 informativo. Una regla nueva de entrega en N14 afectó algunas respuestas con Pi, pero N14 no suma al total.

Preguntas frecuentes

¿Un agente como Pi mejora a un modelo de IA? No por sí solo. Sol mejoró 0,6 puntos con otros cambios de configuración de por medio; Swift Flash Next quedó prácticamente igual con la integración corregida, y mucho peor sin ella.

¿Qué es Ponytail? Un conjunto de skills para Pi que orienta al modelo a resolver con la solución más simple que funcione. En Swift Flash Next coincidió con un 23 % menos de tokens generados.

¿Por qué el 94,3 de Swift con Pi no es una pasada completa? Porque, tras corregir el banco y el adaptador, se repitieron cinco casos autorizados y sus resultados sustituyeron a los originales. Es un resultado combinado.

¿Por qué GPT-OSS 20B no se compara igual que los demás? Porque no admite imágenes. Su total se calcula sin la serie Visión y no es comparable con el de modelos que sí la resolvieron.

¿Dónde están los rankings completos? En la nota GPT-6.1 Terra se incorpora al Banco ITLab 02.5, con todos los modelos en su configuración base.

Contacto

Si su organización evalúa usar agentes de IA con modelos locales o de pago, ITLab puede ayudarle a integrarlos y a medir si de verdad mejoran su trabajo. Contáctenos.

El Banco ITLab es un instrumento vivo, en perfeccionamiento continuo. Las conclusiones expresan el criterio de ITLab a partir de sus propias mediciones.