GPT-6.1 Terra se incorpora al Banco ITLab 02.5

Medimos GPT-6.1 Terra con la misma batería de 49 casos del informe de 10 modelos. Queda noveno de 14 configuraciones medidas, con 84,5 puntos: resuelve completo el proyecto en Rust y Rails y casi todo lo agéntico, pero falla buena parte de la programación. En la misma ronda entró GPT-6.1 Sol, que dentro del agente Pi encabeza el total.

• Terra, noveno. Suma 84,5 puntos, entre Swift 27B IQ3_S (85,9) y Qwen 3.8 Flash Next SC117 IQ3_XXS (82,7).
• Lo mejor y lo peor de Terra. Nota máxima en proyecto de software y lectura, 99,3 en agéntica; 60,0 en programación, donde aprobó 24 de 34 comprobaciones.
• Rápido y austero. Completó los 49 casos en 6 min 29 s y generó 24 942 tokens; solo GPT-6 Luna fue más rápido.
• GPT-6.1 Sol, arriba. Con el agente Pi suma 95,6 y sin agente 95,0; Swift Flash Next IQ3_S, el mejor local, queda tercero con 94,6. Con una sola pasada por caso, es un empate técnico.

Qué se midió

GPT-6.1 Terra y GPT-6.1 Sol son modelos de pago y se consultaron mediante la API nativa del proveedor, con sus parámetros por defecto, igual que Claude Haiku 5.5 y GPT-6 Luna en el informe anterior. Corrieron los 49 casos del Banco ITLab, versión 02.5, con una sola pasada por caso y las mismas reglas de puntuación:

• Serie N (análisis y trabajo de oficina): todas las comprobaciones valen lo mismo; el puntaje es el porcentaje de las 54 comprobaciones aprobadas.
• Series C, M, A, Visión y L: se puntúan con los pesos por ejercicio y por comprobación que fijaron los autores del test; una falla crítica deja el caso en 0, y A01, L01 y V01 tienen crédito parcial.
• Total: N 35 %, C 20 %, M 20 %, A 10 %, Visión 10 % y L 5 %.

El método completo está explicado en el informe de 10 modelos.

Qué entra en estos rankings. Cada tabla incluye los 11 modelos en su configuración base (los locales en la tarjeta gráfica de 16 GiB y los de pago mediante su API nativa) y las cuatro configuraciones en que un modelo trabajó dentro del agente Pi, todas con su puesto real y con la marca «+ Pi» en el nombre. Salvedades: Swift Flash Next + Pi + Ponytail es un resultado combinado con sustituciones selectivas, no una pasada completa; la pasada inicial de Swift + Pi tuvo problemas con los adjuntos, después corregidos, y no figura en las tablas de tokens y tiempos; y GPT-OSS 20B, con o sin Pi, no admite imágenes y queda sin puesto en el total. El análisis del agente está en ¿Mejora un modelo cuando trabaja dentro de un agente?.

Ranking total

Los diez modelos del informe anterior conservan sus puntajes por serie; la incorporación de Sol y Terra solo cambia los puestos. Los cinco primeros están dentro de 3,0 puntos, y los cuatro primeros, de 1,3: con una pasada por caso, no hay un ganador claro entre ellos.

Terra queda noveno por la programación: con 60,0 en C pierde ocho puntos del total frente a un modelo con nota máxima. En el proyecto de software, que hunde a varios locales, Terra obtiene 100.

Otro orden posible: todas las comprobaciones por igual

El Banco ITLab tiene su ponderación propia: pesos por serie y, salvo en N, pesos por ejercicio y por comprobación fijados por los autores del test. Pero cada comprobación individual queda registrada, y con ellas se puede mirar el resultado completo desde otro ángulo: contar todas las comprobaciones aprobadas, en todas las series, como si cada una valiera lo mismo.

Para esta tabla entran las 418 comprobaciones de fondo de las seis series (N, C, M, A, Visión y L, con N02 dentro de Visión). Quedan fuera las puertas de formato, que no son comprobaciones de fondo, y los ejercicios informativos N13, N14 y M08. Las comprobaciones no ejecutadas o indeterminadas cuentan como no aprobadas. Swift con Pi y Ponytail registra 420 porque en su repetición de M10 la evaluación quedó desglosada en dos comprobaciones más; GPT-OSS 20B registra 375 porque no tiene Visión, así que su porcentaje no es comparable y no lleva puesto.

Los cinco primeros son los mismos cinco que encabezan el ranking ponderado (95,6; 95,0; 94,6; 94,3 y 92,6), con Sol con y sin Pi empatados arriba. Las diferencias aparecen más abajo, y se explican por cómo se reparten las comprobaciones: la lectura (L01) aporta 195 de las 418 y la calculadora (M10) 72, mientras la serie de oficina aporta solo 54. Por eso, con este criterio, Swift 27B IQ3_S pasa del octavo puesto del ranking ponderado al duodécimo de esta tabla (es el mejor en oficina, pero falla la calculadora), y Terra, Gemma 26B y GPT-6 Luna suben, porque resuelven la calculadora. Ningún orden es «el verdadero»: la ponderación de ITLab refleja qué trabajo importa más; el conteo simple muestra el volumen de aciertos. Publicamos ambos para que cada lector juzgue con los datos completos.

Resultados por serie

Cada tabla va de mayor a menor puntaje; los empates comparten puesto. «Comprobaciones aprobadas» cuenta las comprobaciones de fondo aprobadas en la serie, sin las puertas de formato.

N: análisis y trabajo de oficina (35 % del total)

Mide si el modelo resuelve tareas de oficina con material real y responde solo con lo que dice el material: planillas, correos, cotizaciones, una mini-app Rails, presentaciones, respaldos, hallazgos de seguridad, reseñas, consultas legales, explicaciones y actas. En N, todas las comprobaciones valen lo mismo; un ejercicio con más comprobaciones pesa más simplemente porque tiene más.

Fallas críticas: casos en que falló una comprobación etiquetada como crítica por los autores del test; es informativa y no cambia el puntaje de N.

Terra queda en el grupo medio, a cinco comprobaciones del primero. Sol empata en el segundo puesto, aunque con tres casos con falla crítica.

C: programación (20 % del total)

Mide si el código en Rust pasa pruebas automáticas que el modelo no ve: repartir el ancho de una tabla, limpiar texto de usuario sin dejar pasar marcas peligrosas y portar una función de Ruby con paridad exacta.

Es la debilidad de Terra: comparte el puesto 13 con GPT-OSS 20B, con y sin Pi, el modelo local más pequeño de la medición.

M: proyecto de software (20 % del total)

Mide si el modelo sostiene un proyecto completo en Rust y Rails, cuyas piezas deben integrarse y pasar pruebas: un motor de cuotas (M09) y una calculadora científica desde cero (M10).

Los cuatro modelos de pago resuelven completo el proyecto. Terra, que falla piezas sueltas de programación, sí arma bien un proyecto de varias piezas.

A: agéntica (10 % del total)

Mide si el modelo usa herramientas simuladas en el orden correcto a lo largo de tres episodios: diagnosticar un incidente, calcular un total con varias fuentes y desplegar cumpliendo una política. Es un solo ejercicio (A01), con crédito parcial.

Terra empata en el máximo alcanzado. Como el ejercicio tiene crédito parcial y pesos distintos por componente, las comprobaciones aprobadas no siguen exactamente el orden del puntaje.

Visión (10 % del total)

Mide la lectura de imágenes (V01, 31 preguntas sobre 11 imágenes) y de boletas fotografiadas (N02, tres casos).

Fallas críticas: casos de la serie en que falló una comprobación crítica.

L: lectura (5 % del total)

Mide si el modelo extrae con exactitud los datos de un organigrama de cinco tablas y responde preguntas sobre ellos.

Informativos: N13, N14 y M08

Estos tres ejercicios se ejecutan y se puntúan, pero no suman al total porque solo comprueban una parte de la tarea: N13, traducción al español de Chile; N14, reescritura formal de un mensaje a un cliente; M08, reglas de seguridad de una interfaz de administración. N14 incorpora una regla nueva: si la respuesta agrega notas fuera del mensaje pedido, no pasa la puerta de entrega y su contenido queda sin evaluar. Eso bajó a Claude Haiku 5.5 en N14 respecto del informe anterior.

Se ordenan por el promedio de los tres; si hay empate, va primero el más rápido. El tiempo es la suma de la inferencia de los siete casos; en dos configuraciones con Pi no hay un tiempo comparable para estos casos y se indica con «—».

Velocidad, tiempos y tokens

Las cifras corresponden a las pasadas que sostienen el puntaje de cada modelo. El tiempo es de inferencia, sin carga ni evaluación. GPT-OSS 20B suma 45 casos porque no ejecutó los cuatro de visión. En las configuraciones con Pi, las cifras son las de su campaña original, sin sumar repeticiones; el tiempo de Swift con Pi y Ponytail incluye pausas para ajustar la memoria de la tarjeta gráfica, y la pasada inicial de Swift con Pi no figura en estas tablas.

Tokens generados

Un token es la unidad de texto con que trabaja el modelo, algo menos de una palabra en promedio; los de salida incluyen normalmente el razonamiento previo a la respuesta. Como son trabajos prácticos, no creativos, menos tokens para una respuesta correcta es mejor: menos tiempo, menos costo y menos relleno. La tabla va del más eficiente (el que menos generó) al que más generó.

Los tokens siguen la contabilidad de cada motor o proveedor. En los servicios de pago puede no incluir todo el razonamiento interno, así que sus cifras no son equivalentes a las de los modelos locales y su lugar en esta tabla debe leerse con cautela.

Tiempos de respuesta

La tabla va del más rápido al más lento por tiempo total.

Los tiempos de los servicios de pago incluyen la red y la cola del proveedor; no son comparables con los locales, que corrieron en una sola tarjeta gráfica de consumo.

Velocidad de lectura y de generación (modelos locales)

Sol y Terra son servicios de pago y no entregan estos contadores. Incluye las dos configuraciones locales con Pi. La tabla va del modelo que más rápido lee al que más lento lee.

Qué significa para elegir

• Terra conviene para tareas agénticas, proyectos de varias piezas y lectura, donde rinde al nivel de los mejores, con poco gasto de tokens y respuestas rápidas.
• No es la mejor opción para programación suelta en Rust: ocho modelos, seis de ellos locales, aprueban todas las comprobaciones de esa serie.
• Sol y el mejor local están empatados arriba. Quien pueda enviar datos a un servicio externo tiene en Sol la opción más pareja; quien necesite que los datos no salgan de la organización tiene en Swift Flash Next IQ3_S un resultado equivalente en una tarjeta gráfica de consumo.
• Mantener revisión humana en cifras, normativa y seguridad, y probar con casos propios antes de decidir.

Limitaciones

• Una sola pasada por modelo y caso. Diferencias de uno o dos puntos pueden ser ruido.
• Pesos. Los pesos de las series son decisión de ITLab, y los de C, M, A, Visión y L los fijaron los autores del test conociendo resultados previos.
• Pago frente a local. Tiempos y tokens de los servicios de pago no son comparables con los locales, y no podemos certificar qué modelo exacto hay detrás del nombre de un servicio.
• N14 con regla nueva de entrega. Es informativo y no cambia el total.

Preguntas frecuentes

¿Dónde queda GPT-6.1 Terra? Noveno de 14 configuraciones, con 84,5 puntos. Su fuerte son la agéntica, el proyecto de software y la lectura; su punto débil, la programación en Rust.

¿Por qué Terra queda detrás de varios modelos locales? Por la serie de programación, que vale el 20 % del total: aprobó 24 de 34 comprobaciones, mientras seis modelos locales aprobaron todas.

¿GPT-6.1 Sol es mejor que el mejor modelo local? Por 0,4 puntos, una diferencia que una sola pasada por caso no permite sostener. En la práctica están empatados.

¿Cómo se leen las configuraciones con el agente Pi? Como cualquier otra fila, con su puesto, pero con sus salvedades: Swift + Pi + Ponytail es un resultado combinado y la pasada inicial de Swift + Pi tuvo problemas de adjuntos. Las analizamos en ¿Mejora un modelo cuando trabaja dentro de un agente?.

¿Por qué GPT-OSS 20B no tiene puesto en el total? Porque no admite imágenes y no resolvió la serie Visión; sin ella, su total no es comparable con el de los demás.

Contacto

Si su organización evalúa adoptar IA, local o de pago, ITLab puede ayudarle a elegir el modelo según su tipo de trabajo y a probarlo con sus casos reales. Contáctenos.

El Banco ITLab es un instrumento vivo, en perfeccionamiento continuo. Las conclusiones expresan el criterio de ITLab a partir de sus propias mediciones.