Unsloth y Avalon IQ3_KS en el Banco ITLab
Probamos Unsloth UD-IQ4_XS y Avalon IQ3_KS con Swift como referencia: Unsloth queda primero de 17 y Avalon noveno. Tablas por serie y qué cambió en el test.
Medimos dos versiones nuevas de Qwen3.8 Flash Next con los 49 casos del Banco ITLab, versión 02.5, en la misma máquina y con Swift Flash Next como referencia. Unsloth UD-IQ4_XS suma 95,9 puntos y queda primero de 17 configuraciones; Avalon IQ3_KS suma 90,5 y queda noveno. Con una sola pasada por caso, los primeros puestos son un empate técnico.
- Unsloth, primero. Suma 95,9 puntos: 0,3 sobre GPT-6.1 Sol + Pi (95,6) y 1,2 sobre Swift con el mismo motor (94,7).
- Avalon, noveno por un solo caso. Empata con Unsloth en oficina (49 de 54), pero falla C03, que vale 6 puntos del total: su código Rust no compila porque llama a `String::reverse`. Con ese caso aprobado sumaría 96,5.
- Mismos pesos. Las 54 comprobaciones de oficina, las 418 de fondo y los pesos son los mismos de los informes anteriores. Más abajo explicamos qué cambió en el test.
- Los motores, aparte. Lo que costó hacer andar cada paquete está en Avalon y Strata en 16 GB: nuestra experiencia.
Qué se midió
Tres configuraciones de Qwen3.8 Flash Next corrieron la batería completa: 49 tareas de razonamiento, código, visión, contexto largo y trabajo con agente. Cada tarea corrió una vez y se evaluó antes de pasar a la siguiente. Los agentes evaluados no ven las rúbricas.
Cada fila es un paquete de modelo más motor. El modelo IQ3_KS solo carga en Avalon, así que estos resultados no separan el efecto de uno y otro.
| Swift + Strata | Unsloth + Strata | Avalon IQ3_KS + Avalon | |
|---|---|---|---|
| Modelo | Swift 1.5 Flash Next GSQ-RCO abliterated IQ3_S | Unsloth UD-IQ4_XS V3.1 | Flash Next Avalon IQ3_KS |
| Motor | Strata 0.2.10 | Strata 0.2.10 | Avalon, commit 16de68d28 |
| Contexto | 262 144 | 262 144 | 262 144 |
| Razonamiento | medium | medium | medium |
| Temperatura / top_p / top_k | 1,0 / 0,9 / 20 | 1,0 / 0,95 / 20 | 1,0 / 0,9 / 20 |
| Decodificación especulativa (MTP) | 3 borradores | 3 borradores | 2 borradores |
| Caché KV | int8 | int8 | q8_0 / q4_0 |
| Visión | Proyector propio, CPU | Proyector de Unsloth, CPU | Proyector de Unsloth, CPU |
La máquina es la de las mediciones anteriores: RX 9070 XT de 16 GB, Ryzen 7 5700X, 94 GB de RAM y NVMe, con Arch Linux. Hubo un solo modelo a la vez en la tarjeta, con la CPU limitada a 80 % y el escritorio en uso normal. Las tres configuraciones completaron la batería sin errores de infraestructura.
El puntaje usa las mismas reglas de los informes anteriores:
- Serie N (análisis y trabajo de oficina): todas las comprobaciones valen lo mismo; el puntaje es el porcentaje de las 54 aprobadas.
- Series C, M, A, Visión y L: se puntúan con los pesos por ejercicio y por comprobación que fijaron los autores del test.
- Total: N 35 %, C 20 %, M 20 %, A 10 %, Visión 10 % y L 5 %.
El método completo está en el informe de 10 modelos.
Qué cambió en el test
Esta versión agrega 8 comprobaciones a la batería, que pasa de 534 a 542. Todas son puertas de formato, que revisan si la entrega se puede usar y no suman puntos:
- N14: 3 puertas de entrega, una por caso. Es un ejercicio informativo, que no suma al total, y ya anotamos esta regla en la nota de GPT-6.1 Terra y en la del agente Pi.
- C01, C02, C03, M09 y M10: una puerta de entrega en cada uno, separada de la de compilación.
Por eso las tablas se pueden leer juntas: siguen siendo las mismas 54 comprobaciones de oficina y las mismas 418 de fondo, con los mismos pesos. Las tres configuraciones nuevas aprobaron las 8 puertas, y recalcular sus puntajes sin ellas da lo mismo.
Las 14 filas anteriores conservan su puntaje publicado. Tienen las puertas de N14, pero las 5 de C y M no se aplicaron a sus respuestas, salvo la de M10 en Swift + Pi + Ponytail.
Hay otra diferencia de condiciones. Las configuraciones nuevas corrieron con una instrucción de sistema que pide terminar el razonamiento y entregar una respuesta final visible. Nueve de las filas anteriores conservan 38 a 41 casos respondidos antes de que esa instrucción existiera. No medimos su efecto.
Ranking total
| Puesto | Modelo | Tipo | Total | Medición |
|---|---|---|---|---|
| 1 | Unsloth UD-IQ4_XS + Strata 0.2.10 | Local | 95,9 | Noviembre |
| 2 | GPT-6.1 Sol + Pi | Pago, con Pi | 95,6 | Octubre |
| 3 | GPT-6.1 Sol | Pago | 95,0 | Octubre |
| 4 | Swift Flash Next IQ3_S + Strata 0.2.10 | Local | 94,7 | Noviembre |
| 5 | Swift Flash Next IQ3_S | Local | 94,6 | Octubre |
| 6 | Swift Flash Next IQ3_S + Pi + Ponytail (combinado) | Local, con Pi | 94,3 | Octubre |
| 7 | Claude Haiku 5.5 | Pago | 92,6 | Octubre |
| 8 | Qwen 3.8 Flash Next SC117 IQ2_XS | Local | 92,5 | Octubre |
| 9 | Avalon IQ3_KS + Avalon | Local | 90,5 | Noviembre |
| 10 | Swift SC117 IQ3_XXS | Local | 89,1 | Octubre |
| 11 | Swift 27B IQ3_S | Local | 85,9 | Octubre |
| 12 | GPT-6.1 Terra | Pago | 84,5 | Octubre |
| 13 | Qwen 3.8 Flash Next SC117 IQ3_XXS | Local | 82,7 | Octubre |
| 14 | Qwen3.8-27B-GSQ-RCO IQ3_S | Local | 82,5 | Octubre |
| 15 | Gemma 26B | Local | 81,2 | Octubre |
| 16 | Swift Flash Next IQ3_S + Pi (pasada inicial) | Local, con Pi | 76,8 | Octubre |
| 17 | GPT-6 Luna | Pago | 74,9 | Octubre |
| — | GPT-OSS 20B | Local | Sin total comparable (no admite imágenes) | — |
| — | GPT-OSS 20B + Pi | Local, con Pi | sin total comparable (70,1 sin Visión) | — |
Las filas en negrita son los dos modelos probados; Swift + Strata 0.2.10 es la referencia. La columna «Medición» distingue las filas de esta ronda de las publicadas en octubre.
Los cinco primeros están dentro de 1,3 puntos: con una pasada por caso, no hay un ganador claro entre ellos. Swift aparece dos veces, con 94,7 y 94,6. Es el mismo modelo, con otra versión del motor y de la batería, y cambió en varias comprobaciones sin que podamos atribuirlo a una sola causa.
Avalon IQ3_KS queda noveno por programación: con 70,0 en C pierde 6 puntos frente a un modelo con nota máxima. En las demás series está cerca o en el máximo.
Otro orden posible: todas las comprobaciones por igual
Este orden cuenta las comprobaciones aprobadas en todas las series, como si cada una valiera lo mismo. Entran las 418 de fondo de las seis series. Quedan fuera las puertas de formato y los ejercicios informativos N13, N14 y M08. GPT-OSS 20B registra 375 porque no tiene Visión, así que no lleva puesto.
| Puesto | Configuración | Tipo | Comprobaciones aprobadas (%) | Aprobadas de las registradas |
|---|---|---|---|---|
| 1 | Unsloth UD-IQ4_XS + Strata 0.2.10 | Local | 98,3 | 411 de 418 |
| 2 | GPT-6.1 Sol | Pago | 98,1 | 410 de 418 |
| 2 | GPT-6.1 Sol + Pi | Pago, con Pi | 98,1 | 410 de 418 |
| 4 | Claude Haiku 5.5 | Pago | 97,8 | 409 de 418 |
| 4 | Swift Flash Next IQ3_S | Local | 97,8 | 409 de 418 |
| 4 | Swift Flash Next IQ3_S + Strata 0.2.10 | Local | 97,8 | 409 de 418 |
| 7 | Swift Flash Next IQ3_S + Pi + Ponytail (combinado) | Local, con Pi | 97,6 | 408 de 418 |
| 7 | Avalon IQ3_KS + Avalon | Local | 97,6 | 408 de 418 |
| 9 | Qwen 3.8 Flash Next SC117 IQ2_XS | Local | 96,9 | 405 de 418 |
| 10 | Swift SC117 IQ3_XXS | Local | 96,4 | 403 de 418 |
| 11 | GPT-6.1 Terra | Pago | 94,5 | 395 de 418 |
| 12 | Gemma 26B | Local | 91,1 | 381 de 418 |
| 12 | Swift Flash Next IQ3_S + Pi (pasada inicial) | Local, con Pi | 91,1 | 381 de 418 |
| 14 | GPT-6 Luna | Pago | 89,7 | 375 de 418 |
| 15 | Swift 27B IQ3_S | Local | 81,3 | 340 de 418 |
| 16 | Qwen3.8-27B-GSQ-RCO IQ3_S | Local | 79,9 | 334 de 418 |
| 17 | Qwen 3.8 Flash Next SC117 IQ3_XXS | Local | 78,9 | 330 de 418 |
| — | GPT-OSS 20B + Pi (sin Visión) | Local, con Pi | 89,1 | 334 de 375 |
| — | GPT-OSS 20B (sin Visión) | Local | 72,8 | 273 de 375 |
Avalon sube del noveno al séptimo puesto, porque C03 aporta solo 3 de las 418 comprobaciones. Unsloth sigue primero, a una comprobación de GPT-6.1 Sol.
Resultados por serie
Cada tabla va de mayor a menor puntaje; los empates comparten puesto. «Comprobaciones aprobadas» cuenta las comprobaciones de fondo aprobadas en la serie, sin las puertas de formato.
N: análisis y trabajo de oficina (35 % del total)
Mide si el modelo resuelve tareas de oficina con material real y responde solo con lo que dice el material. Todas las comprobaciones valen lo mismo.
| Puesto | Modelo | Tipo | Puntaje de la serie | Comprobaciones aprobadas | Fallas críticas |
|---|---|---|---|---|---|
| 1 | Swift 27B IQ3_S | Local | 90,7 | 49 de 54 | 1 |
| 1 | Unsloth UD-IQ4_XS + Strata 0.2.10 | Local | 90,7 | 49 de 54 | 1 |
| 1 | Avalon IQ3_KS + Avalon | Local | 90,7 | 49 de 54 | 1 |
| 4 | Claude Haiku 5.5 | Pago | 88,9 | 48 de 54 | 1 |
| 4 | Qwen 3.8 Flash Next SC117 IQ3_XXS | Local | 88,9 | 48 de 54 | 1 |
| 4 | GPT-6.1 Sol | Pago | 88,9 | 48 de 54 | 3 |
| 4 | GPT-6.1 Sol + Pi | Pago, con Pi | 88,9 | 48 de 54 | 1 |
| 8 | Swift Flash Next IQ3_S | Local | 87,0 | 47 de 54 | 1 |
| 8 | Swift Flash Next IQ3_S + Pi + Ponytail (combinado) | Local, con Pi | 87,0 | 47 de 54 | 1 |
| 10 | Swift Flash Next IQ3_S + Strata 0.2.10 | Local | 85,2 | 46 de 54 | 2 |
| 11 | Qwen 3.8 Flash Next SC117 IQ2_XS | Local | 81,5 | 44 de 54 | 2 |
| 11 | Qwen3.8-27B-GSQ-RCO IQ3_S | Local | 81,5 | 44 de 54 | 2 |
| 11 | GPT-6.1 Terra | Pago | 81,5 | 44 de 54 | 1 |
| 14 | Swift Flash Next IQ3_S + Pi (pasada inicial) | Local, con Pi | 79,6 | 43 de 54 | 3 |
| 15 | Swift SC117 IQ3_XXS | Local | 77,8 | 42 de 54 | 2 |
| 15 | GPT-OSS 20B + Pi | Local, con Pi | 77,8 | 42 de 54 | 3 |
| 17 | GPT-6 Luna | Pago | 75,9 | 41 de 54 | 2 |
| 18 | GPT-OSS 20B | Local | 74,1 | 40 de 54 | 3 |
| 19 | Gemma 26B | Local | 70,4 | 38 de 54 | 2 |
Fallas críticas: casos en que falló una comprobación etiquetada como crítica por los autores del test; es informativa y no cambia el puntaje de N.
Unsloth y Avalon empatan arriba con Swift 27B IQ3_S. Swift + Strata queda décimo: tres de sus ocho comprobaciones no aprobadas quedaron sin ejecutar por un error de formato en un solo caso.
C: programación (20 % del total)
Mide si el código en Rust pasa pruebas automáticas que el modelo no ve.
| Puesto | Modelo | Tipo | Puntaje de la serie | Comprobaciones aprobadas |
|---|---|---|---|---|
| 1 | GPT-6.1 Sol | Pago | 100 | 34 de 34 |
| 1 | Swift Flash Next IQ3_S | Local | 100 | 34 de 34 |
| 1 | Claude Haiku 5.5 | Pago | 100 | 34 de 34 |
| 1 | Qwen 3.8 Flash Next SC117 IQ2_XS | Local | 100 | 34 de 34 |
| 1 | Swift SC117 IQ3_XXS | Local | 100 | 34 de 34 |
| 1 | Swift 27B IQ3_S | Local | 100 | 34 de 34 |
| 1 | Qwen3.8-27B-GSQ-RCO IQ3_S | Local | 100 | 34 de 34 |
| 1 | Gemma 26B | Local | 100 | 34 de 34 |
| 1 | GPT-6.1 Sol + Pi | Pago, con Pi | 100 | 34 de 34 |
| 1 | Swift Flash Next IQ3_S + Pi + Ponytail (combinado) | Local, con Pi | 100 | 34 de 34 |
| 1 | Swift Flash Next IQ3_S + Pi (pasada inicial) | Local, con Pi | 100 | 34 de 34 |
| 1 | Unsloth UD-IQ4_XS + Strata 0.2.10 | Local | 100 | 34 de 34 |
| 1 | Swift Flash Next IQ3_S + Strata 0.2.10 | Local | 100 | 34 de 34 |
| 14 | Qwen 3.8 Flash Next SC117 IQ3_XXS | Local | 87,1 | 25 de 34 |
| 15 | Avalon IQ3_KS + Avalon | Local | 70,0 | 31 de 34 |
| 16 | GPT-6.1 Terra | Pago | 60,0 | 24 de 34 |
| 16 | GPT-OSS 20B | Local | 60,0 | 24 de 34 |
| 16 | GPT-OSS 20B + Pi | Local, con Pi | 60,0 | 24 de 34 |
| 19 | GPT-6 Luna | Pago | 44,3 | 13 de 34 |
Aquí se separa Avalon IQ3_KS. C03 vale 30 % de la serie, y su entrega no compila. Swift aprobó ese mismo caso, con 156 128 tokens y 39 minutos.
M: proyecto de software (20 % del total)
Mide si el modelo sostiene un proyecto completo en Rust y Rails, cuyas piezas deben integrarse y pasar pruebas.
| Puesto | Modelo | Tipo | Puntaje de la serie | Comprobaciones aprobadas |
|---|---|---|---|---|
| 1 | GPT-6.1 Sol | Pago | 100 | 83 de 83 |
| 1 | Swift Flash Next IQ3_S | Local | 100 | 83 de 83 |
| 1 | Claude Haiku 5.5 | Pago | 100 | 83 de 83 |
| 1 | Qwen 3.8 Flash Next SC117 IQ2_XS | Local | 100 | 83 de 83 |
| 1 | Swift SC117 IQ3_XXS | Local | 100 | 83 de 83 |
| 1 | GPT-6.1 Terra | Pago | 100 | 83 de 83 |
| 1 | GPT-6 Luna | Pago | 100 | 83 de 83 |
| 1 | GPT-6.1 Sol + Pi | Pago, con Pi | 100 | 83 de 83 |
| 1 | Swift Flash Next IQ3_S + Pi + Ponytail (combinado) | Local, con Pi | 100 | 83 de 83 |
| 1 | Unsloth UD-IQ4_XS + Strata 0.2.10 | Local | 100 | 83 de 83 |
| 1 | Avalon IQ3_KS + Avalon | Local | 100 | 83 de 83 |
| 1 | Swift Flash Next IQ3_S + Strata 0.2.10 | Local | 100 | 83 de 83 |
| 13 | GPT-OSS 20B + Pi | Local, con Pi | 76,7 | 73 de 83 |
| 14 | Gemma 26B | Local | 73,8 | 69 de 83 |
| 15 | Swift 27B IQ3_S | Local | 50,0 | 12 de 83 |
| 15 | Qwen 3.8 Flash Next SC117 IQ3_XXS | Local | 50,0 | 12 de 83 |
| 15 | Qwen3.8-27B-GSQ-RCO IQ3_S | Local | 50,0 | 12 de 83 |
| 15 | GPT-OSS 20B | Local | 50,0 | 12 de 83 |
| 19 | Swift Flash Next IQ3_S + Pi (pasada inicial) | Local, con Pi | 25,0 | 60 de 83 |
Las tres configuraciones resuelven completo el proyecto.
A: agéntica (10 % del total)
Mide si el modelo usa herramientas simuladas en el orden correcto. Es un solo ejercicio, con crédito parcial.
| Puesto | Modelo | Tipo | Puntaje de la serie | Comprobaciones aprobadas |
|---|---|---|---|---|
| 1 | Swift Flash Next IQ3_S + Strata 0.2.10 | Local | 100 | 9 de 9 |
| 2 | Swift Flash Next IQ3_S | Local | 99,3 | 8 de 9 |
| 2 | Swift 27B IQ3_S | Local | 99,3 | 8 de 9 |
| 2 | Qwen 3.8 Flash Next SC117 IQ3_XXS | Local | 99,3 | 8 de 9 |
| 2 | Qwen3.8-27B-GSQ-RCO IQ3_S | Local | 99,3 | 8 de 9 |
| 2 | GPT-6.1 Terra | Pago | 99,3 | 8 de 9 |
| 2 | Unsloth UD-IQ4_XS + Strata 0.2.10 | Local | 99,3 | 8 de 9 |
| 8 | Swift Flash Next IQ3_S + Pi (pasada inicial) | Local, con Pi | 98,7 | 8 de 9 |
| 8 | Avalon IQ3_KS + Avalon | Local | 98,7 | 8 de 9 |
| 10 | Qwen 3.8 Flash Next SC117 IQ2_XS | Local | 97,7 | 7 de 9 |
| 11 | Swift Flash Next IQ3_S + Pi + Ponytail (combinado) | Local, con Pi | 97,0 | 8 de 9 |
| 12 | GPT-6.1 Sol | Pago | 96,3 | 8 de 9 |
| 12 | GPT-6.1 Sol + Pi | Pago, con Pi | 96,3 | 8 de 9 |
| 14 | Gemma 26B | Local | 96,0 | 7 de 9 |
| 15 | GPT-OSS 20B | Local | 90,7 | 4 de 9 |
| 16 | Swift SC117 IQ3_XXS | Local | 76,0 | 7 de 9 |
| 17 | GPT-6 Luna | Pago | 75,3 | 7 de 9 |
| 18 | Claude Haiku 5.5 | Pago | 72,3 | 7 de 9 |
| 19 | GPT-OSS 20B + Pi | Local, con Pi | 37,3 | 1 de 9 |
Swift + Strata es la única fila con nota máxima.
Visión (10 % del total)
Mide la lectura de imágenes (V01) y de boletas fotografiadas (N02).
| Puesto | Modelo | Tipo | Puntaje de la serie | Comprobaciones aprobadas | Fallas críticas |
|---|---|---|---|---|---|
| 1 | GPT-6.1 Sol + Pi | Pago, con Pi | 98,4 | 42 de 43 | 0 |
| 1 | Avalon IQ3_KS + Avalon | Local | 98,4 | 42 de 43 | 0 |
| 1 | Swift Flash Next IQ3_S + Strata 0.2.10 | Local | 98,4 | 42 de 43 | 0 |
| 4 | GPT-6.1 Sol | Pago | 92,5 | 42 de 43 | 0 |
| 4 | Swift Flash Next IQ3_S | Local | 92,5 | 42 de 43 | 0 |
| 4 | Claude Haiku 5.5 | Pago | 92,5 | 42 de 43 | 0 |
| 4 | Qwen 3.8 Flash Next SC117 IQ2_XS | Local | 92,5 | 42 de 43 | 0 |
| 4 | Swift SC117 IQ3_XXS | Local | 92,5 | 42 de 43 | 0 |
| 4 | Swift 27B IQ3_S | Local | 92,5 | 42 de 43 | 0 |
| 4 | Qwen 3.8 Flash Next SC117 IQ3_XXS | Local | 92,5 | 42 de 43 | 0 |
| 4 | Qwen3.8-27B-GSQ-RCO IQ3_S | Local | 92,5 | 42 de 43 | 0 |
| 4 | Unsloth UD-IQ4_XS + Strata 0.2.10 | Local | 92,5 | 42 de 43 | 0 |
| 13 | GPT-6.1 Terra | Pago | 90,9 | 41 de 43 | 0 |
| 13 | Swift Flash Next IQ3_S + Pi + Ponytail (combinado) | Local, con Pi | 90,9 | 41 de 43 | 0 |
| 13 | Swift Flash Next IQ3_S + Pi (pasada inicial) | Local, con Pi | 90,9 | 41 de 43 | 0 |
| 16 | GPT-6 Luna | Pago | 74,2 | 39 de 43 | 1 |
| 17 | Gemma 26B | Local | 72,6 | 38 de 43 | 1 |
| — | GPT-OSS 20B | Local | No soportado | — | — |
| — | GPT-OSS 20B + Pi | Local, con Pi | No soportado | — | — |
Fallas críticas: casos de la serie en que falló una comprobación crítica.
Las tres aprueban 42 de 43, pero Unsloth tiene menor puntaje porque su fallo cae en las boletas, un ejercicio con menos comprobaciones y el mismo peso que V01.
L: lectura (5 % del total)
Mide si el modelo extrae con exactitud los datos de un organigrama de cinco tablas y responde preguntas sobre ellos.
| Puesto | Modelo | Tipo | Puntaje de la serie | Comprobaciones aprobadas |
|---|---|---|---|---|
| 1 | GPT-6.1 Sol | Pago | 100 | 195 de 195 |
| 1 | Swift Flash Next IQ3_S | Local | 100 | 195 de 195 |
| 1 | Claude Haiku 5.5 | Pago | 100 | 195 de 195 |
| 1 | Qwen 3.8 Flash Next SC117 IQ2_XS | Local | 100 | 195 de 195 |
| 1 | Swift SC117 IQ3_XXS | Local | 100 | 195 de 195 |
| 1 | Swift 27B IQ3_S | Local | 100 | 195 de 195 |
| 1 | GPT-6.1 Terra | Pago | 100 | 195 de 195 |
| 1 | Qwen 3.8 Flash Next SC117 IQ3_XXS | Local | 100 | 195 de 195 |
| 1 | Gemma 26B | Local | 100 | 195 de 195 |
| 1 | GPT-6.1 Sol + Pi | Pago, con Pi | 100 | 195 de 195 |
| 1 | Swift Flash Next IQ3_S + Pi + Ponytail (combinado) | Local, con Pi | 100 | 195 de 195 |
| 1 | Swift Flash Next IQ3_S + Pi (pasada inicial) | Local, con Pi | 100 | 195 de 195 |
| 1 | Unsloth UD-IQ4_XS + Strata 0.2.10 | Local | 100 | 195 de 195 |
| 1 | Avalon IQ3_KS + Avalon | Local | 100 | 195 de 195 |
| 1 | Swift Flash Next IQ3_S + Strata 0.2.10 | Local | 100 | 195 de 195 |
| 16 | Qwen3.8-27B-GSQ-RCO IQ3_S | Local | 96,7 | 194 de 195 |
| 16 | GPT-OSS 20B + Pi | Local, con Pi | 96,7 | 194 de 195 |
| 18 | GPT-OSS 20B | Local | 93,3 | 193 de 195 |
| 19 | GPT-6 Luna | Pago | 90,0 | 192 de 195 |
Informativos: N13, N14 y M08
Estos tres ejercicios se ejecutan y se puntúan, pero no suman al total porque solo comprueban una parte de la tarea: N13, traducción al español de Chile; N14, reescritura formal de un mensaje a un cliente; M08, reglas de seguridad de una interfaz de administración.
| Puesto | Modelo | Tipo | N13 | N14 | M08 | Promedio | Tiempo total (min:s) |
|---|---|---|---|---|---|---|---|
| 1 | GPT-6.1 Sol + Pi | Pago, con Pi | 100 | 100 | 100 | 100 | 2:38 |
| 2 | GPT-6.1 Sol | Pago | 100 | 100 | 100 | 100 | 2:39 |
| 3 | GPT-6.1 Terra | Pago | 66,7 | 100 | 100 | 88,9 | 0:41 |
| 4 | Swift SC117 IQ3_XXS | Local | 66,7 | 100 | 100 | 88,9 | 4:52 |
| 5 | Swift Flash Next IQ3_S + Strata 0.2.10 | Local | 66,7 | 100 | 100 | 88,9 | 5:28 |
| 6 | Swift 27B IQ3_S | Local | 66,7 | 100 | 100 | 88,9 | 6:22 |
| 7 | Swift Flash Next IQ3_S | Local | 66,7 | 100 | 100 | 88,9 | 6:46 |
| 8 | Gemma 26B | Local | 66,7 | 100 | 100 | 88,9 | 7:07 |
| 9 | Qwen 3.8 Flash Next SC117 IQ2_XS | Local | 66,7 | 100 | 100 | 88,9 | 13:06 |
| 10 | Swift Flash Next IQ3_S + Pi (pasada inicial) | Local, con Pi | 100 | 66,7 | 100 | 88,9 | — |
| 11 | GPT-6 Luna | Pago | 66,7 | 66,7 | 100 | 77,8 | 0:35 |
| 12 | GPT-OSS 20B | Local | 33,3 | 100 | 100 | 77,8 | 1:56 |
| 13 | Claude Haiku 5.5 | Pago | 100 | 33,3 | 100 | 77,8 | 2:52 |
| 14 | Swift Flash Next IQ3_S + Pi + Ponytail (combinado) | Local, con Pi | 66,7 | 66,7 | 100 | 77,8 | 4:10 |
| 15 | Avalon IQ3_KS + Avalon | Local | 100 | 33,3 | 100 | 77,8 | 5:33 |
| 16 | Qwen3.8-27B-GSQ-RCO IQ3_S | Local | 66,7 | 66,7 | 100 | 77,8 | 7:18 |
| 17 | Unsloth UD-IQ4_XS + Strata 0.2.10 | Local | 66,7 | 66,7 | 100 | 77,8 | 9:07 |
| 18 | GPT-OSS 20B + Pi | Local, con Pi | 66,7 | 66,7 | 100 | 77,8 | — |
| 19 | Qwen 3.8 Flash Next SC117 IQ3_XXS | Local | 66,7 | 100 | 0 | 55,6 | 6:20 |
Se ordenan por el promedio de los tres; si hay empate, va primero el más rápido. El tiempo es la suma de la inferencia de los siete casos; en dos configuraciones con Pi no hay un tiempo comparable y se indica con «—».
Velocidad, tiempos y tokens
Las filas anteriores conservan las cifras publicadas. En las tres filas nuevas, tokens y tiempo son la suma de los contadores del motor en las 49 tareas. Hay diferencias de contabilidad entre campañas, así que el orden general es orientativo.
Tokens generados
Los tokens de salida incluyen normalmente el razonamiento previo a la respuesta. La tabla va del que menos generó al que más generó.
| Modelo | Tipo | Casos | Tokens de salida | Promedio por caso |
|---|---|---|---|---|
| GPT-6 Luna | Pago | 49 | 22 661 | 462 |
| GPT-6.1 Terra | Pago | 49 | 24 942 | 509 |
| GPT-6.1 Sol | Pago | 49 | 40 527 | 827 |
| GPT-6.1 Sol + Pi | Pago, con Pi | 49 | 45 666 | 932 |
| GPT-OSS 20B | Local | 45 | 116 633 | 2 592 |
| GPT-OSS 20B + Pi | Local, con Pi | 45 | 122 586 | 2 724 |
| Swift Flash Next IQ3_S + Pi + Ponytail (campaña original) | Local, con Pi | 49 | 148 570 | 3 032 |
| Swift 27B IQ3_S | Local | 49 | 183 442 | 3 744 |
| Swift Flash Next IQ3_S | Local | 49 | 192 293 | 3 924 |
| Qwen 3.8 Flash Next SC117 IQ3_XXS | Local | 49 | 192 729 | 3 933 |
| Qwen3.8-27B-GSQ-RCO IQ3_S | Local | 49 | 199 410 | 4 070 |
| Swift SC117 IQ3_XXS | Local | 49 | 207 099 | 4 227 |
| Claude Haiku 5.5 | Pago | 49 | 277 780 | 5 669 |
| Gemma 26B | Local | 49 | 321 057 | 6 552 |
| Qwen 3.8 Flash Next SC117 IQ2_XS | Local | 49 | 344 117 | 7 023 |
| Unsloth UD-IQ4_XS + Strata 0.2.10 | Local | 49 | 361 764 | 7 383 |
| Swift Flash Next IQ3_S + Strata 0.2.10 | Local | 49 | 376 319 | 7 680 |
| Avalon IQ3_KS + Avalon | Local | 49 | 458 538 | 9 358 |
Swift gastó 156 128 tokens solo en C03. Avalon IQ3_KS generó más tokens que Swift en 30 de los 49 casos.
Tiempos de respuesta
La tabla va del más rápido al más lento por tiempo total.
| Modelo | Tipo | Casos | Tiempo total de respuesta | Promedio por caso |
|---|---|---|---|---|
| GPT-6 Luna | Pago | 49 | 0:04:51 | 5,9 s |
| GPT-6.1 Terra | Pago | 49 | 0:06:29 | 7,9 s |
| GPT-OSS 20B | Local | 45 | 0:12:58 | 17,3 s |
| GPT-OSS 20B + Pi | Local, con Pi | 45 | 0:14:18 | 19,1 s |
| GPT-6.1 Sol | Pago | 49 | 0:16:21 | 20,0 s |
| GPT-6.1 Sol + Pi | Pago, con Pi | 49 | 0:17:25 | 21,3 s |
| Claude Haiku 5.5 | Pago | 49 | 0:21:23 | 26,2 s |
| Swift Flash Next IQ3_S + Pi + Ponytail (campaña original) | Local, con Pi | 49 | 0:50:28 | 61,8 s |
| Qwen 3.8 Flash Next SC117 IQ3_XXS | Local | 49 | 0:50:58 | 62,4 s |
| Swift SC117 IQ3_XXS | Local | 49 | 0:51:33 | 63,1 s |
| Gemma 26B | Local | 49 | 0:52:21 | 64,1 s |
| Swift Flash Next IQ3_S | Local | 49 | 0:53:58 | 66,1 s |
| Swift 27B IQ3_S | Local | 49 | 0:56:11 | 68,8 s |
| Qwen3.8-27B-GSQ-RCO IQ3_S | Local | 49 | 1:01:36 | 75,4 s |
| Qwen 3.8 Flash Next SC117 IQ2_XS | Local | 49 | 1:16:26 | 93,6 s |
| Swift Flash Next IQ3_S + Strata 0.2.10 | Local | 49 | 1:36:40 | 118,4 s |
| Unsloth UD-IQ4_XS + Strata 0.2.10 | Local | 49 | 2:04:16 | 152,2 s |
| Avalon IQ3_KS + Avalon | Local | 49 | 2:05:15 | 153,4 s |
Los tiempos de los servicios de pago incluyen la red y la cola del proveedor; no son comparables con los locales.
Velocidad de lectura y de generación (modelos locales)
La tabla va del modelo que más rápido lee al que más lento lee.
| Modelo | Lectura (tok/s) | Generación (tok/s) |
|---|---|---|
| GPT-OSS 20B | 4 658,3 | 153,5 |
| GPT-OSS 20B + Pi | 4 614,8 | 152,0 |
| Qwen 3.8 Flash Next SC117 IQ2_XS | 1 055,4 | 82,7 |
| Swift Flash Next IQ3_S + Strata 0.2.10 | 951,8 | 66,3 |
| Swift SC117 IQ3_XXS | 943,1 | 78,2 |
| Qwen 3.8 Flash Next SC117 IQ3_XXS | 915,7 | 73,7 |
| Swift Flash Next IQ3_S | 844,9 | 69,3 |
| Swift Flash Next IQ3_S + Pi + Ponytail | 737,0 | 68,5 |
| Unsloth UD-IQ4_XS + Strata 0.2.10 | 613,5 | 49,8 |
| Gemma 26B | 499,4 | 110,6 |
| Qwen3.8-27B-GSQ-RCO IQ3_S | 292,9 | 61,5 |
| Swift 27B IQ3_S | 280,7 | 62,7 |
| Avalon IQ3_KS + Avalon | 223,0 | 65,5 |
La lectura de Avalon baja por los cuatro casos con imagen: sin ellos lee a 551,6 tok/s, frente a 869,8 de Swift y 556,0 de Unsloth. En imágenes, los motores no leen la misma cantidad de tokens y la visión corre por CPU, así que esa cifra no mide lo mismo. Swift genera 33 % más rápido que Unsloth en el mismo motor, aunque Unsloth usa un `top_p` distinto y un pack hecho a mano. El detalle de velocidad, con las pruebas de control, está en la nota de los motores.
Qué significa para elegir
- Ninguna de las tres gana en todo. Unsloth rinde mejor en oficina, Swift en agéntica y en la velocidad con su motor, y Avalon empata en oficina, pero pierde un caso de programación.
- Fallan cosas distintas. Las tres tienen 6 fallos en casos que puntúan, y Swift e IQ3_KS coinciden solo en dos. Un solo caso puede mover varios puntos.
- Estos resultados son para esta máquina. Conviene probar con casos propios y mantener revisión humana en cifras, normativa y seguridad.
Limitaciones
- Una sola pasada, con temperatura mayor que cero. Diferencias de uno o dos puntos pueden ser ruido.
- Filas de dos rondas. Las 14 anteriores corrieron antes, con otra versión de la batería y, en algunos casos, de los motores.
- Pack de Unsloth. Usa `--compat-bf16`, que según las notas de Strata puede restarle calidad en AMD. No medimos ese efecto. El modelo ya no está en la máquina, así que repetir sus cifras exige descargarlo de nuevo.
- Rechazos. La batería no los mide, aunque Swift sea una versión abliterated.
- Pesos. Los pesos de las series son decisión de ITLab, y los de C, M, A, Visión y L los fijaron los autores del test.
Preguntas frecuentes
¿Unsloth superó a GPT-6.1 Sol? En esta tabla queda 0,3 puntos sobre Sol + Pi y 0,9 sobre Sol, con una pasada y en rondas distintas. Es un empate técnico, no una ventaja demostrada.
¿Por qué Avalon IQ3_KS queda noveno si empata arriba en oficina? Por C03, que vale 6 puntos del total. Su código Rust no compila. Con ese caso aprobado sumaría 96,5.
¿Cambió el test respecto de los informes anteriores? Agrega 8 puertas de formato, que no suman puntos. Las 54 comprobaciones de oficina, las 418 de fondo y los pesos son los mismos.
¿Qué es mejor, Strata o Avalon? Estos datos no lo dicen, porque IQ3_KS solo carga en Avalon. Nuestra experiencia con ambos está en esta nota.
Fuentes
- Strata, motor usado en las configuraciones de Swift y Unsloth (versión 0.2.10).
- Avalon, motor usado con IQ3_KS (commit 16de68d28).
- Qwen3.8 Flash Next Avalon GGUF, repositorio del modelo IQ3_KS.
- Unsloth, Qwen3.8 Flash Next GGUF, repositorio de UD-IQ4_XS y del proyector de visión.
Contacto
Si su organización evalúa adoptar IA, local o de pago, ITLab puede ayudarle a elegir el modelo según su tipo de trabajo y a probarlo con sus casos reales. Contáctenos.
El Banco ITLab es un instrumento vivo, en perfeccionamiento continuo. Las conclusiones expresan el criterio de ITLab a partir de sus propias mediciones.
¿Necesitas a alguien que se haga cargo de tu tecnología?
Cuéntanos qué necesitas ordenar, proteger o resolver. La primera conversación no tiene costo: evaluamos si nuestro modelo te sirve y cuáles serían los siguientes pasos.
Conversemos sobre tu empresa