Saltar al contenido

Unsloth y Avalon IQ3_KS en el Banco ITLab

Probamos Unsloth UD-IQ4_XS y Avalon IQ3_KS con Swift como referencia: Unsloth queda primero de 17 y Avalon noveno. Tablas por serie y qué cambió en el test.

Medimos dos versiones nuevas de Qwen3.8 Flash Next con los 49 casos del Banco ITLab, versión 02.5, en la misma máquina y con Swift Flash Next como referencia. Unsloth UD-IQ4_XS suma 95,9 puntos y queda primero de 17 configuraciones; Avalon IQ3_KS suma 90,5 y queda noveno. Con una sola pasada por caso, los primeros puestos son un empate técnico.

  • Unsloth, primero. Suma 95,9 puntos: 0,3 sobre GPT-6.1 Sol + Pi (95,6) y 1,2 sobre Swift con el mismo motor (94,7).
  • Avalon, noveno por un solo caso. Empata con Unsloth en oficina (49 de 54), pero falla C03, que vale 6 puntos del total: su código Rust no compila porque llama a `String::reverse`. Con ese caso aprobado sumaría 96,5.
  • Mismos pesos. Las 54 comprobaciones de oficina, las 418 de fondo y los pesos son los mismos de los informes anteriores. Más abajo explicamos qué cambió en el test.
  • Los motores, aparte. Lo que costó hacer andar cada paquete está en Avalon y Strata en 16 GB: nuestra experiencia.

Qué se midió

Tres configuraciones de Qwen3.8 Flash Next corrieron la batería completa: 49 tareas de razonamiento, código, visión, contexto largo y trabajo con agente. Cada tarea corrió una vez y se evaluó antes de pasar a la siguiente. Los agentes evaluados no ven las rúbricas.

Cada fila es un paquete de modelo más motor. El modelo IQ3_KS solo carga en Avalon, así que estos resultados no separan el efecto de uno y otro.

Swift + StrataUnsloth + StrataAvalon IQ3_KS + Avalon
ModeloSwift 1.5 Flash Next GSQ-RCO abliterated IQ3_SUnsloth UD-IQ4_XS V3.1Flash Next Avalon IQ3_KS
MotorStrata 0.2.10Strata 0.2.10Avalon, commit 16de68d28
Contexto262 144262 144262 144
Razonamientomediummediummedium
Temperatura / top_p / top_k1,0 / 0,9 / 201,0 / 0,95 / 201,0 / 0,9 / 20
Decodificación especulativa (MTP)3 borradores3 borradores2 borradores
Caché KVint8int8q8_0 / q4_0
VisiónProyector propio, CPUProyector de Unsloth, CPUProyector de Unsloth, CPU

La máquina es la de las mediciones anteriores: RX 9070 XT de 16 GB, Ryzen 7 5700X, 94 GB de RAM y NVMe, con Arch Linux. Hubo un solo modelo a la vez en la tarjeta, con la CPU limitada a 80 % y el escritorio en uso normal. Las tres configuraciones completaron la batería sin errores de infraestructura.

El puntaje usa las mismas reglas de los informes anteriores:

  • Serie N (análisis y trabajo de oficina): todas las comprobaciones valen lo mismo; el puntaje es el porcentaje de las 54 aprobadas.
  • Series C, M, A, Visión y L: se puntúan con los pesos por ejercicio y por comprobación que fijaron los autores del test.
  • Total: N 35 %, C 20 %, M 20 %, A 10 %, Visión 10 % y L 5 %.

El método completo está en el informe de 10 modelos.

Qué cambió en el test

Esta versión agrega 8 comprobaciones a la batería, que pasa de 534 a 542. Todas son puertas de formato, que revisan si la entrega se puede usar y no suman puntos:

  • N14: 3 puertas de entrega, una por caso. Es un ejercicio informativo, que no suma al total, y ya anotamos esta regla en la nota de GPT-6.1 Terra y en la del agente Pi.
  • C01, C02, C03, M09 y M10: una puerta de entrega en cada uno, separada de la de compilación.

Por eso las tablas se pueden leer juntas: siguen siendo las mismas 54 comprobaciones de oficina y las mismas 418 de fondo, con los mismos pesos. Las tres configuraciones nuevas aprobaron las 8 puertas, y recalcular sus puntajes sin ellas da lo mismo.

Las 14 filas anteriores conservan su puntaje publicado. Tienen las puertas de N14, pero las 5 de C y M no se aplicaron a sus respuestas, salvo la de M10 en Swift + Pi + Ponytail.

Hay otra diferencia de condiciones. Las configuraciones nuevas corrieron con una instrucción de sistema que pide terminar el razonamiento y entregar una respuesta final visible. Nueve de las filas anteriores conservan 38 a 41 casos respondidos antes de que esa instrucción existiera. No medimos su efecto.

Ranking total

PuestoModeloTipoTotalMedición
1Unsloth UD-IQ4_XS + Strata 0.2.10Local95,9Noviembre
2GPT-6.1 Sol + PiPago, con Pi95,6Octubre
3GPT-6.1 SolPago95,0Octubre
4Swift Flash Next IQ3_S + Strata 0.2.10Local94,7Noviembre
5Swift Flash Next IQ3_SLocal94,6Octubre
6Swift Flash Next IQ3_S + Pi + Ponytail (combinado)Local, con Pi94,3Octubre
7Claude Haiku 5.5Pago92,6Octubre
8Qwen 3.8 Flash Next SC117 IQ2_XSLocal92,5Octubre
9Avalon IQ3_KS + AvalonLocal90,5Noviembre
10Swift SC117 IQ3_XXSLocal89,1Octubre
11Swift 27B IQ3_SLocal85,9Octubre
12GPT-6.1 TerraPago84,5Octubre
13Qwen 3.8 Flash Next SC117 IQ3_XXSLocal82,7Octubre
14Qwen3.8-27B-GSQ-RCO IQ3_SLocal82,5Octubre
15Gemma 26BLocal81,2Octubre
16Swift Flash Next IQ3_S + Pi (pasada inicial)Local, con Pi76,8Octubre
17GPT-6 LunaPago74,9Octubre
—GPT-OSS 20BLocalSin total comparable (no admite imágenes)—
—GPT-OSS 20B + PiLocal, con Pisin total comparable (70,1 sin Visión)—

Las filas en negrita son los dos modelos probados; Swift + Strata 0.2.10 es la referencia. La columna «Medición» distingue las filas de esta ronda de las publicadas en octubre.

Los cinco primeros están dentro de 1,3 puntos: con una pasada por caso, no hay un ganador claro entre ellos. Swift aparece dos veces, con 94,7 y 94,6. Es el mismo modelo, con otra versión del motor y de la batería, y cambió en varias comprobaciones sin que podamos atribuirlo a una sola causa.

Avalon IQ3_KS queda noveno por programación: con 70,0 en C pierde 6 puntos frente a un modelo con nota máxima. En las demás series está cerca o en el máximo.

Otro orden posible: todas las comprobaciones por igual

Este orden cuenta las comprobaciones aprobadas en todas las series, como si cada una valiera lo mismo. Entran las 418 de fondo de las seis series. Quedan fuera las puertas de formato y los ejercicios informativos N13, N14 y M08. GPT-OSS 20B registra 375 porque no tiene Visión, así que no lleva puesto.

PuestoConfiguraciónTipoComprobaciones aprobadas (%)Aprobadas de las registradas
1Unsloth UD-IQ4_XS + Strata 0.2.10Local98,3411 de 418
2GPT-6.1 SolPago98,1410 de 418
2GPT-6.1 Sol + PiPago, con Pi98,1410 de 418
4Claude Haiku 5.5Pago97,8409 de 418
4Swift Flash Next IQ3_SLocal97,8409 de 418
4Swift Flash Next IQ3_S + Strata 0.2.10Local97,8409 de 418
7Swift Flash Next IQ3_S + Pi + Ponytail (combinado)Local, con Pi97,6408 de 418
7Avalon IQ3_KS + AvalonLocal97,6408 de 418
9Qwen 3.8 Flash Next SC117 IQ2_XSLocal96,9405 de 418
10Swift SC117 IQ3_XXSLocal96,4403 de 418
11GPT-6.1 TerraPago94,5395 de 418
12Gemma 26BLocal91,1381 de 418
12Swift Flash Next IQ3_S + Pi (pasada inicial)Local, con Pi91,1381 de 418
14GPT-6 LunaPago89,7375 de 418
15Swift 27B IQ3_SLocal81,3340 de 418
16Qwen3.8-27B-GSQ-RCO IQ3_SLocal79,9334 de 418
17Qwen 3.8 Flash Next SC117 IQ3_XXSLocal78,9330 de 418
—GPT-OSS 20B + Pi (sin Visión)Local, con Pi89,1334 de 375
—GPT-OSS 20B (sin Visión)Local72,8273 de 375

Avalon sube del noveno al séptimo puesto, porque C03 aporta solo 3 de las 418 comprobaciones. Unsloth sigue primero, a una comprobación de GPT-6.1 Sol.

Resultados por serie

Cada tabla va de mayor a menor puntaje; los empates comparten puesto. «Comprobaciones aprobadas» cuenta las comprobaciones de fondo aprobadas en la serie, sin las puertas de formato.

N: análisis y trabajo de oficina (35 % del total)

Mide si el modelo resuelve tareas de oficina con material real y responde solo con lo que dice el material. Todas las comprobaciones valen lo mismo.

PuestoModeloTipoPuntaje de la serieComprobaciones aprobadasFallas críticas
1Swift 27B IQ3_SLocal90,749 de 541
1Unsloth UD-IQ4_XS + Strata 0.2.10Local90,749 de 541
1Avalon IQ3_KS + AvalonLocal90,749 de 541
4Claude Haiku 5.5Pago88,948 de 541
4Qwen 3.8 Flash Next SC117 IQ3_XXSLocal88,948 de 541
4GPT-6.1 SolPago88,948 de 543
4GPT-6.1 Sol + PiPago, con Pi88,948 de 541
8Swift Flash Next IQ3_SLocal87,047 de 541
8Swift Flash Next IQ3_S + Pi + Ponytail (combinado)Local, con Pi87,047 de 541
10Swift Flash Next IQ3_S + Strata 0.2.10Local85,246 de 542
11Qwen 3.8 Flash Next SC117 IQ2_XSLocal81,544 de 542
11Qwen3.8-27B-GSQ-RCO IQ3_SLocal81,544 de 542
11GPT-6.1 TerraPago81,544 de 541
14Swift Flash Next IQ3_S + Pi (pasada inicial)Local, con Pi79,643 de 543
15Swift SC117 IQ3_XXSLocal77,842 de 542
15GPT-OSS 20B + PiLocal, con Pi77,842 de 543
17GPT-6 LunaPago75,941 de 542
18GPT-OSS 20BLocal74,140 de 543
19Gemma 26BLocal70,438 de 542

Fallas críticas: casos en que falló una comprobación etiquetada como crítica por los autores del test; es informativa y no cambia el puntaje de N.

Unsloth y Avalon empatan arriba con Swift 27B IQ3_S. Swift + Strata queda décimo: tres de sus ocho comprobaciones no aprobadas quedaron sin ejecutar por un error de formato en un solo caso.

C: programación (20 % del total)

Mide si el código en Rust pasa pruebas automáticas que el modelo no ve.

PuestoModeloTipoPuntaje de la serieComprobaciones aprobadas
1GPT-6.1 SolPago10034 de 34
1Swift Flash Next IQ3_SLocal10034 de 34
1Claude Haiku 5.5Pago10034 de 34
1Qwen 3.8 Flash Next SC117 IQ2_XSLocal10034 de 34
1Swift SC117 IQ3_XXSLocal10034 de 34
1Swift 27B IQ3_SLocal10034 de 34
1Qwen3.8-27B-GSQ-RCO IQ3_SLocal10034 de 34
1Gemma 26BLocal10034 de 34
1GPT-6.1 Sol + PiPago, con Pi10034 de 34
1Swift Flash Next IQ3_S + Pi + Ponytail (combinado)Local, con Pi10034 de 34
1Swift Flash Next IQ3_S + Pi (pasada inicial)Local, con Pi10034 de 34
1Unsloth UD-IQ4_XS + Strata 0.2.10Local10034 de 34
1Swift Flash Next IQ3_S + Strata 0.2.10Local10034 de 34
14Qwen 3.8 Flash Next SC117 IQ3_XXSLocal87,125 de 34
15Avalon IQ3_KS + AvalonLocal70,031 de 34
16GPT-6.1 TerraPago60,024 de 34
16GPT-OSS 20BLocal60,024 de 34
16GPT-OSS 20B + PiLocal, con Pi60,024 de 34
19GPT-6 LunaPago44,313 de 34

Aquí se separa Avalon IQ3_KS. C03 vale 30 % de la serie, y su entrega no compila. Swift aprobó ese mismo caso, con 156 128 tokens y 39 minutos.

M: proyecto de software (20 % del total)

Mide si el modelo sostiene un proyecto completo en Rust y Rails, cuyas piezas deben integrarse y pasar pruebas.

PuestoModeloTipoPuntaje de la serieComprobaciones aprobadas
1GPT-6.1 SolPago10083 de 83
1Swift Flash Next IQ3_SLocal10083 de 83
1Claude Haiku 5.5Pago10083 de 83
1Qwen 3.8 Flash Next SC117 IQ2_XSLocal10083 de 83
1Swift SC117 IQ3_XXSLocal10083 de 83
1GPT-6.1 TerraPago10083 de 83
1GPT-6 LunaPago10083 de 83
1GPT-6.1 Sol + PiPago, con Pi10083 de 83
1Swift Flash Next IQ3_S + Pi + Ponytail (combinado)Local, con Pi10083 de 83
1Unsloth UD-IQ4_XS + Strata 0.2.10Local10083 de 83
1Avalon IQ3_KS + AvalonLocal10083 de 83
1Swift Flash Next IQ3_S + Strata 0.2.10Local10083 de 83
13GPT-OSS 20B + PiLocal, con Pi76,773 de 83
14Gemma 26BLocal73,869 de 83
15Swift 27B IQ3_SLocal50,012 de 83
15Qwen 3.8 Flash Next SC117 IQ3_XXSLocal50,012 de 83
15Qwen3.8-27B-GSQ-RCO IQ3_SLocal50,012 de 83
15GPT-OSS 20BLocal50,012 de 83
19Swift Flash Next IQ3_S + Pi (pasada inicial)Local, con Pi25,060 de 83

Las tres configuraciones resuelven completo el proyecto.

A: agéntica (10 % del total)

Mide si el modelo usa herramientas simuladas en el orden correcto. Es un solo ejercicio, con crédito parcial.

PuestoModeloTipoPuntaje de la serieComprobaciones aprobadas
1Swift Flash Next IQ3_S + Strata 0.2.10Local1009 de 9
2Swift Flash Next IQ3_SLocal99,38 de 9
2Swift 27B IQ3_SLocal99,38 de 9
2Qwen 3.8 Flash Next SC117 IQ3_XXSLocal99,38 de 9
2Qwen3.8-27B-GSQ-RCO IQ3_SLocal99,38 de 9
2GPT-6.1 TerraPago99,38 de 9
2Unsloth UD-IQ4_XS + Strata 0.2.10Local99,38 de 9
8Swift Flash Next IQ3_S + Pi (pasada inicial)Local, con Pi98,78 de 9
8Avalon IQ3_KS + AvalonLocal98,78 de 9
10Qwen 3.8 Flash Next SC117 IQ2_XSLocal97,77 de 9
11Swift Flash Next IQ3_S + Pi + Ponytail (combinado)Local, con Pi97,08 de 9
12GPT-6.1 SolPago96,38 de 9
12GPT-6.1 Sol + PiPago, con Pi96,38 de 9
14Gemma 26BLocal96,07 de 9
15GPT-OSS 20BLocal90,74 de 9
16Swift SC117 IQ3_XXSLocal76,07 de 9
17GPT-6 LunaPago75,37 de 9
18Claude Haiku 5.5Pago72,37 de 9
19GPT-OSS 20B + PiLocal, con Pi37,31 de 9

Swift + Strata es la única fila con nota máxima.

Visión (10 % del total)

Mide la lectura de imágenes (V01) y de boletas fotografiadas (N02).

PuestoModeloTipoPuntaje de la serieComprobaciones aprobadasFallas críticas
1GPT-6.1 Sol + PiPago, con Pi98,442 de 430
1Avalon IQ3_KS + AvalonLocal98,442 de 430
1Swift Flash Next IQ3_S + Strata 0.2.10Local98,442 de 430
4GPT-6.1 SolPago92,542 de 430
4Swift Flash Next IQ3_SLocal92,542 de 430
4Claude Haiku 5.5Pago92,542 de 430
4Qwen 3.8 Flash Next SC117 IQ2_XSLocal92,542 de 430
4Swift SC117 IQ3_XXSLocal92,542 de 430
4Swift 27B IQ3_SLocal92,542 de 430
4Qwen 3.8 Flash Next SC117 IQ3_XXSLocal92,542 de 430
4Qwen3.8-27B-GSQ-RCO IQ3_SLocal92,542 de 430
4Unsloth UD-IQ4_XS + Strata 0.2.10Local92,542 de 430
13GPT-6.1 TerraPago90,941 de 430
13Swift Flash Next IQ3_S + Pi + Ponytail (combinado)Local, con Pi90,941 de 430
13Swift Flash Next IQ3_S + Pi (pasada inicial)Local, con Pi90,941 de 430
16GPT-6 LunaPago74,239 de 431
17Gemma 26BLocal72,638 de 431
—GPT-OSS 20BLocalNo soportado——
—GPT-OSS 20B + PiLocal, con PiNo soportado——

Fallas críticas: casos de la serie en que falló una comprobación crítica.

Las tres aprueban 42 de 43, pero Unsloth tiene menor puntaje porque su fallo cae en las boletas, un ejercicio con menos comprobaciones y el mismo peso que V01.

L: lectura (5 % del total)

Mide si el modelo extrae con exactitud los datos de un organigrama de cinco tablas y responde preguntas sobre ellos.

PuestoModeloTipoPuntaje de la serieComprobaciones aprobadas
1GPT-6.1 SolPago100195 de 195
1Swift Flash Next IQ3_SLocal100195 de 195
1Claude Haiku 5.5Pago100195 de 195
1Qwen 3.8 Flash Next SC117 IQ2_XSLocal100195 de 195
1Swift SC117 IQ3_XXSLocal100195 de 195
1Swift 27B IQ3_SLocal100195 de 195
1GPT-6.1 TerraPago100195 de 195
1Qwen 3.8 Flash Next SC117 IQ3_XXSLocal100195 de 195
1Gemma 26BLocal100195 de 195
1GPT-6.1 Sol + PiPago, con Pi100195 de 195
1Swift Flash Next IQ3_S + Pi + Ponytail (combinado)Local, con Pi100195 de 195
1Swift Flash Next IQ3_S + Pi (pasada inicial)Local, con Pi100195 de 195
1Unsloth UD-IQ4_XS + Strata 0.2.10Local100195 de 195
1Avalon IQ3_KS + AvalonLocal100195 de 195
1Swift Flash Next IQ3_S + Strata 0.2.10Local100195 de 195
16Qwen3.8-27B-GSQ-RCO IQ3_SLocal96,7194 de 195
16GPT-OSS 20B + PiLocal, con Pi96,7194 de 195
18GPT-OSS 20BLocal93,3193 de 195
19GPT-6 LunaPago90,0192 de 195

Informativos: N13, N14 y M08

Estos tres ejercicios se ejecutan y se puntúan, pero no suman al total porque solo comprueban una parte de la tarea: N13, traducción al español de Chile; N14, reescritura formal de un mensaje a un cliente; M08, reglas de seguridad de una interfaz de administración.

PuestoModeloTipoN13N14M08PromedioTiempo total (min:s)
1GPT-6.1 Sol + PiPago, con Pi1001001001002:38
2GPT-6.1 SolPago1001001001002:39
3GPT-6.1 TerraPago66,710010088,90:41
4Swift SC117 IQ3_XXSLocal66,710010088,94:52
5Swift Flash Next IQ3_S + Strata 0.2.10Local66,710010088,95:28
6Swift 27B IQ3_SLocal66,710010088,96:22
7Swift Flash Next IQ3_SLocal66,710010088,96:46
8Gemma 26BLocal66,710010088,97:07
9Qwen 3.8 Flash Next SC117 IQ2_XSLocal66,710010088,913:06
10Swift Flash Next IQ3_S + Pi (pasada inicial)Local, con Pi10066,710088,9—
11GPT-6 LunaPago66,766,710077,80:35
12GPT-OSS 20BLocal33,310010077,81:56
13Claude Haiku 5.5Pago10033,310077,82:52
14Swift Flash Next IQ3_S + Pi + Ponytail (combinado)Local, con Pi66,766,710077,84:10
15Avalon IQ3_KS + AvalonLocal10033,310077,85:33
16Qwen3.8-27B-GSQ-RCO IQ3_SLocal66,766,710077,87:18
17Unsloth UD-IQ4_XS + Strata 0.2.10Local66,766,710077,89:07
18GPT-OSS 20B + PiLocal, con Pi66,766,710077,8—
19Qwen 3.8 Flash Next SC117 IQ3_XXSLocal66,7100055,66:20

Se ordenan por el promedio de los tres; si hay empate, va primero el más rápido. El tiempo es la suma de la inferencia de los siete casos; en dos configuraciones con Pi no hay un tiempo comparable y se indica con «—».

Velocidad, tiempos y tokens

Las filas anteriores conservan las cifras publicadas. En las tres filas nuevas, tokens y tiempo son la suma de los contadores del motor en las 49 tareas. Hay diferencias de contabilidad entre campañas, así que el orden general es orientativo.

Tokens generados

Los tokens de salida incluyen normalmente el razonamiento previo a la respuesta. La tabla va del que menos generó al que más generó.

ModeloTipoCasosTokens de salidaPromedio por caso
GPT-6 LunaPago4922 661462
GPT-6.1 TerraPago4924 942509
GPT-6.1 SolPago4940 527827
GPT-6.1 Sol + PiPago, con Pi4945 666932
GPT-OSS 20BLocal45116 6332 592
GPT-OSS 20B + PiLocal, con Pi45122 5862 724
Swift Flash Next IQ3_S + Pi + Ponytail (campaña original)Local, con Pi49148 5703 032
Swift 27B IQ3_SLocal49183 4423 744
Swift Flash Next IQ3_SLocal49192 2933 924
Qwen 3.8 Flash Next SC117 IQ3_XXSLocal49192 7293 933
Qwen3.8-27B-GSQ-RCO IQ3_SLocal49199 4104 070
Swift SC117 IQ3_XXSLocal49207 0994 227
Claude Haiku 5.5Pago49277 7805 669
Gemma 26BLocal49321 0576 552
Qwen 3.8 Flash Next SC117 IQ2_XSLocal49344 1177 023
Unsloth UD-IQ4_XS + Strata 0.2.10Local49361 7647 383
Swift Flash Next IQ3_S + Strata 0.2.10Local49376 3197 680
Avalon IQ3_KS + AvalonLocal49458 5389 358

Swift gastó 156 128 tokens solo en C03. Avalon IQ3_KS generó más tokens que Swift en 30 de los 49 casos.

Tiempos de respuesta

La tabla va del más rápido al más lento por tiempo total.

ModeloTipoCasosTiempo total de respuestaPromedio por caso
GPT-6 LunaPago490:04:515,9 s
GPT-6.1 TerraPago490:06:297,9 s
GPT-OSS 20BLocal450:12:5817,3 s
GPT-OSS 20B + PiLocal, con Pi450:14:1819,1 s
GPT-6.1 SolPago490:16:2120,0 s
GPT-6.1 Sol + PiPago, con Pi490:17:2521,3 s
Claude Haiku 5.5Pago490:21:2326,2 s
Swift Flash Next IQ3_S + Pi + Ponytail (campaña original)Local, con Pi490:50:2861,8 s
Qwen 3.8 Flash Next SC117 IQ3_XXSLocal490:50:5862,4 s
Swift SC117 IQ3_XXSLocal490:51:3363,1 s
Gemma 26BLocal490:52:2164,1 s
Swift Flash Next IQ3_SLocal490:53:5866,1 s
Swift 27B IQ3_SLocal490:56:1168,8 s
Qwen3.8-27B-GSQ-RCO IQ3_SLocal491:01:3675,4 s
Qwen 3.8 Flash Next SC117 IQ2_XSLocal491:16:2693,6 s
Swift Flash Next IQ3_S + Strata 0.2.10Local491:36:40118,4 s
Unsloth UD-IQ4_XS + Strata 0.2.10Local492:04:16152,2 s
Avalon IQ3_KS + AvalonLocal492:05:15153,4 s

Los tiempos de los servicios de pago incluyen la red y la cola del proveedor; no son comparables con los locales.

Velocidad de lectura y de generación (modelos locales)

La tabla va del modelo que más rápido lee al que más lento lee.

ModeloLectura (tok/s)Generación (tok/s)
GPT-OSS 20B4 658,3153,5
GPT-OSS 20B + Pi4 614,8152,0
Qwen 3.8 Flash Next SC117 IQ2_XS1 055,482,7
Swift Flash Next IQ3_S + Strata 0.2.10951,866,3
Swift SC117 IQ3_XXS943,178,2
Qwen 3.8 Flash Next SC117 IQ3_XXS915,773,7
Swift Flash Next IQ3_S844,969,3
Swift Flash Next IQ3_S + Pi + Ponytail737,068,5
Unsloth UD-IQ4_XS + Strata 0.2.10613,549,8
Gemma 26B499,4110,6
Qwen3.8-27B-GSQ-RCO IQ3_S292,961,5
Swift 27B IQ3_S280,762,7
Avalon IQ3_KS + Avalon223,065,5

La lectura de Avalon baja por los cuatro casos con imagen: sin ellos lee a 551,6 tok/s, frente a 869,8 de Swift y 556,0 de Unsloth. En imágenes, los motores no leen la misma cantidad de tokens y la visión corre por CPU, así que esa cifra no mide lo mismo. Swift genera 33 % más rápido que Unsloth en el mismo motor, aunque Unsloth usa un `top_p` distinto y un pack hecho a mano. El detalle de velocidad, con las pruebas de control, está en la nota de los motores.

Qué significa para elegir

  • Ninguna de las tres gana en todo. Unsloth rinde mejor en oficina, Swift en agéntica y en la velocidad con su motor, y Avalon empata en oficina, pero pierde un caso de programación.
  • Fallan cosas distintas. Las tres tienen 6 fallos en casos que puntúan, y Swift e IQ3_KS coinciden solo en dos. Un solo caso puede mover varios puntos.
  • Estos resultados son para esta máquina. Conviene probar con casos propios y mantener revisión humana en cifras, normativa y seguridad.

Limitaciones

  • Una sola pasada, con temperatura mayor que cero. Diferencias de uno o dos puntos pueden ser ruido.
  • Filas de dos rondas. Las 14 anteriores corrieron antes, con otra versión de la batería y, en algunos casos, de los motores.
  • Pack de Unsloth. Usa `--compat-bf16`, que según las notas de Strata puede restarle calidad en AMD. No medimos ese efecto. El modelo ya no está en la máquina, así que repetir sus cifras exige descargarlo de nuevo.
  • Rechazos. La batería no los mide, aunque Swift sea una versión abliterated.
  • Pesos. Los pesos de las series son decisión de ITLab, y los de C, M, A, Visión y L los fijaron los autores del test.

Preguntas frecuentes

¿Unsloth superó a GPT-6.1 Sol? En esta tabla queda 0,3 puntos sobre Sol + Pi y 0,9 sobre Sol, con una pasada y en rondas distintas. Es un empate técnico, no una ventaja demostrada.

¿Por qué Avalon IQ3_KS queda noveno si empata arriba en oficina? Por C03, que vale 6 puntos del total. Su código Rust no compila. Con ese caso aprobado sumaría 96,5.

¿Cambió el test respecto de los informes anteriores? Agrega 8 puertas de formato, que no suman puntos. Las 54 comprobaciones de oficina, las 418 de fondo y los pesos son los mismos.

¿Qué es mejor, Strata o Avalon? Estos datos no lo dicen, porque IQ3_KS solo carga en Avalon. Nuestra experiencia con ambos está en esta nota.

Fuentes

Contacto

Si su organización evalúa adoptar IA, local o de pago, ITLab puede ayudarle a elegir el modelo según su tipo de trabajo y a probarlo con sus casos reales. Contáctenos.


El Banco ITLab es un instrumento vivo, en perfeccionamiento continuo. Las conclusiones expresan el criterio de ITLab a partir de sus propias mediciones.

¿Necesitas a alguien que se haga cargo de tu tecnología?

Cuéntanos qué necesitas ordenar, proteger o resolver. La primera conversación no tiene costo: evaluamos si nuestro modelo te sirve y cuáles serían los siguientes pasos.

Conversemos sobre tu empresa