Avalon y Strata en 16 GB: nuestra experiencia
Probamos Avalon y Strata 0.2.10 con Qwen3.8 Flash Next en una tarjeta de 16 GB: qué funcionó, qué costó, velocidades reales y cuánto fiarse de una medición.
Usamos Avalon y Strata 0.2.10 con Qwen3.8 Flash Next en una RX 9070 XT de 16 GB, el 4 y 5 de noviembre de 2026. Strata nos dio menos fricción y funcionó con los dos modelos que le pasamos. Avalon anduvo con su propio modelo, pero pidió ajustes manuales y, con los hilos por defecto, no entregó más velocidad sostenida. Es lo que vivimos en esta máquina, no un veredicto sobre los motores.
- Velocidad sostenida parecida. En 49 tareas, Swift en Strata generó 66,26 tok/s e IQ3_KS en Avalon 65,46, con los hilos por defecto.
- Avalon falló con Swift. Abortó en la primera tarea, y no identificamos la causa. Con su modelo IQ3_KS completó la batería sin abortos.
- Una sola corrida engaña. La misma tarea, con la misma configuración, dio 68,92 y 88,43 tok/s.
- El puntaje está aparte. El ranking completo está en Unsloth y Avalon IQ3_KS en el Banco ITLab.
Comparación general
Las versiones son Strata 0.2.10 (motor 0.1.56) y Avalon en el commit 16de68d28.
| Strata 0.2.10 | Avalon | |
|---|---|---|
| Instalación | Motor precompilado, con hash verificado | Compilado desde el código fuente con ROCm para gfx1201 |
| Modelos que completaron la batería | Swift y Unsloth | IQ3_KS, el único que le corrimos completo |
| Swift | Batería completa, 94,7 puntos | Abortó en la primera tarea |
| Unsloth | Batería completa, 95,9 puntos, con un pack hecho a mano | 7 de 7 en la única tarea probada, dos veces |
| IQ3_KS | No carga | Batería completa, 90,5 puntos |
| Ajustes para esta tarjeta | Contexto de 262 144 con reserva de 1 800 MiB | IQ3_KS: lote de 4608 y reserva de 1 024 MiB. Swift: `GGML_CUDA_MOE_CACHE_MIN_EXPERT_KB=256` |
| Pico de VRAM en la batería | 14,30 y 14,35 GiB | 15,06 GiB |
| Carga del modelo | 40 s (Swift) y 70 s (Unsloth) | Entre 30 y 55 s |
| Errores de infraestructura en las baterías | 0 en dos baterías | 0 en una batería |
Lo que costó en Avalon
- Con Swift no funcionó. Sin el ajuste documentado, Swift aborta al cargar. Con el ajuste cargó, leyó el prompt y abortó tras unos 183 tokens generados. No identificamos la causa exacta, así que no la atribuimos a Swift ni a Avalon.
- La configuración publicada no nos cargó con contexto de 262 144. Con `-ub 9536`, IQ3_KS se quedó sin memoria al cargar. El proceso quedó colgado reteniendo la VRAM y hubo que matarlo a mano. Lo resolvimos con una reserva de 1 024 MiB, como en el issue #14 del proyecto, y un lote de 4608. Con Unsloth, en cambio, Avalon bajó solo a 4608.
- Un valor significa otra cosa. Con `reasoning_budget_tokens=0` Avalon no razona; en Strata, 0 significa sin tope.
- Su modelo no trae visión. El repositorio de IQ3_KS no incluye proyector, así que usamos el de Unsloth.
- Lo que sí anduvo. IQ3_KS completó las 49 tareas y las cuatro pruebas posteriores, sin abortos.
Lo que costó en Strata
- Unsloth exigió trabajo manual. El instalador de Strata 0.2.10 fija una versión anterior del modelo, así que armamos el pack con `tools/iq_pack.py --compat-bf16`. Según las notas de Strata, eso sube la perplejidad 6 a 9 % en AMD. Puede haberle restado calidad y velocidad a Unsloth, pero no lo medimos.
- La versión nueva no aceleró a Swift. En 29 tareas con tokens parecidos, 0.2.10 da 67,30 tok/s de reloj y la campaña anterior, en 0.2.5, 68,31. La lectura subió 3,3 %. Son diferencias chicas, y las baterías no son iguales.
- Hay una deuda pendiente. La visión por GPU en 0.2.10 quedó configurada, pero sin probar. En estas pruebas la visión corrió por CPU.
Velocidad
Cada cifra es la suma de tokens dividida por la suma de tiempos del motor, no un promedio por tarea. «Parecidas» son tareas sin imagen en que ambas configuraciones generaron una cantidad de tokens similar (±25 %), y cada comparación usa su propio grupo.
| Grupo | Swift + Strata | Unsloth + Strata | IQ3_KS + Avalon |
|---|---|---|---|
| Las 49 tareas | 66,26 | 49,79 | 65,46 |
| Sin imagen (45) | 66,26 | 49,78 | 65,53 |
| Sin imagen ni C03 (44) | 66,20 | 49,93 | 65,63 |
| Parecidas, Swift e IQ3_KS (19) | 63,34 | — | 66,86 |
| Parecidas, Swift y Unsloth (19) | 64,16 | 50,72 | — |
Con la lectura incluida, en los 19 casos parecidos entre Swift e IQ3_KS quedan 61,26 y 62,58 tok/s. La velocidad de esos dos paquetes es muy parecida en esta máquina, y la ventaja cambia de lado según el grupo. Swift genera 33 % más rápido que Unsloth en el mismo motor, aunque Unsloth usa el pack manual y un `top_p` distinto.
Lo publicado por Avalon. Su README anuncia 98 tok/s en una RX 7900 XT de 20 GB, con prompt corto, decodificación codiciosa y 512 tokens. Nuestras condiciones son otras, así que no lo contradecimos ni lo confirmamos.
Lo informado en el issue #14. En el issue #14, un usuario con esta misma tarjeta informa que `GGML_CUDA_MOE_HOSTED_THREADS=2` casi duplica su generación, de unos 41 a entre 73 y 82 tok/s. El autor del proyecto dice que unos 40 tok/s no es lo esperado y cita unos 78 tok/s en su tarjeta limitada a 16 GB. Nuestra batería corrió con los hilos por defecto, y partimos de 65 tok/s sostenidos. Con 2 hilos solo probamos una tarea, sin un aumento que supere la variación entre corridas: 82,27 tok/s con IQ3_KS y 57,87 con Unsloth. No sabemos cuánto rendiría IQ3_KS con 2 hilos en la batería completa.
Lectura
| Tamaño del prompt, sin imagen | Strata | Avalon |
|---|---|---|
| Bajo 1 000 tokens | 438 | 182 |
| De 1 000 a 3 999 | 833 | 844 |
| Desde 4 000 | 1 091 | 659 |
Las cifras son tok/s. Strata leyó más rápido los prompts cortos y los largos, y en los medianos empataron. En los cuatro casos con imagen, Avalon marca 61,4 tok/s y Strata 1 599,4 con Swift, y sumaron 342 s de lectura contra 14 s. Ese dato no prueba que Avalon lea imágenes lento: los motores no leen la misma cantidad de tokens y el valor puede incluir el procesamiento por CPU. No resolvimos tampoco el efecto de `-ub 4608` en la lectura de Avalon.
El único cara a cara con el mismo modelo
Unsloth es el único modelo que corrió en ambos motores, y solo en la tarea `n01-a`.
| Corrida | Generación (tok/s) | Lectura (tok/s) | Tokens | Pico de VRAM (GiB) |
|---|---|---|---|---|
| Strata 0.2.10 | 65,00 | 1 544,6 | 21 637 | no aislado |
| Avalon, por defecto | 55,90 | 823,0 | 29 258 | 15,65 |
| Avalon, 2 hilos | 57,87 | 1 085,8 | 18 723 | 15,64 |
Strata fue más rápido en estas corridas, y las tres aprobaron 7 de 7. Es una sola tarea, así que es un indicio y no una medición del motor.
Cuánto se puede confiar en una medición
Repetimos `n01-a` con IQ3_KS en Avalon, primero sin cambios y después con tres ajustes.
| Corrida | Generación (tok/s) | Tokens | Lectura (tok/s) | Aceptación MTP | Pico de VRAM (GiB) |
|---|---|---|---|---|---|
| Batería, sin cambios | 88,43 | 19 926 | 966,3 | 0,904 | no aislado |
| Control, sin cambios | 68,92 | 17 639 | 977,3 | 0,905 | 15,03 |
| 2 hilos | 82,27 | 21 224 | 1 153,7 | 0,938 | 15,03 |
| Prefetch 6 | 90,13 | 17 627 | 1 182,0 | 0,889 | 15,91 |
| Contexto 131 072 | 92,97 | 14 203 | 1 213,6 | 0,916 | 15,02 |
Las dos primeras filas son la misma tarea y la misma configuración, con aceptación casi igual, y difieren 28 %. No sabemos por qué. Las corridas con ajuste quedaron casi dentro de esa variación, y cada una se hizo una vez, en orden fijo y sin alternar. Por eso no sirven para decir que un ajuste acelera a Avalon. El prefetch 6 además pasó el límite de 15,5 GiB que usamos en la prueba.
La lección sirve para cualquier motor: una cifra alta aislada no resume el uso real. En esta tarea IQ3_KS llegó a 88,43 y 92,97 tok/s, y en las 49 tareas sostuvo 65,46.
Qué concluimos
En esta máquina, Strata nos dio el camino con menos fricción. Avalon es viable con su propio modelo, pero en 16 GB pide ajustes manuales. Esto no permite decir que un motor sea mejor en general: IQ3_KS solo carga en Avalon, cada paquete tiene ajustes distintos y nuestros 65,46 tok/s son con los hilos por defecto. La referencia publicada de Avalon usa una tarjeta de 20 GB, que aquí no teníamos, y su autor cita unos 78 tok/s en su tarjeta limitada a 16 GB.
Límites
- Una pasada por batería. Las diferencias de velocidad chicas no son concluyentes.
- Modelos distintos. Salvo la tarea `n01-a` con Unsloth, comparamos paquetes de modelo más motor.
- Condiciones. RX 9070 XT de 16 GB, Ryzen 7 5700X, 94 GB de RAM, CPU limitada a 80 % y escritorio en uso normal.
- Sin resolver. La causa del aborto con Swift, la diferencia de 28 % entre corridas iguales y el efecto de `-ub 4608` en la lectura.
Preguntas frecuentes
¿Avalon es más rápido que Strata? En esta tarjeta y con los hilos por defecto, no en velocidad sostenida: 65,46 tok/s con IQ3_KS frente a 66,26 de Swift en Strata. Su cifra publicada de 98 tok/s usa otra tarjeta y otras condiciones, que no probamos, y su autor cita unos 78 tok/s en su tarjeta limitada a 16 GB.
¿Avalon funciona con cualquier modelo Flash Next? Con su IQ3_KS completó la batería y Unsloth anduvo en la única tarea probada, pero Swift abortó y no identificamos la causa.
¿Se puede usar Avalon con 16 GB? Sí, con su modelo y bajando el lote a 4608 y la reserva a 1 024 MiB. La configuración publicada no nos cargó con contexto de 262 144.
¿Qué ajuste recomiendan para acelerar Avalon? Ninguno. Una corrida sin cambios dio 68,92 y otra 88,43 tok/s, y los ajustes quedaron casi dentro de esa variación. Como propuesta nuestra, no como resultado medido: `GGML_CUDA_MOE_HOSTED_THREADS=2` es lo primero que probaríamos con esta tarjeta, por lo informado en el issue #14, aunque a nosotros no nos dio una mejora demostrable.
Fuentes
- Strata, motor usado en las configuraciones de Swift y Unsloth (versión 0.2.10).
- Avalon, motor usado con IQ3_KS (commit 16de68d28).
- Qwen3.8 Flash Next Avalon GGUF, repositorio del modelo IQ3_KS.
- Unsloth, Qwen3.8 Flash Next GGUF, repositorio de UD-IQ4_XS y del proyector de visión.
- README de Avalon, con la cifra de 98 tok/s y sus condiciones.
- Issue #14 de Avalon, sobre la RX 9070 XT de 16 GB.
Contacto
Si su organización evalúa montar IA local, ITLab puede ayudarle a dimensionar el equipo y a probar modelos y motores con sus casos reales. Contáctenos.
Las conclusiones expresan el criterio de ITLab a partir de sus propias mediciones, en esta máquina y con estas versiones.
¿Necesitas a alguien que se haga cargo de tu tecnología?
Cuéntanos qué necesitas ordenar, proteger o resolver. La primera conversación no tiene costo: evaluamos si nuestro modelo te sirve y cuáles serían los siguientes pasos.
Conversemos sobre tu empresa