Swift 27B frente a dos Flash Next en el Banco IT Lab

Medimos tres modelos de IA local con la misma batería de trabajo real, en el mismo equipo. Ninguno gana en todo; cada uno destaca en algo distinto.

• Swift Flash Next obtuvo los mejores resultados en programación y en razonamiento documental, y fue el único que superó el proyecto de software más exigente.
• Swift 27B terminó la batería en menos tiempo, generó texto más rápido y logró puntaje completo en la serie agéntica.
• Los tres empataron en lectura de documentos y en visión, y los tres mostraron el mismo punto débil: salidas estructuradas que no siempre respetan el formato pedido.

Qué se comparó y por qué importa

El Banco IT Lab es nuestro test propio para evaluar IA local en tareas reales de oficina, desarrollo y análisis. En esta edición vigente del banco comparamos Swift 27B, Swift Flash Next y ThinkingCap Flash Next en tres campañas: 51 casos por modelo, 153 en total, con 195 llamadas reales de generación.

Todos corrieron con la misma tarjeta gráfica de 16 GiB. La RAM instalada del equipo fue de 32 o de 80 GB según la prueba, por eso este informe habla de la RAM usada y no de la capacidad. Es hardware al alcance de una empresa mediana chilena, y la razón de fondo de este trabajo es simple: un modelo local procesa contratos, planillas o código sin que esos datos salgan de la organización. Cada modelo se evaluó con su mejor configuración documentada y con razonamiento en nivel medio.

Resultados por familia de pruebas

En programación, el fallo de Swift 27B fue en pruebas y el de ThinkingCap fue de compilación. Un tercer ejercicio de proyecto solo midió entrega e integración, sin juez funcional completo, por lo que no aparece como aprobado o reprobado. Los controles de redacción y parte de la serie de razonamiento requieren además revisión humana, aún pendiente: esas cifras son del juez automático.

No existe una nota global única. Preguntas, contratos de software, celdas y puntos ponderados no pesan lo mismo y no se suman entre sí.

Fallos y patrones

Los tres modelos compartieron los mismos tipos de error, aunque en proporciones distintas:

• Formato de salida. Varias entregas llegaron con estructuras inválidas o con tipos de dato distintos de los pedidos. En un proceso automatizado, eso basta para que la respuesta se descarte.
• Trazabilidad. En tareas con fuentes, los modelos atribuyeron hechos a referencias que no los respaldaban o entregaron cifras cuando lo correcto era abstenerse.
• Ambigüedad. Ante instrucciones contradictorias, a veces eligieron la lectura menos segura o no marcaron la incertidumbre.
• Razonamiento sin respuesta. En una entrega, Swift 27B consumió toda su generación en razonamiento y dejó la respuesta final vacía. Se contó como fallo.

Velocidad, contexto y memoria

La lectura global de Swift 27B baja por las tareas con imágenes; en los ejercicios de programación, que son solo texto, leyó a 919,6 tok/s, frente a 268,6 y 211,4 de los Flash Next. La velocidad no dice nada sobre la calidad del código.

Los tres usaron predicción especulativa de tokens. Según los tokens propuestos y aceptados del informe, la aceptación fue de cerca de 82 % en Swift 27B, 70 % en Swift Flash Next y 78 % en ThinkingCap (cálculo nuestro sobre esas cifras). Es una métrica de eficiencia, no de respuestas correctas.

En memoria de la tarjeta, los tres trabajaron al límite: picos de 15,4 a 15,7 GiB de VRAM usada, con menos de 500 MiB libres en el punto más bajo. En RAM, con los Flash Next cargados el uso total, incluido el sistema, superó los 70 GB; con Swift 27B la RAM disponible mínima fue de 37,9 GiB. El muestreo incluye el escritorio y otras aplicaciones, de modo que son cifras de uso en condiciones reales y no de consumo aislado del modelo.

Qué recomienda IT Lab

Es criterio profesional de IT Lab, basado en esta medición; no es una certificación ni una recomendación de compra.

1. Elegir por tipo de trabajo, no por ranking. Para desarrollo de software y análisis documental, Swift Flash Next mostró el mejor resultado de esta pasada. Para flujos agénticos o donde el tiempo total pesa más, Swift 27B es la opción más ágil.
2. Validar siempre el formato. Cualquier integración que reciba datos estructurados de un modelo local debe comprobar el esquema antes de usarlos.
3. Mantener revisión humana en textos con fuentes, citas normativas o compromisos hacia clientes.
4. Dimensionar con holgura. Con 16 GiB de VRAM, los tres modelos quedan al borde, y los Flash Next requieren además una RAM generosa (sobre 70 GB en uso conjunto con el sistema). Conviene reservar el equipo para el modelo y no compartirlo con otras cargas pesadas.

Limitaciones y alcance

• Una sola pasada por modelo. No hay significancia estadística ni un ganador universal.
• Pasada oficial separada de diagnósticos. Las tablas cubren solo la pasada oficial. Los barridos de parámetros anteriores y los controles del arnés no suman casos ni puntos.
• Reanudaciones. La campaña de Swift 27B corrió en dos tramos. El segundo conservó los resultados del primero y reutilizó una respuesta ya generada, sin volver a generarla. Para los Flash Next, la serie agéntica se completó en una ejecución posterior y los controles de redacción se volvieron a juzgar sobre las mismas respuestas.
• Correcciones. Los tiempos acumulados se calculan sobre el total comparable de cada modelo, y para las entregas reproducidas se usa su tiempo original. También se corrigieron contratos del arnés antes de esta pasada.
• Límites de comparación. Los perfiles difieren en motor, cuantización, contexto y ajustes de muestreo: se comparan perfiles de uso, no el efecto aislado del tamaño. No se probó concurrencia ni el uso del contexto completo de 262 144 tokens. El tiempo hasta el primer token y los datos térmicos no se midieron de forma homogénea.
• Tope de VRAM. Esta campaña operó cerca del máximo de la tarjeta, lo que condiciona las velocidades observadas.
• Razonamiento. Todo se midió con razonamiento medio. Un modo «razonamiento desactivado» no significa lo mismo en cada familia de modelos y no se compara.

Preguntas frecuentes

¿Cuál de los tres conviene para una pyme? Depende de la carga. Swift Flash Next rindió mejor en programación y documentos; Swift 27B fue más rápido y completo en tareas agénticas. Lo recomendable es probar con datos propios.

¿Basta una tarjeta de 16 GiB? Para la tarjeta, sí, pero sin margen: el uso de VRAM llegó casi al tope en todas las campañas. En RAM, los Flash Next piden mucho más que Swift 27B (sobre 70 GB en uso total con el sistema).

¿Son definitivos estos resultados? No. Corresponden a una pasada por modelo en la edición vigente del banco, con revisión humana pendiente en algunas pruebas.

Contacto

Si su organización evalúa adoptar IA local con datos que no salen de casa, el equipo de IT Lab puede ayudarle a definir pruebas con su propio trabajo. Contáctenos.

El Banco IT Lab es un instrumento vivo, en perfeccionamiento continuo. Parte de las mediciones proviene de versiones previas del instrumento y de modelos de generaciones anteriores, y algunas cifras pueden contener imprecisiones que se corrigen en cada nueva edición. Las conclusiones expresan el criterio de IT Lab a partir de sus propias mediciones.