Configurar un modelo local pesa tanto como elegirlo

Con el mismo archivo de modelo, el Banco IT Lab midió diferencias de velocidad y de aprobación atribuibles solo a la configuración. A juicio de IT Lab, comparar modelos con una configuración genérica mide el montaje más que al modelo.

• El mismo modelo pasó de 30,3 a 54,6 tok/s y ocupó 13,3 GB de memoria de la tarjeta al cambiar solo la configuración del motor de inferencia.
• Dos modelos que no superaban el criterio con el razonamiento desactivado lo superaron al permitirles razonar, a costa de muchos más tokens y segundos.
• La configuración que sirve para un modelo y una tarea no se traslada sin medir; por eso se documenta por modelo y por tarea.

La pregunta de negocio

Una empresa que adopta IA local decide con dos datos: si el modelo termina la tarea y cuánto tarda. Ambos dependen del modelo y de cómo se lo ponga a trabajar. Si la evaluación no declara la configuración, la empresa no puede saber si un mal resultado es del modelo o del montaje, ni qué esperar al replicarlo en su propio equipo.

Qué mide la comparación y por qué representa trabajo real

El protocolo del banco exige investigar la documentación de cada modelo y darle su mejor oportunidad: sus mejores parámetros y su mejor forma de instrucción. Es un criterio de evaluación equitativa y a la vez, un hallazgo práctico. Las mediciones de esta pieza aíslan una sola variable cada vez, el archivo del modelo es el mismo, y se refieren a dos cosas que una empresa percibe directamente: la velocidad con que responde el modelo y si completa una tarea agéntica (encontrar una respuesta con herramientas y entregarla) sin intervención humana.

Cómo se aprueba

La velocidad y la memoria son las registradas por el servidor de inferencia. La aprobación la decide el juez automático y fijo del banco: programas deterministas, sin un modelo evaluando a otro, con el umbral fijado antes de la corrida. Los diagnósticos de esta pieza se rotulan como tales y no se mezclan con la pasada oficial.

Resultados

Velocidad: la misma tarjeta, cuatro configuraciones

Modelo Qwen3.8-27B-GSQ-RCO, cuantización de 3 bits, en el equipo de pruebas de IT Lab. Medición de generación y memoria; las configuraciones del motor se rotulan de forma genérica.

La configuración optimizada fue la más rápida y a la vez, la que menos memoria ocupó. A juicio de IT Lab, el resultado importa por la memoria: con la caché sin cuantizar, la decodificación especulativa dejaba al modelo en el límite de la tarjeta, y solo con la caché cuantizada la combinación cabía con margen. Con la configuración de referencia, el modelo habría parecido lento por causa del montaje y no por sus propias capacidades.

Más borrador especulativo no implica más velocidad

La decodificación especulativa propone varios tokens por adelantado y el modelo confirma cuáles acepta. En el banco, aumentar cuánto se propone por adelantado no mejoró la velocidad de forma continua: pasado un punto intermedio, la tasa de aceptación cae y la velocidad también. El punto óptimo dependió del modo de trabajo del modelo, y la velocidad registrada varió con él. Por eso el banco declara la tasa de aceptación junto con la velocidad, y no compara cifras de velocidad medidas en condiciones de muestreo distintas.

Aprobación: permitir razonar cambia el resultado y tiene un costo

Diagnóstico, no pasada oficial. Prueba agéntica, razonamiento desactivado frente a razonamiento medio; los puntajes son sobre 100.

En ambos modelos el puntaje desactivado quedó por debajo del umbral; con razonamiento, lo superaron. El patrón que IT Lab observa es que razonar repara errores de cálculo concreto. El costo es proporcional: el modelo más pequeño necesitó 688,6 s para lo que antes resolvía, sin superarlo, en 17,6 s. Si la tarea es interactiva, esa diferencia puede descartar la opción; si corre por lotes, puede ser aceptable.

El interruptor de razonamiento no es homogéneo entre familias

"Razonamiento desactivado" no significa lo mismo en todos los modelos. En el diagnóstico, algunos modelos no generaron tokens de razonamiento; otros produjeron el mismo razonamiento con el interruptor encendido y apagado; y uno sin control alguno gastó 4.910 tokens de razonamiento en una pasada rotulada como sin razonar. Los niveles intermedios tampoco existen en todas las familias: un modelo rechazó el nivel más alto con error, y otros solo distinguen entre encendido y apagado. Por eso el banco no compara ese nivel entre familias, y un aumento de nivel no implica un aumento parejo de gasto de razonamiento. Además, si el límite de salida es bajo, el razonamiento consume el presupuesto y la respuesta llega vacía; el protocolo ajusta el límite de salida en consecuencia.

Qué implica para una empresa chilena

• Antes de comparar dos modelos, comparar las condiciones: motor, memoria disponible, modo de razonamiento y límite de salida. Una diferencia de velocidad o de aprobación entre dos informes sin esa información no es comparable.
• Documentar la configuración por modelo y por tarea. Una configuración que superó una tarea no garantiza otra, ni la de otro modelo, y un resultado antiguo no se traslada a una configuración nueva sin repetir la medición.
• Decidir con el costo del razonamiento a la vista: más puntaje puede significar decenas de veces más tiempo por respuesta. Qué tarea lo admite es una decisión de negocio, no del modelo.

Preguntas frecuentes

¿Por qué importa la configuración de un modelo local? El mismo modelo pasó de 30,3 a 54,6 tok/s y ocupó 13,3 GB de memoria de la tarjeta al cambiar solo la configuración del motor de inferencia.

¿Activar el razonamiento mejora el resultado? Dos modelos que no superaban el criterio con el razonamiento desactivado lo superaron al permitirles razonar, a costa de muchos más tokens y segundos.

¿Sirve copiar la configuración de otro modelo? La configuración que sirve para un modelo y una tarea no se traslada sin medir; por eso se documenta por modelo y por tarea.

¿Cuánto cuesta una IA local? El banco no mide costos. Operar IA local implica costos reales (energía, inversión inicial en hardware, mantención y tiempo) y a juicio de IT Lab, los precios actuales de los servicios de pago pueden no reflejar su costo real.

Limitaciones y alcance

• Una sola pasada por modelo y caso, salvo que se indique otro número; las diferencias pequeñas son ruido.
• La velocidad se midió con una configuración de contexto y de muestreo; las cifras no se mezclan entre condiciones distintas.
• Los diagnósticos de razonamiento son sondas separadas de la pasada oficial.
• "Razonamiento desactivado" no es homogéneo entre familias de modelos: no comparar esos niveles entre familias.
• El banco no mide costos. Operar IA local implica costos reales (energía, inversión inicial en hardware, mantención y tiempo) y a juicio de IT Lab, los precios actuales de los servicios de pago pueden no reflejar su costo real.
• Medición de IT Lab sobre un único equipo; no es una recomendación de compra ni una certificación.

Ficha de medición

• Equipo: las mediciones se realizaron en un equipo que IT Lab definió y armó específicamente para pruebas: procesador Ryzen 7 5700X, 31 GiB de RAM y una tarjeta gráfica AMD Radeon RX 9070 XT de 16 GiB, con Linux. La tarjeta se eligió por ser hoy la opción más asequible con buena relación costo-beneficio que una empresa pequeña puede comprar. Los modelos evaluados cuentan con versiones optimizadas para tarjetas NVIDIA, por lo que se espera que el patrón general sea comparable en ese hardware; las cifras publicadas corresponden a este equipo.
• Cuantización: de 3 o 4 bits, según el modelo.
• Pasadas: según cada medición, declaradas en el texto.
• Banco IT Lab, edición 1.

Informe técnico relacionado: Informe técnico: operar IA local en 16 GB

Método completo del banco: Cómo evalúa IT Lab un modelo de IA local

Contacto: IT Lab evalúa modelos de IA local para organizaciones chilenas con sus propios documentos y datos. Conversemos

El Banco IT Lab es un instrumento vivo, en perfeccionamiento continuo. Parte de las mediciones proviene de versiones previas del instrumento y de modelos de generaciones anteriores, y algunas cifras pueden contener imprecisiones que se corrigen en cada nueva edición. Las conclusiones expresan el criterio de IT Lab a partir de sus propias mediciones.