Hardware de pyme para IA local con 16 GB

Una tarjeta gráfica de 16 GiB permite a una pyme operar modelos de 12B a 35B cuantizados, pero la velocidad con un contexto muy lleno cae de forma marcada. Esta pieza reúne lo que el Banco IT Lab midió sobre ese límite y los criterios de dimensionamiento que IT Lab deriva de ello.

• De 15,922 GiB nominales, 14,242 GiB resultaron utilizables una vez reservado el margen para el sistema.
• La lectura de un contexto largo es rápida hasta cerca de 50.000 tokens y luego se desploma; con 80K a 110K tokens ocupados, la generación baja de 36-43 a 7,5-14 tok/s.
• Todo se midió con un modelo cargado a la vez; la atención de varios usuarios simultáneos no está medida.

La pregunta de negocio

Una empresa chilena que quiere mantener documentos y datos dentro de su red necesita saber qué hardware compra y qué trabajo podrá encargarle. La ficha técnica de una tarjeta informa su memoria nominal y la ficha de un modelo informa la ventana de contexto que soporta; ninguna de las dos dice a qué velocidad trabaja el conjunto cuando la ventana se llena. Esa es la cifra que decide si un proyecto de IA local es viable en hardware accesible, y es la que el banco mide.

Qué mide el banco y por qué representa trabajo real

El banco registra, por el servidor de inferencia, la velocidad de lectura del contexto (el tiempo que tarda el modelo en procesar un documento antes de responder), la velocidad de generación y la memoria ocupada. Las pruebas de contexto largo usan documentos reales completos, prearmados de una sola pieza y con conteo de tokens, no un llenado artificial por tramos: 79.964, 109.874, 198.270, 227.733 y 247.581 tokens. Representan el trabajo de oficina que una empresa quiere delegar, como leer un contrato extenso, un expediente o un conjunto de actas.

Cuando un modelo no cabe bajo el tope de memoria de la tarjeta, el protocolo mide el contexto máximo que admite en lugar de excluirlo, y lo documenta. El margen de memoria se calibra contra el estado real del equipo, para no descartar configuraciones viables por un límite mal fijado.

Cómo se registran las velocidades

Las velocidades se registran con tarea nueva y cuando se usa decodificación especulativa, se declara la tasa de aceptación, porque el contenido repetido puede inflar la cifra. En las corridas con contexto largo, la tasa de aceptación estuvo entre 33 y 61 %. Las cifras de velocidad con contexto largo y las de contexto corto no se mezclan en una misma comparación.

Resultados

Qué cabe en la tarjeta

De los 15,922 GiB nominales de la tarjeta quedan 14,242 GiB utilizables, porque una parte se reserva como margen para el sistema. Dentro de ese presupuesto, a juicio de IT Lab, caben:

• Modelos de 12B a 35B cuantizados, con un contexto de trabajo de 64K a 131K tokens.
• Un techo teórico de contexto de 262.144 tokens en cuatro de los modelos evaluados.
• Velocidad de 40 a 172 tok/s con contexto corto, según el modelo.

Soportar un contexto largo no es trabajar bien con él

"Soporta 128K tokens" y "trabaja a buena velocidad con 128K tokens" son afirmaciones distintas. El banco midió la segunda:

Leyenda: una pasada por medición; Banco IT Lab, edición 1; el tope de memoria de la tarjeta es el descrito en la ficha.

La lectura mantiene su ritmo hasta cerca de 50.000 tokens y de ahí en adelante no se recupera: es una caída abrupta, no una pendiente gradual. La causa es probable, no confirmada: se agotaría lo que cabe en la memoria de la tarjeta y el resto de la memoria de atención pasaría a la RAM del sistema, mucho más lenta. La cifra, en cambio, está medida y se reporta tal cual.

Un modelo a la vez

Todas las mediciones se hicieron con un solo modelo cargado, en serie. El banco no midió cuántas consultas por hora sostiene el equipo con varios usuarios. Por eso no hay en esta pieza una cifra de capacidad para toda la empresa ni un compromiso de nivel de servicio. Tampoco se evaluó mantener dos modelos cargados a la vez en 16 GiB, y la edición 1 no lo respalda.

Qué implica para una empresa chilena

Estas recomendaciones de dimensionamiento son criterio de IT Lab basado en sus mediciones.

• Automatizar con esta clase de hardware. Trabajos acotados sobre documentos de extensión media: extraer datos, buscar un dato concreto, completar una base de código existente. Caben bien dentro del presupuesto de memoria y se ejecutan a velocidad útil.
• Revisar o dimensionar con más cuidado. Cualquier flujo que dependa de leer documentos de más de unos 50.000 tokens o de mantener una conversación larga con el contexto lleno. La respuesta llega, pero en tiempos que pueden hacerlo impracticable para uso interactivo. Una alternativa es dividir el documento y trabajar por partes.
• No prometer. Atención de varios usuarios a la vez sobre un único equipo de 16 GiB. Antes de comprometerlo, corresponde medir con la carga real de la organización.
• Qué comprar. La tarjeta del banco se eligió por su relación costo-beneficio para una pyme. Cómo se comportaría una tarjeta de mayor capacidad no está medido en esta edición y no se afirma.

Al evaluar un proveedor o un producto, a juicio de IT Lab conviene exigir la velocidad con el contexto lleno y no solo la ventana máxima declarada.

Preguntas frecuentes

¿Qué hardware necesita una pyme para IA local? Una tarjeta gráfica de 16 GiB permite operar modelos de 12B a 35B cuantizados.

¿Qué pasa con documentos largos? La lectura de un contexto largo es rápida hasta cerca de 50.000 tokens y luego se desploma; con 80K a 110K tokens ocupados, la generación baja de 36-43 a 7,5-14 tok/s.

¿Sirve para varios usuarios a la vez? Todo se midió con un modelo cargado a la vez; la atención de varios usuarios simultáneos no está medida.

¿Cuánto cuesta una IA local? El banco no mide costos. Operar IA local implica costos reales (energía, inversión inicial en hardware, mantención y tiempo) y a juicio de IT Lab, los precios actuales de los servicios de pago pueden no reflejar su costo real.

Limitaciones y alcance

• Una sola pasada por medición; las diferencias pequeñas son ruido.
• La causa de la caída de lectura cerca de 50.000 tokens es probable, no confirmada.
• Un modelo a la vez; concurrencia multiusuario no medida.
• Cada cifra corresponde al tope de memoria de la configuración citada y a este equipo; con otra tarjeta u otra configuración los valores serán distintos.
• El banco no mide costos. Operar IA local implica costos reales (energía, inversión inicial en hardware, mantención y tiempo) y a juicio de IT Lab, los precios actuales de los servicios de pago pueden no reflejar su costo real.
• Medición de IT Lab sobre un único equipo; no es una recomendación de compra ni una certificación.

Ficha de medición

• Equipo: las mediciones se realizaron en un equipo que IT Lab definió y armó específicamente para pruebas: procesador Ryzen 7 5700X, 31 GiB de RAM y una tarjeta gráfica AMD Radeon RX 9070 XT de 16 GiB, con Linux. La tarjeta se eligió por ser hoy la opción más asequible con buena relación costo-beneficio que una empresa pequeña puede comprar. Los modelos evaluados cuentan con versiones optimizadas para tarjetas NVIDIA, por lo que se espera que el patrón general sea comparable en ese hardware; las cifras publicadas corresponden a este equipo.
• Cuantización: de 3 o 4 bits, según el modelo.
• Contexto: documentos reales prearmados de 79.964 a 247.581 tokens.
• Memoria de la tarjeta: 14,242 GiB utilizables de 15,922 GiB, con el margen reservado para el sistema.
• Pasadas: una por medición.
• Banco IT Lab, edición 1.

Método relacionado: Cómo evalúa IT Lab un modelo de IA local

Informe técnico relacionado: Informe técnico 3: Operar IA local en una GPU de 16 GB

Contacto: IT Lab dimensiona y evalúa IA local para organizaciones chilenas con sus propios documentos y datos. Conversemos

El Banco IT Lab es un instrumento vivo, en perfeccionamiento continuo. Parte de las mediciones proviene de versiones previas del instrumento y de modelos de generaciones anteriores, y algunas cifras pueden contener imprecisiones que se corrigen en cada nueva edición. Las conclusiones expresan el criterio de IT Lab a partir de sus propias mediciones.