IA local en una empresa chilena: equipo y límites (2/2)

Parte 2 de 2. Lea la Parte 1.

Qué equipo hace falta

Las mediciones se realizaron en un equipo que IT Lab definió y armó específicamente para pruebas: procesador Ryzen 7 5700X, 31 GiB de RAM y una tarjeta gráfica AMD Radeon RX 9070 XT de 16 GiB, con Linux. La tarjeta se eligió por ser hoy la opción más asequible con buena relación costo-beneficio que una empresa pequeña puede comprar. Los modelos evaluados cuentan con versiones optimizadas para tarjetas NVIDIA, por lo que se espera que el patrón general sea comparable en ese hardware; las cifras publicadas corresponden a este equipo.

Es un computador de escritorio de gama alta y no un servidor. De los 15,922 GiB nominales de la tarjeta, el presupuesto de memoria del banco es de 14,242 GiB utilizables.

Con ese presupuesto permite:

• Modelos de 12B a 35B parámetros cuantizados, con contexto de trabajo de 64K a 131K.
• Velocidad útil con contexto corto de 40 a 172 tok/s, según el modelo.

Y no permite, hoy:

• Atender a varios usuarios a la vez. Todo se midió en serie, con un modelo cargado; no hay medida de concurrencia y el banco no ofrece acuerdos de nivel de servicio.
• Contexto enorme a buena velocidad. El mismo modelo baja de 36-43 tok/s con contexto corto a 7,5-14 tok/s con 80K-110K de contexto lleno, y llenar 110K toma unos 34 minutos. Que un modelo admita 128K no equivale a que trabaje con buena velocidad con 128K.

La configuración del motor de inferencia cambia el resultado tanto como la elección del modelo: véase Configurar pesa tanto como elegir. El dimensionamiento completo está en Hardware de pyme para IA local con 16 GB.

Lo que IT Lab no promete

• Cifras de costos. El banco no mide costos. Operar IA local implica costos reales (energía, inversión inicial en hardware, mantención y tiempo) y a juicio de IT Lab, los precios actuales de los servicios de pago pueden no reflejar su costo real.
• Que cualquier modelo local lea un documento y haga las cuentas. Lee bien; cuenta mal.
• Que un computador reemplace a un desarrollador. Ningún modelo local entregó código desde cero que superara el criterio.
• Que un contexto de 128K o 200K funcione a la misma velocidad que uno corto. El techo teórico no es rendimiento, y configurar 64K no demuestra que el modelo procese ni comprenda toda esa ventana.
• Precios de mercado.
• Una recomendación de compra. Son mediciones de laboratorio.

Preguntas frecuentes

¿Cuánto cuesta una IA local? El banco no mide costos. Operar IA local implica costos reales (energía, inversión inicial en hardware, mantención y tiempo) y a juicio de IT Lab, los precios actuales de los servicios de pago pueden no reflejar su costo real.

¿Qué hardware necesita una pyme? En las mediciones alcanzó una tarjeta gráfica de 16 GiB con un modelo a la vez; la concurrencia de varios usuarios no está medida.

¿Qué se puede automatizar hoy? Extraer y localizar datos en documentos; contar o agregar sobre lo leído requiere revisión humana.

¿Sirve para datos sensibles? Un modelo local mantiene el documento dentro de la infraestructura de la empresa; el alcance de cada obligación legal lo determina su asesor.

Limitaciones y alcance

• Una sola pasada por modelo y caso, salvo que se indique otro número; las diferencias pequeñas son ruido. La pasada oficial se separa de las sondas y los diagnósticos.
• Concurrencia y tiempo humano no están medidos.
• Medición de IT Lab sobre un único equipo; no es una recomendación de compra ni una certificación.

Ficha de medición

• Equipo: el descrito en la sección anterior.
• Cuantización: de 3 o 4 bits, según el modelo.
• Memoria de la tarjeta: 14,242 GiB utilizables de 15,922 GiB.
• Banco IT Lab, edición 1.

Contacto: IT Lab evalúa si una organización chilena está preparada para IA local sobre sus propios documentos y datos. Conversemos

---

El Banco IT Lab es un instrumento vivo, en perfeccionamiento continuo. Parte de las mediciones proviene de versiones previas del instrumento y de modelos de generaciones anteriores, y algunas cifras pueden contener imprecisiones que se corrigen en cada nueva edición. Las conclusiones expresan el criterio de IT Lab a partir de sus propias mediciones.