Reportman.AI Logo Reportman.AI

← Todos los articulos

¿Por qué la IA en una máquina propia tarda en contestar?

· Toni Martir, arquitecto de software

En una asesoría con la IA en un ordenador propio, alguien pregunta «¿qué clientes nos deben más de 90 días?»: un rato sin nada en pantalla, y luego las palabras salen al ritmo que da la máquina.

Son dos fases con dos límites. El prefill lee el contexto entero (la pregunta, la conversación y la descripción de las tablas) antes de la primera palabra, y es cálculo. La generación escribe la respuesta token a token (trozos de palabra), y la frena el ancho de banda: los gigabytes por segundo que la memoria entrega al chip.

El mismo modelo en tres máquinas: cuánto tarda en leer y a qué ritmo escribe

Tarjeta gráfica: RTX 5060 Ti 4.608 núcleos de cálculo y 448 GB/s de memoria
lee 3.737 t/s 4.000 tokens: 1 s escribe 91 t/s
Memoria unificada: Apple M4 Max Lee y escribe la gráfica del chip, de 40 núcleos, con 546 GB/s
lee 886 t/s 4.000 tokens: 4,5 s escribe 83 t/s
PC de sobremesa: Ryzen 9 3950X Sólo el procesador, de 16 núcleos, con DDR4 de dos canales
lee 76 t/s 4.000 tokens: 53 s escribe 9,6 t/s

Llama 2 7B comprimido a 4 bits (3,56 GiB), en las mediciones del repositorio de llama.cpp, en tokens por segundo (t/s): lectura de 512 tokens y escritura de 128. El tiempo de 4.000 tokens es la cuenta al ritmo medido; con textos más largos, el ritmo baja.

El prefill es cálculo

Para NVIDIA, el prefill es una operación de matriz por matriz, muy paralela, que llena la tarjeta gráfica: la fase limitada por el cálculo. Gana quien multiplica más a la vez, y una gráfica lo hace con miles de núcleos: 4.608 en una RTX 5060 Ti.

Por eso un PC no lee como un Mac: en el M4 Max no lee el procesador, sino la gráfica del chip. Lo muestra el Ryzen AI Max+ 395 de AMD, también con memoria unificada: lee a 300 tokens por segundo con 16 hilos (tareas en paralelo) del procesador, y a 1.487 con su gráfica integrada. Y un Ryzen 9 3950X de sobremesa, sólo con el procesador, lee a 76: una descripción de tablas de 4.000 tokens le lleva 53 segundos.

La generación es memoria

Escribir es matriz por vector, un token cada vez: por cada uno, el modelo entero viaja de la memoria al chip, y el ritmo lo marca esa transferencia, no el cálculo. En un ejemplo de llama.cpp con procesador, la generación se queda en 16 tokens por segundo con 8 hilos y no sube con 32: la memoria no da más.

Un procesador no es lento por ser procesador: depende de su conexión con la memoria. El M4 Max escribe en las mediciones de llama.cpp casi como la RTX 5060 Ti, aunque lee cuatro veces más despacio; el Ryzen 9 3950X, con DDR4 de dos canales, escribe a 9,6 tokens por segundo.

Por qué la memoria del PC se queda corta

En un PC de sobremesa, la memoria llega al procesador por pocos canales: dos en el Core i9-14900K, que con DDR5 a 5.600 millones de transferencias por segundo mueve 89,6 GB/s. La tarjeta lleva su propia memoria GDDR7 en un bus (el camino hasta el chip) de 128 bits: 448 GB/s en la RTX 5060 Ti; con 512 bits, la RTX 5090 llega a 1.792. La unificada va en la misma pieza que el chip, y procesador y gráfica la comparten sin copiar datos: 546 GB/s en el M4 Max. Con 3,8 GB por token, 89,6 GB/s dan un techo de 23 tokens por segundo; 448, de 117.

Entonces, ¿por qué tarda?

Porque el prefill, que depende del cálculo, decide cuánto tarda la primera palabra, y la generación, que depende del ancho de banda, a qué ritmo salen las demás. La tarjeta gráfica va bien en las dos; el chip con memoria unificada escribe casi igual, pero lee más despacio; y el PC de sobremesa sin tarjeta lee con el procesador, mucho más despacio, y escribe con un techo cinco veces más bajo que el de la tarjeta.


En Reportman AI la IA local usa la tarjeta gráfica (CUDA o Vulkan) o, sin ella, el procesador, más lento; la página de IA local lista las tarjetas y los procesadores compatibles. Con el Agent como servicio, cualquier máquina con capacidad de IA se comparte dando acceso por correo. Las máquinas con el Agent forman una red distribuida: estén donde estén, mientras estén conectadas aparecen en la bolsa de máquinas de quien tenga acceso, que elige a cuál le hace cada pregunta. En todos los planes, sin cuota, poniendo tú las máquinas; y sin ninguna tarjeta, los planes de pago funcionan en la nube.

Fuentes

Toni Martir, arquitecto de software · · fuentes comprobadas el