¿Por qué la IA en una máquina propia tarda en contestar?
· Toni Martir, arquitecto de software
En una asesoría con la IA en un ordenador propio, alguien pregunta «¿qué clientes nos deben más de 90 días?»: un rato sin nada en pantalla, y luego las palabras salen al ritmo que da la máquina.
Son dos fases con dos límites. El prefill lee el contexto entero (la pregunta, la conversación y la descripción de las tablas) antes de la primera palabra, y es cálculo. La generación escribe la respuesta token a token (trozos de palabra), y la frena el ancho de banda: los gigabytes por segundo que la memoria entrega al chip.
El mismo modelo en tres máquinas: cuánto tarda en leer y a qué ritmo escribe
Llama 2 7B comprimido a 4 bits (3,56 GiB), en las mediciones del repositorio de llama.cpp, en tokens por segundo (t/s): lectura de 512 tokens y escritura de 128. El tiempo de 4.000 tokens es la cuenta al ritmo medido; con textos más largos, el ritmo baja.
El prefill es cálculo
Para NVIDIA, el prefill es una operación de matriz por matriz, muy paralela, que llena la tarjeta gráfica: la fase limitada por el cálculo. Gana quien multiplica más a la vez, y una gráfica lo hace con miles de núcleos: 4.608 en una RTX 5060 Ti.
Por eso un PC no lee como un Mac: en el M4 Max no lee el procesador, sino la gráfica del chip. Lo muestra el Ryzen AI Max+ 395 de AMD, también con memoria unificada: lee a 300 tokens por segundo con 16 hilos (tareas en paralelo) del procesador, y a 1.487 con su gráfica integrada. Y un Ryzen 9 3950X de sobremesa, sólo con el procesador, lee a 76: una descripción de tablas de 4.000 tokens le lleva 53 segundos.
La generación es memoria
Escribir es matriz por vector, un token cada vez: por cada uno, el modelo entero viaja de la memoria al chip, y el ritmo lo marca esa transferencia, no el cálculo. En un ejemplo de llama.cpp con procesador, la generación se queda en 16 tokens por segundo con 8 hilos y no sube con 32: la memoria no da más.
Un procesador no es lento por ser procesador: depende de su conexión con la memoria. El M4 Max escribe en las mediciones de llama.cpp casi como la RTX 5060 Ti, aunque lee cuatro veces más despacio; el Ryzen 9 3950X, con DDR4 de dos canales, escribe a 9,6 tokens por segundo.
Por qué la memoria del PC se queda corta
En un PC de sobremesa, la memoria llega al procesador por pocos canales: dos en el Core i9-14900K, que con DDR5 a 5.600 millones de transferencias por segundo mueve 89,6 GB/s. La tarjeta lleva su propia memoria GDDR7 en un bus (el camino hasta el chip) de 128 bits: 448 GB/s en la RTX 5060 Ti; con 512 bits, la RTX 5090 llega a 1.792. La unificada va en la misma pieza que el chip, y procesador y gráfica la comparten sin copiar datos: 546 GB/s en el M4 Max. Con 3,8 GB por token, 89,6 GB/s dan un techo de 23 tokens por segundo; 448, de 117.
Entonces, ¿por qué tarda?
Porque el prefill, que depende del cálculo, decide cuánto tarda la primera palabra, y la generación, que depende del ancho de banda, a qué ritmo salen las demás. La tarjeta gráfica va bien en las dos; el chip con memoria unificada escribe casi igual, pero lee más despacio; y el PC de sobremesa sin tarjeta lee con el procesador, mucho más despacio, y escribe con un techo cinco veces más bajo que el de la tarjeta.
En Reportman AI la IA local usa la tarjeta gráfica (CUDA o Vulkan) o, sin ella, el procesador, más lento; la página de IA local lista las tarjetas y los procesadores compatibles. Con el Agent como servicio, cualquier máquina con capacidad de IA se comparte dando acceso por correo. Las máquinas con el Agent forman una red distribuida: estén donde estén, mientras estén conectadas aparecen en la bolsa de máquinas de quien tenga acceso, que elige a cuál le hace cada pregunta. En todos los planes, sin cuota, poniendo tú las máquinas; y sin ninguna tarjeta, los planes de pago funcionan en la nube.
Fuentes
- NVIDIA Technical Blog, Mastering LLM Techniques: Inference Optimization: del prefill, «this is a matrix-matrix operation that’s highly parallelized. It effectively saturates GPU utilization»; de la generación, «This is like a matrix-vector operation that underutilizes the GPU compute ability compared to the prefill phase. The speed at which the data (weights, keys, values, activations) is transferred to the GPU from memory dominates the latency, not how fast the computation actually happens. In other words, this is a memory-bound operation.»
- NVIDIA Dynamo, Disaggregated Serving: «the memory-bound decoding phase» y «the computation-bound prefill phase».
- llama.cpp, llama-bench,
ejemplo «Different numbers of threads», sólo con procesador («llama 7B mostly Q4_0»):
generación (
tg 16) de 16,71 tokens por segundo con 8 hilos y de 16,41 con 32. La documentación no dice en qué máquina se midió. - llama.cpp, Performance of llama.cpp on Apple Silicon M-series,
tabla que mantiene el autor del proyecto: M4 Max con 40 núcleos de gráfica y 546 GB/s, Llama 2
7B en Q4_0 (3,56 GiB),
-p 512 -n 128 -ngl 99(todo el modelo en la gráfica, con Metal): prefill de 885,68 tokens por segundo y generación de 83,06. Su gráfica enfrenta «PP vs GPU Cores and TG vs Bandwidth». - llama.cpp, Performance of llama.cpp on Nvidia CUDA,
tabla de mediciones enviadas por usuarios, mismo modelo y prueba, sin flash attention: RTX 5060
Ti, «16 GB / GDDR7 / 128 bit»,
pp512de 3737,25 ytg128de 90,94. - llama.cpp, Performance of llama.cpp with Vulkan,
mediciones enviadas por usuarios, mismo modelo y prueba, sin flash attention:
Ryzen AI Max+ 395
(2 de octubre de 2026), sólo procesador con 16 hilos,
pp512de 300,27 ytg128de 27,68, y con su gráfica Radeon 8060S por Vulkan (que informa «uma: 1», memoria compartida con el procesador), 1487,08 y 51,81; Ryzen 9 3950X (14 de junio de 2026), «16-Core Processor», «DDR4 Dual Channel at 3600 MT/s», sólo procesador con 16 hilos,pp512de 75,84 ytg128de 9,57. - NVIDIA, comparativa de la serie 50: RTX 5060 Ti con 4608 núcleos CUDA, bus de 128 bits y 448 GB/s; RTX 5090 con 512 bits y 1792 GB/s, las dos con GDDR7.
- Intel, Core i9-14900K: «Up to DDR5 5600 MT/s», 2 canales de memoria y «Max Memory Bandwidth 89.6 GB/s».
- Apple, MacBook Pro (14 pulgadas, M4 Pro o M4 Max, 2024): «M4 Max with 16-core CPU and 40-core GPU (546GB/s memory bandwidth)»; y Apple unleashes M1: «a unified memory architecture that brings together high-bandwidth, low-latency memory into a single pool within a custom package. This allows all of the technologies in the SoC to access the same data without copying it».
- Las cuentas: 4.000 tokens entre 3737,25, 885,68 y 75,84 tokens por segundo dan 1,07, 4,5 y 52,7 segundos; y, para los techos de generación, 3,56 GiB son 3,82 GB, 89,6 / 3,82 = 23,4 y 448 / 3,82 = 117,2 tokens por segundo.
- Reportman AI: IA local (CUDA y Vulkan, el procesador sin tarjeta con tiempos de respuesta más largos, las tablas de tarjetas y de procesadores, la IA local en todos los planes, la red distribuida y el Agent como servicio con acceso por correo) y planes.
Toni Martir, arquitecto de software · · fuentes comprobadas el