Reportman.AI Logo Reportman.AI

← Todos los articulos

IA en una máquina propia: ¿cuánta memoria necesita la tarjeta gráfica?

· Toni Martir, arquitecto de software

Una empresa decide tener la IA en una máquina propia, en vez de contratarla a un proveedor (los motivos, en el precio de la privacidad de tus datos). Le llegan dos presupuestos casi iguales, los dos con una tarjeta gráfica RTX 5060 Ti. Pero NVIDIA fabrica esa tarjeta con 8 o con 16 GB de memoria, y esa media línea del presupuesto decide qué IA puede funcionar en cada ordenador.

Esa memoria es de la tarjeta, distinta de la del ordenador, y en las fichas aparece como VRAM. La tarjeta acelera la parte del modelo que cabe en ella, así que ahí tienen que caber el modelo entero, lo que lee para contestarte y lo que ya ocupe el sistema operativo.

Lo que ocupa el modelo

Un modelo es una lista enorme de números aprendidos, los parámetros: uno «de 12B» tiene unos 12.000 millones. Se pueden guardar comprimidos, con menos precisión: a 4 bits en vez de 16, ocupan la cuarta parte. Según Google, su modelo Gemma 4 de 12.000 millones pasa así de 26,7 GB a 6,7. Comprimir tiene un precio: con menos precisión, el modelo pierde capacidades, aunque puede bastar.

Lo que lee mientras te contesta

Google avisa de que esas cifras dejan fuera el contexto, todo lo que el modelo lee de una vez: tu pregunta, la conversación y su propia respuesta. Si la IA consulta tu base de datos, el contexto lleva además la descripción de las tablas, que en una base grande es mucho texto, como conté al hablar de RAG. Y el contexto también ocupa la tarjeta: según mide la documentación de Qwen3, su modelo de 14.000 millones, comprimido, pasaba de unos 10 GB leyendo un solo token (los trozos de palabra con los que cuentan los modelos) a más de 15 leyendo 30.720.

Lo que ya ocupa el sistema operativo

En un ordenador con Windows, el escritorio se dibuja con la tarjeta gráfica: como explica Microsoft, cada ventana abierta reserva memoria de vídeo para que el sistema componga la pantalla. Esa parte deja de estar libre para la IA. Algunos portátiles tienen dos gráficas: la integrada en el procesador, que dibuja la pantalla, y la dedicada, que no tiene ninguna pantalla conectada, así que su memoria queda para el modelo. Y en un servidor Linux sin escritorio gráfico nadie dibuja pantalla con la tarjeta: su memoria queda para la IA.

Qué modelos caben, aproximadamente, en cada memoria

6 GB Como la RTX 3050 de 6 GB
Qwen3.5 4B Gemma 4 4B
8 GB Como la RTX 5060
Qwen3.5 9B Ornith 1.5 9B
12 GB Como la RTX 5070
Gemma 4 12B
16 GB Como la RTX 5080 o la RX 9070 XT
Gemma 4 26B A4B GPT-OSS 20B
24 GB Como la RTX 4090 o la RX 7900 XTX
Gemma 4 31B Qwen3.8 27B Qwen3.6 35B A3B y cuatro más

Según la tabla de compatibilidad de la IA local de Reportman AI. Cada fila admite también los modelos de las filas de arriba. Con 32 o 48 GB caben los mismos que con 24, y queda más sitio para el contexto; con 96, además, GPT-OSS 120B.

Si no cabe

Si el modelo no cabe entero, sigue funcionando. Programas como llama.cpp, que hace funcionar estos modelos en una máquina propia, reparten el trabajo: la tarjeta acelera la parte que cabe en su memoria y el procesador hace el resto, sin esa aceleración. Sin tarjeta, lo hace todo el procesador.

Entonces, ¿cuánta memoria hace falta?

La que pida el modelo que vas a usar, comprimido, más su contexto, más lo que ocupe el escritorio si la tarjeta también dibuja la pantalla. Así que primero se elige el modelo y después la tarjeta: en la RTX 5060 Ti del principio, la de 16 GB admite modelos que no caben en la de 8. Con menos memoria el modelo también funciona, pero la tarjeta sólo acelera una parte.


En Reportman AI la IA local se puede usar en todos los planes, en el propio ordenador o en una máquina con tarjeta para toda la oficina: se instala en ella el Agent como servicio y se da acceso por correo a quien vaya a usarla. Los Agents forman una red distribuida, así que esa tarjeta se usa desde cualquier lugar, también desde la aplicación web. La página de IA local tiene la tabla completa, para tarjetas NVIDIA, AMD o Intel y para la memoria del ordenador si no hay tarjeta, con respuestas más lentas. Sin cuota: la máquina la pones tú. Y si no compensa comprarla, hay planes con modelos en la nube.

Fuentes

Toni Martir, arquitecto de software · · fuentes comprobadas el