Reportman.AI Logo Reportman.AI

← Todos los articulos

¿Cómo puede un modelo de IA grande ir tan rápido como uno pequeño?

· Toni Martir, arquitecto de software

Una gestoría va a instalar la IA en un ordenador propio y, entre los modelos, encuentra nombres como Gemma 4 26B A4B. El 26B es el tamaño: unos 26.000 millones de parámetros (los números que el modelo aprendió al entrenarse). Cabría esperar que fuera más lento que uno de 4.000 millones, pero Google, que lo ha creado, dice que va «casi tan rápido» como uno así.

La clave es la A, de activos. Es un modelo de mezcla de expertos: según su ficha, está partido en 128 bloques, los expertos, y para cada token (trozo de palabra) usa 8 y uno compartido: 3.800 de sus 25.200 millones de parámetros. Los modelos que usan siempre todos sus parámetros se llaman densos. Pero contestar tiene dos fases, leer lo que le mandas y escribir la respuesta, y no ahorra lo mismo en las dos.

Un modelo de mezcla de expertos frente a dos densos: dónde gana y dónde no

Escribir, frente a uno de su tamaño Qwen3-32B, en una tarjeta NVIDIA A10
4,5 veces más deprisa
Leer, frente a uno de su tamaño El mismo Qwen3-32B, con un texto de 512 tokens
El doble de deprisa
Escribir, frente a uno pequeño Qwen2.5-Coder-7B: igual en un Mac M2 Ultra y el doble de deprisa en un NVIDIA DGX Spark
Igual o más deprisa
Leer un texto corto, frente a uno pequeño 2.048 tokens: 1,6 veces más deprisa en el Mac y 1,3 en el DGX Spark
Más deprisa
Leer con mucho texto ya leído, frente a uno pequeño Un 16 % más despacio con 16.384 tokens leídos en el Mac, y un 8 % con 32.768 en el DGX Spark
Más despacio

Tokens por segundo de Qwen3-30B-A3B, de mezcla de expertos, frente a cada modelo denso en la misma máquina. Frente al de su tamaño, mediciones de un usuario en el repositorio de llama.cpp, con los dos modelos comprimidos a 4 bits; frente al pequeño, mediciones del autor de llama.cpp con las versiones para programar de los dos, comprimidas a 8 bits.

Al escribir, va al ritmo de lo que usa

Para escribir cada token, el chip trae los parámetros desde la memoria, y el ritmo lo marca ese transporte, no el cálculo. Un denso los trae todos en cada token; uno de mezcla de expertos, sólo los activos. Por eso escribe mucho más deprisa que un denso de su tamaño, y, en las mediciones del autor de llama.cpp, como uno pequeño o más.

Al leer, la ventaja se encoge

Antes de escribir nada, el modelo lee todo lo que le mandas, y esa fase, el prefill, depende del cálculo, como conté en por qué la IA local tarda en contestar. El de mezcla de expertos también calcula sólo con los activos y lee más deprisa que un denso de su tamaño, aunque gana menos que al escribir.

Además, los expertos sustituyen sólo una parte de cada capa: la atención, que relaciona cada token con todos los anteriores, se usa entera y pesa más cuanto más texto lleva leído. Con mucho texto, el de mezcla de expertos ya lee más despacio que el denso pequeño. Y preguntar a una base de datos es leer mucho: la descripción de las tablas va con cada pregunta, y darle sólo la del área de la pregunta la acorta.

Pero ocupa como uno grande

El precio es la memoria, como advierte Google junto a su tabla de memoria: el 26B A4B debe tener cargados todos sus parámetros, y por eso pide casi lo mismo que un denso de su tamaño. Guardando cada parámetro en 4 bits en vez de 16, ocupa 14,4 GB, frente a los 17,5 del denso de 31.000 millones y los 4,5 del pequeño, el E4B. Y acierta casi como el denso, sin igualarlo: en las pruebas de Google gana el de 31.000 millones en las 15 en que se miden los dos, como en MMLU Pro, de preguntas de razonamiento de muchas materias: 85,2 % frente a 82,6 %.

Entonces, ¿cómo puede ir tan rápido?

Al escribir, porque sólo trae de la memoria los expertos activos: escribe como un denso pequeño o más deprisa. Al leer, también calcula sólo con ellos, pero la atención se usa entera: con textos cortos gana, y con textos largos se queda por detrás del pequeño. Y ocupa casi lo que un denso de su tamaño.


En Reportman AI, las tablas de tarjetas gráficas y de procesadores de la página de IA local dicen qué modelos caben según la memoria, entre ellos algunos de mezcla de expertos: el Gemma 4 26B A4B, desde 16 GB de tarjeta o 24 GB de memoria sin tarjeta, y el Qwen3.6 35B A3B, desde 24 GB de tarjeta o 32 sin ella. Con el Agent como servicio, cualquier máquina con capacidad de IA se comparte dando acceso por correo: esté donde esté, mientras esté conectada aparece en la bolsa de máquinas de quien tenga acceso, que elige a cuál hacerle cada pregunta. En todos los planes, sin cuota, poniendo tú las máquinas.

Fuentes

Toni Martir, arquitecto de software · · fuentes comprobadas el