¿Cómo puede un modelo de IA grande ir tan rápido como uno pequeño?
· Toni Martir, arquitecto de software
Una gestoría va a instalar la IA en un ordenador propio y, entre los modelos, encuentra nombres como Gemma 4 26B A4B. El 26B es el tamaño: unos 26.000 millones de parámetros (los números que el modelo aprendió al entrenarse). Cabría esperar que fuera más lento que uno de 4.000 millones, pero Google, que lo ha creado, dice que va «casi tan rápido» como uno así.
La clave es la A, de activos. Es un modelo de mezcla de expertos: según su ficha, está partido en 128 bloques, los expertos, y para cada token (trozo de palabra) usa 8 y uno compartido: 3.800 de sus 25.200 millones de parámetros. Los modelos que usan siempre todos sus parámetros se llaman densos. Pero contestar tiene dos fases, leer lo que le mandas y escribir la respuesta, y no ahorra lo mismo en las dos.
Un modelo de mezcla de expertos frente a dos densos: dónde gana y dónde no
Tokens por segundo de Qwen3-30B-A3B, de mezcla de expertos, frente a cada modelo denso en la misma máquina. Frente al de su tamaño, mediciones de un usuario en el repositorio de llama.cpp, con los dos modelos comprimidos a 4 bits; frente al pequeño, mediciones del autor de llama.cpp con las versiones para programar de los dos, comprimidas a 8 bits.
Al escribir, va al ritmo de lo que usa
Para escribir cada token, el chip trae los parámetros desde la memoria, y el ritmo lo marca ese transporte, no el cálculo. Un denso los trae todos en cada token; uno de mezcla de expertos, sólo los activos. Por eso escribe mucho más deprisa que un denso de su tamaño, y, en las mediciones del autor de llama.cpp, como uno pequeño o más.
Al leer, la ventaja se encoge
Antes de escribir nada, el modelo lee todo lo que le mandas, y esa fase, el prefill, depende del cálculo, como conté en por qué la IA local tarda en contestar. El de mezcla de expertos también calcula sólo con los activos y lee más deprisa que un denso de su tamaño, aunque gana menos que al escribir.
Además, los expertos sustituyen sólo una parte de cada capa: la atención, que relaciona cada token con todos los anteriores, se usa entera y pesa más cuanto más texto lleva leído. Con mucho texto, el de mezcla de expertos ya lee más despacio que el denso pequeño. Y preguntar a una base de datos es leer mucho: la descripción de las tablas va con cada pregunta, y darle sólo la del área de la pregunta la acorta.
Pero ocupa como uno grande
El precio es la memoria, como advierte Google junto a su tabla de memoria: el 26B A4B debe tener cargados todos sus parámetros, y por eso pide casi lo mismo que un denso de su tamaño. Guardando cada parámetro en 4 bits en vez de 16, ocupa 14,4 GB, frente a los 17,5 del denso de 31.000 millones y los 4,5 del pequeño, el E4B. Y acierta casi como el denso, sin igualarlo: en las pruebas de Google gana el de 31.000 millones en las 15 en que se miden los dos, como en MMLU Pro, de preguntas de razonamiento de muchas materias: 85,2 % frente a 82,6 %.
Entonces, ¿cómo puede ir tan rápido?
Al escribir, porque sólo trae de la memoria los expertos activos: escribe como un denso pequeño o más deprisa. Al leer, también calcula sólo con ellos, pero la atención se usa entera: con textos cortos gana, y con textos largos se queda por detrás del pequeño. Y ocupa casi lo que un denso de su tamaño.
En Reportman AI, las tablas de tarjetas gráficas y de procesadores de la página de IA local dicen qué modelos caben según la memoria, entre ellos algunos de mezcla de expertos: el Gemma 4 26B A4B, desde 16 GB de tarjeta o 24 GB de memoria sin tarjeta, y el Qwen3.6 35B A3B, desde 24 GB de tarjeta o 32 sin ella. Con el Agent como servicio, cualquier máquina con capacidad de IA se comparte dando acceso por correo: esté donde esté, mientras esté conectada aparece en la bolsa de máquinas de quien tenga acceso, que elige a cuál hacerle cada pregunta. En todos los planes, sin cuota, poniendo tú las máquinas.
Fuentes
- Google DeepMind, Gemma 4 model card, apartado «Mixture-of-Experts (MoE) Model»: del 26B A4B, «Total Parameters 25.2B», «Active Parameters 3.8B» y «Expert Count 8 active / 128 total and 1 shared»; y «The "A" in 26B A4B stands for "active parameters" in contrast to the total number of parameters the model contains. By only activating a 4B subset of parameters during inference, the Mixture-of-Experts model runs much faster than its 26B total might suggest. This makes it an excellent choice for fast inference compared to the dense 31B model since it runs almost as fast as a 4B-parameter model.»
- Google DeepMind, Gemma 4 model card, apartado «Benchmark Results»: MMLU Pro, 85.2 % el 31B y 82.6 % el 26B A4B. La tabla da resultado de los dos modelos en 15 pruebas, y el 31B saca mejor nota en las 15 (en OmniDocBench, donde «lower is better», 0.131 frente a 0.149).
- Google DeepMind, Gemma 4 model overview, «Gemma 4 Inference Memory Requirements», columna «Q4_0 (4-bit)»: E4B, 4.5 GB; 26B A4B, 14.4 GB; 31B, 17.5 GB. Y en «Key Considerations for Memory Planning»: «While it only activates 4 billion parameters per token during generation, all 26 billion parameters must be loaded into memory to maintain fast routing and inference speeds. This is why its baseline memory requirement is much closer to a dense 26B model than a 4B model.»
- NVIDIA Technical Blog, Mastering LLM Techniques: Inference Optimization: de la generación, «The speed at which the data (weights, keys, values, activations) is transferred to the GPU from memory dominates the latency, not how fast the computation actually happens. In other words, this is a memory-bound operation.»; del prefill, «Each new token depends on all the previous tokens».
- NVIDIA Technical Blog, Applying Mixture of Experts in LLM Architectures: «In many published papers, the MoE technique is applied to Multi-Layer Perceptrons (MLPs) within transformer blocks. In this case, the MLP within the transformer block is usually replaced with a set of expert MLP subnetworks».
- Qwen, Qwen3.6-35B-A3B: «Number of Parameters: 35B in total and 3B activated», «Hidden Layout: 10 × (3 × (Gated DeltaNet → MoE) → 1 × (Gated Attention → MoE))» y «Number of Experts: 256».
- llama.cpp, issue 13652 (20 de mayo de
2025), mediciones de un usuario con
llama-benchen una «NVIDIA A10-24Q»: Qwen3-32B Q4_0 (17.41 GiB),pp512672.53 ytg12823.22; Qwen3-30B-A3B Q4_0 (16.42 GiB),pp5121328.67 ytg128103.50 tokens por segundo. Un miembro del proyecto contesta: «the 30B model is a Mixture-of-Experts […] which is why it's so much faster». - llama.cpp, mediciones del autor del proyecto (actualizadas el 5 de febrero de 2026),
Qwen3-Coder-30B-A3B Q8_0 frente a Qwen2.5-Coder-7B Q8_0, con
llama-bench: NVIDIA DGX Spark («NVIDIA GB10»):tg3261.06 frente a 29.43;pp20482986.97 frente a 2250.28;pp2048 @ d327681348.17 frente a 1471.23. Mac M2 Ultra:tg3278.97 frente a 79.68;pp20482453.11 frente a 1565.91;pp2048 @ d16384741.04 frente a 886.46.ppes la lectura (prefill),tgla escritura ydlos tokens ya leídos. - Yubo Wang y otros, MMLU-Pro (arXiv): «a More Robust and Challenging Multi-Task Language Understanding Benchmark», con «more challenging, reasoning-focused questions».
- Las cuentas: escribir, 103,50 / 23,22 = 4,5; 61,06 / 29,43 = 2,1; 78,97 / 79,68 = 0,99. Leer, 1328,67 / 672,53 = 2,0; 2986,97 / 2250,28 = 1,3; 2453,11 / 1565,91 = 1,6; con texto ya leído, 1348,17 / 1471,23 = 0,92 y 741,04 / 886,46 = 0,84.
- Reportman AI: IA local (las tablas de tarjetas gráficas y de procesadores con los modelos de cada memoria, la IA local en todos los planes, la red distribuida y el Agent como servicio con acceso por correo) y planes.
Toni Martir, arquitecto de software · · fuentes comprobadas el