¿A cuántas personas a la vez puede atender una IA?
· Toni Martir, arquitecto de software
Una gestoría pone la IA en un ordenador propio, con una tarjeta gráfica de 16 GB, para toda la oficina. A las nueve, cinco personas le preguntan a la vez. Una recibe la respuesta; las otras cuatro esperan en fila. La máquina no está averiada: está configurada para atender a una persona cada vez.
A cuántas personas atiende a la vez lo decide, sobre todo, la memoria de la tarjeta, porque la IA reserva en ella, para cada persona, un espacio aparte para todo lo que lee al contestarle. Quien no cabe espera su turno, y quienes se atienden a la vez reciben la respuesta más despacio.
Cinco preguntas a las nueve, una tarjeta de 16 GB
Un ejemplo de oficina. Cuánto contexto necesita cada persona depende de su pregunta y de lo que ocupe la descripción de las tablas que consulta.
De serie, una persona cada vez
En Ollama, uno de los programas que hacen funcionar modelos de IA en una máquina propia, el ajuste que decide cuántas peticiones atiende a la vez cada modelo (sus plazas, por así decirlo) viene puesto a una, según su documentación. Las demás esperan en cola.
El número de plazas se puede subir, pero cada plaza de más cuesta memoria y velocidad.
Cada persona, su propio contexto
El contexto es todo lo que el modelo lee de una vez para contestar: la pregunta, la conversación y, si consulta tu base de datos, la descripción de las tablas, que en una base grande es mucho texto, como conté al hablar de RAG. Cada persona atendida a la vez necesita el suyo. Ollama pone un ejemplo: un contexto de unos 2.000 tokens (los trozos de palabra con los que cuentan los modelos) con cuatro peticiones a la vez pasa a ser de unos 8.000.
En la medición de Qwen, uno de sus modelos, comprimido, ocupaba más de 5 GB adicionales al leer 30.720 tokens en vez de uno. Con cuatro personas a la vez, cada una con ese contexto, la regla de Ollama multiplica esa memoria por cuatro: más de 20 GB, más que toda la tarjeta de la gestoría. Si la memoria no da para tanto, el contexto que cabe se reparte entre las plazas, y a cada persona le toca menos.
La velocidad también se reparte
Según la documentación de NVIDIA, al aumentar las peticiones a la vez la máquina produce más texto en total, pero cada persona recibe menos por segundo.
Y la misma documentación dice cuándo se forma la cola: cuando las peticiones pasan del máximo que el programa procesa a la vez, multiplicado por el número de copias del modelo que están funcionando. Más plazas en la misma tarjeta reparten lo que ya hay; otra copia del modelo, en otra tarjeta o en otra máquina, añade capacidad.
Entonces, ¿a cuántas personas atiende?
A tantas como plazas tenga configuradas. Y le caben tantas plazas como contextos completos entren en la memoria que dejan libre el modelo y el escritorio, si la tarjeta también dibuja la pantalla. De serie, a una; las demás esperan su turno, y las que se atienden a la vez van más despacio. Si a las nueve la fila se alarga y la memoria da para más plazas, se suben; si no da, la solución es otra máquina.
En Reportman AI cualquier máquina con capacidad de IA se puede compartir: se instala en ella el Agent como servicio y se da acceso por correo a quien vaya a usarla, desde la aplicación de escritorio o la web. Las máquinas con el Agent forman una red distribuida: estén donde estén, en la oficina, en otra sede o en casa, mientras estén conectadas aparecen disponibles en la bolsa de máquinas de quien tenga acceso, que elige a cuál le hace cada pregunta. Cuando una no da abasto, se suma otra a la bolsa y la gente se reparte entre las dos. Según la página de IA local, funciona en todos los planes: sin cuota, poniendo tú las máquinas. Si no compensa comprar otra, hay planes con modelos en la nube.
Fuentes
- Ollama, FAQ, apartado «How does Ollama handle concurrent requests?»: «Parallel request processing for a given model results in increasing the context size by the number of parallel requests. For example, a 2K context with 4 parallel requests will result in an 8K context and additional memory allocation.»; «OLLAMA_NUM_PARALLEL - The maximum number of parallel requests each model will process at the same time, default 1. Required RAM will scale by OLLAMA_NUM_PARALLEL * OLLAMA_CONTEXT_LENGTH.»
- Qwen, Speed Benchmark (la documentación a la que remite el repositorio oficial de Qwen3 para los requisitos de memoria), tabla «Qwen3-14B (Transformers)», cuantización AWQ-INT4: 9962 MB con 1 token de entrada y 15323 MB con 30720.
- NVIDIA, NIM Benchmarking, Metrics: «As the number of concurrent requests increases, total system TPS increases while TPS per user decreases as latency increases.» (TPS son los tokens por segundo.)
- NVIDIA, NIM Benchmarking, Parameters and Best Practices: «If the concurrency exceeds the maximum batch size multiplied by the number of active replicas, some requests wait in a queue for later processing.»
- Reportman AI: IA local (la IA local en todos los planes, la red distribuida de máquinas con capacidad de IA, el Agent como servicio con acceso por correo, y la IA local a través del Agent en la infraestructura de escritorio y en la web) y planes.
Toni Martir, arquitecto de software · · fuentes comprobadas el