Reportman.AI Logo Reportman.AI

← Todos los articulos

¿A cuántas personas a la vez puede atender una IA?

· Toni Martir, arquitecto de software

Una gestoría pone la IA en un ordenador propio, con una tarjeta gráfica de 16 GB, para toda la oficina. A las nueve, cinco personas le preguntan a la vez. Una recibe la respuesta; las otras cuatro esperan en fila. La máquina no está averiada: está configurada para atender a una persona cada vez.

A cuántas personas atiende a la vez lo decide, sobre todo, la memoria de la tarjeta, porque la IA reserva en ella, para cada persona, un espacio aparte para todo lo que lee al contestarle. Quien no cabe espera su turno, y quienes se atienden a la vez reciben la respuesta más despacio.

Cinco preguntas a las nueve, una tarjeta de 16 GB

Una plaza, como viene de serie Contesta a una persona. Las otras cuatro esperan en fila, cada una a que acaben las de delante
Esperan
Cinco plazas, cada una con su contexto entero Contestan las cinco a la vez, más despacio, y la memoria para lo que leen se multiplica por cinco
Cinco veces la memoria
Cinco plazas en la misma memoria Contestan las cinco a la vez, más despacio, y cada una dispone de una quinta parte del contexto: quizá no le alcance para la descripción de las tablas
Menos contexto
Dos máquinas Cada persona pregunta a una de las dos, y cada máquina atiende su propia fila
Más capacidad

Un ejemplo de oficina. Cuánto contexto necesita cada persona depende de su pregunta y de lo que ocupe la descripción de las tablas que consulta.

De serie, una persona cada vez

En Ollama, uno de los programas que hacen funcionar modelos de IA en una máquina propia, el ajuste que decide cuántas peticiones atiende a la vez cada modelo (sus plazas, por así decirlo) viene puesto a una, según su documentación. Las demás esperan en cola.

El número de plazas se puede subir, pero cada plaza de más cuesta memoria y velocidad.

Cada persona, su propio contexto

El contexto es todo lo que el modelo lee de una vez para contestar: la pregunta, la conversación y, si consulta tu base de datos, la descripción de las tablas, que en una base grande es mucho texto, como conté al hablar de RAG. Cada persona atendida a la vez necesita el suyo. Ollama pone un ejemplo: un contexto de unos 2.000 tokens (los trozos de palabra con los que cuentan los modelos) con cuatro peticiones a la vez pasa a ser de unos 8.000.

En la medición de Qwen, uno de sus modelos, comprimido, ocupaba más de 5 GB adicionales al leer 30.720 tokens en vez de uno. Con cuatro personas a la vez, cada una con ese contexto, la regla de Ollama multiplica esa memoria por cuatro: más de 20 GB, más que toda la tarjeta de la gestoría. Si la memoria no da para tanto, el contexto que cabe se reparte entre las plazas, y a cada persona le toca menos.

La velocidad también se reparte

Según la documentación de NVIDIA, al aumentar las peticiones a la vez la máquina produce más texto en total, pero cada persona recibe menos por segundo.

Y la misma documentación dice cuándo se forma la cola: cuando las peticiones pasan del máximo que el programa procesa a la vez, multiplicado por el número de copias del modelo que están funcionando. Más plazas en la misma tarjeta reparten lo que ya hay; otra copia del modelo, en otra tarjeta o en otra máquina, añade capacidad.

Entonces, ¿a cuántas personas atiende?

A tantas como plazas tenga configuradas. Y le caben tantas plazas como contextos completos entren en la memoria que dejan libre el modelo y el escritorio, si la tarjeta también dibuja la pantalla. De serie, a una; las demás esperan su turno, y las que se atienden a la vez van más despacio. Si a las nueve la fila se alarga y la memoria da para más plazas, se suben; si no da, la solución es otra máquina.


En Reportman AI cualquier máquina con capacidad de IA se puede compartir: se instala en ella el Agent como servicio y se da acceso por correo a quien vaya a usarla, desde la aplicación de escritorio o la web. Las máquinas con el Agent forman una red distribuida: estén donde estén, en la oficina, en otra sede o en casa, mientras estén conectadas aparecen disponibles en la bolsa de máquinas de quien tenga acceso, que elige a cuál le hace cada pregunta. Cuando una no da abasto, se suma otra a la bolsa y la gente se reparte entre las dos. Según la página de IA local, funciona en todos los planes: sin cuota, poniendo tú las máquinas. Si no compensa comprar otra, hay planes con modelos en la nube.

Fuentes

Toni Martir, arquitecto de software · · fuentes comprobadas el