¿Por qué la IA te da otra cifra cuando repites la pregunta?
· Toni Martir, arquitecto de software
Por la mañana, alguien de ventas pregunta a la herramienta de IA de la empresa «¿cuántos clientes activos tenemos?» y recibe una cifra. Por la tarde, alguien de administración escribe la misma pregunta, palabra por palabra, y recibe otra casi cuatro veces mayor. Entre una pregunta y otra no se ha dado de alta ningún cliente.
La base de datos es la misma; lo que ha cambiado es la sentencia SQL. La IA traduce cada pregunta a una sentencia SQL (la orden técnica que saca los datos) y, cada vez que se le pregunta, traduce de nuevo. Si escribe otra sentencia, con otro criterio, sale otra cifra. La cuestión es por qué pasa y cómo conseguir una cifra que se repita.
«¿Cuántos clientes activos tenemos?», dos veces el mismo día
Un ejemplo de oficina, con cifras inventadas. La base de datos es la misma por la mañana y por la tarde: lo que cambia es la sentencia.
Nadie garantiza la misma respuesta dos veces
Lo avisan los propios fabricantes. OpenAI explica en su documentación que, de serie, lo que responde el modelo «puede cambiar de una petición a otra». Hay un ajuste para reducir esa variación, la temperatura, que regula cuánto azar hay en cómo el modelo elige cada palabra. Pero Google y Anthropic advierten de que, incluso con la temperatura a cero, la respuesta puede variar. Y en los modelos de Anthropic posteriores a Claude Opus 4.6 ese ajuste ya no se puede cambiar.
Así que la misma pregunta puede dar dos sentencias distintas. Y una pequeña diferencia basta para cambiar el criterio en una pregunta como ésta, porque «clientes activos» admite más de una lectura: las fichas marcadas como activas, o los clientes que han comprado en el último año. Las dos son razonables, y la IA puede tomar una por la mañana y otra por la tarde. La base de datos ejecuta cada sentencia al pie de la letra: los dos recuentos son correctos, para dos preguntas distintas.
Comprobar una cifra no fija la siguiente
Cuando una cifra importa, se comprueba qué hace la sentencia que la dio; cómo hacerlo sin ser informático lo conté en cómo saber si la cifra de la IA es cierta. Pero esa comprobación cubre esa sentencia, no la pregunta. Si al día siguiente se vuelve a preguntar, la IA puede escribir otra, y habrá que comprobarla de nuevo.
Para una pregunta que se hace una vez, es asumible. Para la cifra que la dirección mira cada mes, supone comprobar lo mismo doce veces al año, y arriesgarse a que la cifra de un mes no se pueda comparar con la del anterior.
Lo que se repite es la sentencia
Cada respuesta de la IA es nueva; la sentencia, en cambio, es un texto fijo, y la base de datos la ejecuta igual cada vez. Con los datos de octubre da la cifra de octubre con el criterio de septiembre, y la cifra sólo cambia si cambian los datos.
Así que, cuando una pregunta se convierte en una cifra que vas a seguir, compruebas la sentencia una vez y la guardas (en un informe o en manos de informática) con su explicación en palabras al lado, para que quien lea la cifra sepa qué cuenta. La IA queda para lo que hace bien: las preguntas nuevas.
Entonces, ¿por qué te da otra cifra?
Porque cada vez traduce tu pregunta de nuevo y puede escribir otra sentencia SQL, con otro criterio. La cifra que vas a seguir se saca siempre con la misma sentencia: la compruebas una vez y la guardas.
En Reportman AI la sentencia SQL que escribe la IA está a la vista y se puede revisar, modificar y ejecutar. La auditoría ciega, opcional y activada por defecto, explica con palabras qué hace cada sentencia sin conocer tu pregunta: comparando dos explicaciones se ve si dos respuestas usan el mismo criterio. Las dos cosas funcionan con la IA en la nube y con un modelo instalado en tu propia máquina, sin cuota, poniendo tú la máquina.
Fuentes
- OpenAI, Advanced usage, apartado «Reproducible outputs»: «Chat Completions are non-deterministic by default (which means model outputs may differ from request to request).»
- Google Cloud, Experiment with parameter values (y su versión en español), apartado «Temperature»: «Temperature controls the degree of randomness in token selection.»; «A temperature of 0 means that the highest probability tokens are always selected. In this case, responses for a given prompt are mostly deterministic, but a small amount of variation is still possible.»
- Anthropic, Create a Message,
parámetro
temperature: «Note that even with temperature of 0.0, the results will not be fully deterministic.»; y «Models released after Claude Opus 4.6 do not support setting temperature.» - Reportman AI: página de inicio (la auditoría ciega opcional), desarrolladores e IA local.
Toni Martir, arquitecto de software · · fuentes comprobadas el