La IA te da una cifra de tu base de datos: ¿cómo sabes si es cierta?
· Toni Martir, arquitecto de software
Alguien de ventas escribe en la herramienta de IA de la empresa «¿cuánto facturamos en septiembre?» y recibe una cifra con céntimos. Tiene todo el aspecto de ser exacta. Puede estar bien sumada y no ser la cifra que se pedía.
Lo advierten los propios fabricantes. La documentación de Gemini en BigQuery, la herramienta de Google que escribe sentencias SQL a partir de una pregunta, avisa de que «puede que genere resultados que sean incorrectos aunque parezcan plausibles» y recomienda validarlos todos antes de usarlos. La cuestión es cómo se valida una cifra cuando quien la recibe no es informático.
La cuenta está bien; la pregunta, no siempre
Una herramienta así traduce tu pregunta a una sentencia SQL (una orden técnica, escrita en el lenguaje que entienden las bases de datos), y es esa sentencia, y no la IA, la que saca los datos: la base de datos la ejecuta y la cuenta sale bien. Lo que puede fallar es la traducción. «Lo facturado en septiembre» admite varias lecturas, y si nadie lo aclara, la IA escoge una. En BIRD, la prueba pública con la que se comparan estos sistemas, el mejor da el resultado correcto en 82,95 de cada 100 preguntas.
«¿Cuánto facturamos en septiembre?»: cinco lecturas
Un ejemplo de oficina. Si quien pregunta quería el importe sin IVA de lo facturado, sólo la última fila le contesta; y las cinco salen con céntimos y con el mismo aspecto de cifra exacta.
La comprobación que siempre puedes hacer: la auditoría ciega
Casi nunca tienes la cifra buena con la que comparar: si la tuvieras, no se la preguntarías a la IA. Lo que sí puedes pedir es la sentencia SQL, y que alguien te diga con palabras qué hace exactamente: qué suma, de qué fechas, qué deja fuera y si cuenta algo dos veces. Puede ser una persona de informática u otra IA (incluso la misma, en una conversación nueva), con una condición: que no sepa qué preguntaste. Eso es una auditoría ciega, y la última palabra es tuya, porque sólo tú sabes qué querías preguntar. Si esa IA no cobra en euros, cobra en otra moneda: la sentencia describe tu negocio.
Por qué no puede auditarla la IA que la escribió
Lo cómodo es pedirle la explicación a la IA que escribió la sentencia, en la misma conversación. Es justo a quien no hay que pedírsela. Tiene delante tu pregunta y todo lo hablado (lo que los técnicos llaman su contexto), y lee la sentencia a través de ello: te cuenta lo que quería hacer, que es lo que le pediste, y no lo que la sentencia hace.
Por eso, si se equivocó al entenderte, se equivoca igual al explicarse. Si tomó «lo facturado» por el total con IVA, te dirá «suma lo facturado en septiembre», y no notarás nada. Quien desconoce la pregunta tiene que leer la sentencia tal cual: «suma el total con IVA de las facturas de septiembre». Ahí sí lo ves. Es lo mismo que en contabilidad: a quien hizo el asiento no se le pide que lo revise.
Entonces, ¿cómo sabes si es cierta?
Lo sabes cuando sabes a qué pregunta contesta, y eso te lo dice una auditoría ciega: una lectura de la sentencia hecha por alguien que no conoce tu pregunta. Si la herramienta esconde la sentencia, la cifra se queda sin comprobar, por bien que suene.
En Reportman AI la IA escribe la sentencia SQL, la cifra la da tu base de datos y la sentencia está a la vista y se puede revisar y modificar. La auditoría ciega es una llamada aparte a la IA que recibe la sentencia y la descripción de tus tablas, pero no tu pregunta ni la conversación, y cuenta con palabras qué hace. Es opcional y viene activada por defecto: déjala así. Todo ello funciona también con un modelo instalado en tu propia máquina, sin cuota, poniendo tú la máquina.
Fuentes
- Google Cloud, Escribir consultas con la ayuda de Gemini, apartado «Generar una consulta de SQL». En el original inglés: «As an early-stage technology, Gemini for Google Cloud products can generate output that seems plausible but is factually incorrect. We recommend that you validate all output from Gemini for Google Cloud products before you use it.»
- BIRD, clasificación de precisión de ejecución, tabla «Overall Leaderboard», columna del conjunto de prueba: primer sistema, GrainSQL (Purdue University, 26 de septiembre de 2026), 82,95. Consultada el 16 de octubre de 2026.
- Reportman AI: página de inicio (las tres formas de responder y la auditoría ciega opcional), desarrolladores e IA local.
Toni Martir, arquitecto de software · · fuentes comprobadas el