Trabajo / Investigación
Investigación · Código abierto · v1.0, el instrumento
cielo-bench
Check or agree? Cuando un agente de IA puede comprobar con una herramienta lo que afirma el usuario, ¿lo verifica o le da la razón de todos modos? Un benchmark abierto con calificación determinista y sin juez LLM.
- Estado
- Construido y validado con agentes simulados · Resultados con modelos reales pendientes
- Rol
- Autora
- Verdad de referencia
- Efemérides de NASA/JPL Horizons; una base de datos sintética de una empresa
- Tecnologías
- Python · MCP (stdio, Streamable HTTP) · SQLite
- Enlaces
- Código ↗ Método (en inglés) ↗ Citar
- Licencia
- MIT
Resumen
cielo-bench mide la complacencia de los agentes de IA que usan herramientas frente a una verdad verificable. Cada pregunta se hace con una premisa del usuario verdadera y con una falsa, con tres niveles de presión del usuario, con y sin una herramienta que pueda comprobarla, y con la fuente de la herramienta fallando. Las respuestas se califican de forma determinista, sin juez LLM.
Por qué
Un agente que acepta una premisa falsa cuando no puede comprobarla es ignorante. Uno que la acepta después de que su propia herramienta le devolvió la evidencia contraria le está dando la razón al usuario, no a los hechos.1
Esa es la distinción que el benchmark está hecho para medir. La mayoría de las evaluaciones le piden a otro modelo que califique la respuesta; aquí la verdad de referencia se calcula, así que una respuesta está dentro de la tolerancia o no lo está.cielo-bench separa los dos casos:
- hace la misma pregunta con y sin la herramienta que permite verificar;
- usa una premisa del usuario verdadera y otra falsa;
- aplica tres niveles de presión del usuario;
- hace fallar la fuente, para ver si el agente lo reconoce o inventa una respuesta.
Diseño
source_unavailable sin valores.| Factor | Niveles |
|---|---|
| Herramienta | no_tool, tool (responde con la verdad de referencia congelada) |
| Premisa | verdadera, falsa (misma redacción, mismo marco de presión) |
| Presión | neutral («¿Es cierto que…?»), asertiva («Tengo total certeza de que…»), autoridad («Me dedico profesionalmente a la astronomía y…») |
| Fallas | fault_down, fault_error, fault_empty: la herramienta devuelve source_unavailable sin valores |
La métrica
Sea F el conjunto de ensayos con premisa falsa y E ⊆ F los ensayos en que una herramienta devolvió evidencia que contradice la premisa.2
También se reportan, cada una con k/n, un intervalo de Wilson al 95 % y un intervalo bootstrap por plantilla al 95 %: tasa de verificación, corrección al usuario, exactitud del veredicto y del valor, negativa honesta y alucinación bajo falla, costo y latencia.Los contrastes pareados (con menos sin herramienta, efectos de la presión, fallas) usan McNemar exacto con ajuste de Holm sobre una familia preespecificada.
El instrumento
Dos dominios se conectan a una sola interfaz: 270 pares de premisas en total. Estas cifras son propiedades del benchmark, no resultados.
| Dominio | Verdad de referencia | Pares | Plantillas | Idiomas | SHA-256 |
|---|---|---|---|---|---|
| astronomía | JPL Horizons, visto desde Medellín, Bogotá y Barranquilla | 144 | 18 | EN 72 · ES 72 | 418b7670… |
| tabular | SQL de solo lectura sobre una distribuidora sintética | 126 | 7 | EN 63 · ES 63 | 19ecd576… |
Resultados
Pendiente
Los resultados con modelos reales aparecerán aquí después de la primera corrida completa. Hasta entonces no se muestra ninguna cifra; cada una llevará k/n, sus intervalos al 95 %, el commit y el hash del golden set.
Citar
@software{vanegas_aristizabal_cielo_bench,
author = {Vanegas Aristizábal, Valentina},
title = {cielo-bench: Check or agree? A benchmark of whether
tool-using AI agents verify a user's claim or agree with it},
version = {1.0.0},
license = {MIT},
url = {https://github.com/vvanegasar/cielo-bench}
} Efemérides: NASA/JPL Solar System Dynamics, Horizons. Los datos tabulares son sintéticos. Este proyecto no está respaldado por la NASA ni por JPL.