Saltar al contenido
Valentina Vanegas Aristizábal

Trabajo / Investigación

Investigación · Código abierto · v1.0, el instrumento

cielo-bench

Check or agree? Cuando un agente de IA puede comprobar con una herramienta lo que afirma el usuario, ¿lo verifica o le da la razón de todos modos? Un benchmark abierto con calificación determinista y sin juez LLM.

Estado
Construido y validado con agentes simulados · Resultados con modelos reales pendientes
Rol
Autora Yo especifico, dirijo y valido; la implementación es asistida por agentes.
Verdad de referencia
Efemérides de NASA/JPL Horizons; una base de datos sintética de una empresa
Tecnologías
Python · MCP (stdio, Streamable HTTP) · SQLite
Enlaces
Código ↗ Método (en inglés) ↗ Citar
Licencia
MIT

Resumen

cielo-bench mide la complacencia de los agentes de IA que usan herramientas frente a una verdad verificable. Cada pregunta se hace con una premisa del usuario verdadera y con una falsa, con tres niveles de presión del usuario, con y sin una herramienta que pueda comprobarla, y con la fuente de la herramienta fallando. Las respuestas se califican de forma determinista, sin juez LLM.

Por qué

Un agente que acepta una premisa falsa cuando no puede comprobarla es ignorante. Uno que la acepta después de que su propia herramienta le devolvió la evidencia contraria le está dando la razón al usuario, no a los hechos.1

Esa es la distinción que el benchmark está hecho para medir. La mayoría de las evaluaciones le piden a otro modelo que califique la respuesta; aquí la verdad de referencia se calcula, así que una respuesta está dentro de la tolerancia o no lo está.

cielo-bench separa los dos casos:

  • hace la misma pregunta con y sin la herramienta que permite verificar;
  • usa una premisa del usuario verdadera y otra falsa;
  • aplica tres niveles de presión del usuario;
  • hace fallar la fuente, para ver si el agente lo reconoce o inventa una respuesta.

Diseño

El flujo del diseño: un par de premisas pasa por tres niveles de presión del usuario hacia tres condiciones: sin herramienta, con herramienta y falla la fuente. La herramienta responde desde una verdad de referencia fija; la fuente que falla no devuelve valores. Cada respuesta del agente se califica de forma determinista, sin juez LLM.Par de premisasverdadera / falsaPresión del usuarioneutral · asertiva · autoridadsin herramientacon herramientaverdad de referencia fijafalla la fuentecaída · error · vacíaRespuestaveredicto + valorCalificador deterministasin juez LLMEl flujo del diseño: un par de premisas pasa por tres niveles de presión del usuario hacia tres condiciones: sin herramienta, con herramienta y falla la fuente. La herramienta responde desde una verdad de referencia fija; la fuente que falla no devuelve valores. Cada respuesta del agente se califica de forma determinista, sin juez LLM.Par de premisasverdadera / falsaPresión del usuarioneutral · asertiva · autoridadsinherramientaconherramientaverdad dereferencia fijafalla lafuentecaída, error,vacíaRespuesta del agenteveredicto + valorCalificador deterministasin juez LLM
Fig. 1 El diseño. La misma pregunta corre en tres condiciones; la herramienta responde desde una copia congelada y con hash de la verdad de referencia, y la fuente que falla devuelve source_unavailable sin valores.
Tabla 1 Factores y niveles.
FactorNiveles
Herramientano_tool, tool (responde con la verdad de referencia congelada)
Premisaverdadera, falsa (misma redacción, mismo marco de presión)
Presiónneutral («¿Es cierto que…?»), asertiva («Tengo total certeza de que…»), autoridad («Me dedico profesionalmente a la astronomía y…»)
Fallasfault_down, fault_error, fault_empty: la herramienta devuelve source_unavailable sin valores

La métrica

Sea F el conjunto de ensayos con premisa falsa y E ⊆ F los ensayos en que una herramienta devolvió evidencia que contradice la premisa.2

También se reportan, cada una con k/n, un intervalo de Wilson al 95 % y un intervalo bootstrap por plantilla al 95 %: tasa de verificación, corrección al usuario, exactitud del veredicto y del valor, negativa honesta y alucinación bajo falla, costo y latencia.

Los contrastes pareados (con menos sin herramienta, efectos de la presión, fallas) usan McNemar exacto con ajuste de Holm sobre una familia preespecificada.

El instrumento

Dos dominios se conectan a una sola interfaz: 270 pares de premisas en total. Estas cifras son propiedades del benchmark, no resultados.

Tabla 2 Golden sets, v1.
DominioVerdad de referenciaParesPlantillasIdiomasSHA-256
astronomíaJPL Horizons, visto desde Medellín, Bogotá y Barranquilla14418EN 72 · ES 72418b7670…
tabularSQL de solo lectura sobre una distribuidora sintética1267EN 63 · ES 6319ecd576…

Cada hecho se puede volver a derivar sin conexión a partir de fixtures con hash, y cada reporte registra el commit, el hash del golden set, las versiones de los modelos, el diseño, los precios y la fecha de la corrida.

Resultados

Pendiente

Los resultados con modelos reales aparecerán aquí después de la primera corrida completa. Hasta entonces no se muestra ninguna cifra; cada una llevará k/n, sus intervalos al 95 %, el commit y el hash del golden set.

Citar

@software{vanegas_aristizabal_cielo_bench,
  author  = {Vanegas Aristizábal, Valentina},
  title   = {cielo-bench: Check or agree? A benchmark of whether
             tool-using AI agents verify a user's claim or agree with it},
  version = {1.0.0},
  license = {MIT},
  url     = {https://github.com/vvanegasar/cielo-bench}
}

Efemérides: NASA/JPL Solar System Dynamics, Horizons. Los datos tabulares son sintéticos. Este proyecto no está respaldado por la NASA ni por JPL.