Un agente de IA fiable al 95% acierta el 36% de las veces

TL;DR: Un agente de IA que acierta el 95% de las veces en cada paso acierta el 36% de las veces cuando encadena veinte. La fiabilidad de un agente no se compra cambiando de modelo: se construye acortando la cadena, poniendo los límites fuera del prompt y midiendo el resultado contra el estado real de los sistemas, no contra lo que el agente dice que ha hecho.

El número que suena bien y no lo es

Un 95% de acierto parece una cifra excelente. En un examen sería un sobresaliente; en un proceso industrial, un nivel de calidad razonable. En un agente de IA que trabaja solo, es una cifra que engaña, y engaña por una razón puramente aritmética.

Un agente no ejecuta una acción: ejecuta una cadena. Lee un correo, consulta el CRM, comprueba una condición, redacta una respuesta, actualiza un registro, avisa a alguien. Cada uno de esos pasos tiene su propia probabilidad de salir bien, y esas probabilidades se multiplican entre sí.

Con un 95% por paso:

• 5 pasos: el flujo completo sale bien el 77% de las veces.
• 10 pasos: el 60%.
• 20 pasos: el 36%.

Dicho de otro modo: un agente "muy fiable" al que se le encarga un proceso de veinte pasos falla en dos de cada tres ejecuciones. Y no falla porque el modelo sea malo. Falla porque nadie hizo la multiplicación.

Qué cambia si se sube el listón

La misma aritmética explica por qué el esfuerzo de ingeniería se concentra donde se concentra. Sobre veinte pasos:

Fiabilidad por paso	Éxito del flujo completo
95%	36%
99%	82%
99,9%	98%

El salto del 95% al 99% no es un ajuste fino: es la diferencia entre un proceso inservible y uno utilizable. Y el salto del 99% al 99,9% es lo que separa un proceso utilizable de uno que se puede dejar sin supervisar de noche.

Aquí está la trampa: esa mejora no se consigue eligiendo un modelo más listo. Un modelo mejor sube unos puntos la probabilidad de cada paso individual. Lo que mueve la aguja de verdad es cambiar la forma del proceso.

Lo que dicen los datos del mercado

La conclusión no es teórica. Gartner predice que más del 40% de los proyectos de IA agéntica se cancelarán antes de finales de 2027, y señala tres causas: costes crecientes, valor de negocio poco claro y controles de riesgo inadecuados.

Ninguna de las tres es un problema de modelo. Las tres son problemas de arquitectura y de gobierno.

El mismo análisis añade un dato que conviene tener presente al elegir proveedor: Gartner estima que, de los miles de fabricantes que hoy se anuncian como agénticos, solo unos 130 lo son de verdad. Al resto lo describe con un término preciso — agent washing: rebautizar como agentes productos que ya existían, asistentes, RPA y chatbots, sin capacidades agénticas sustanciales.

Las seis capas: solo una se compra

Un agente en producción se apoya en seis capas, y merece la pena nombrarlas porque aclara dónde está el trabajo real:

1. Modelo — la capacidad de razonar. Se licencia, se cambia, mejora sin que nadie haga nada.
2. Contexto — lo que el agente puede ver: qué datos alcanza, con qué histórico, contra qué sistema de registro.
3. Herramientas — lo que puede hacer: qué funciones y qué permisos se le exponen.
4. Control — el bucle que decide qué pasa después: cómo planifica, cómo enruta y, sobre todo, cuándo para.
5. Guardarraíles — lo que no se le permite, impuesto fuera del prompt.
6. Observabilidad — trazas y registro suficientes para demostrar, meses después, qué hizo y por qué.

La primera se compra. De las otras cinco responde la empresa que despliega el agente. Cuando un proyecto agéntico decepciona, casi nunca es la primera capa la que ha fallado.

Tres decisiones que suben la fiabilidad sin tocar el modelo

Acortar la cadena. Si veinte pasos dan un 36%, la primera pregunta no es cómo mejorar cada paso, sino cuántos de esos veinte pasos existen porque el proceso se diseñó para una persona. Partir un flujo largo en dos flujos cortos con un punto de control humano entre medias no es renunciar a automatizar: es multiplicar por dos la tasa de éxito.

Sacar los límites del prompt. Si lo único que impide a un agente hacer algo es una frase escrita en sus instrucciones, no hay guardarraíl: hay una recomendación. Un límite de verdad vive en los permisos, en la herramienta o en una validación que se ejecuta pase lo que pase. La diferencia se nota el día que hay que explicárselo a un auditor: no es lo mismo decir "se lo hemos prohibido" que decir "no puede".

Medir contra el sistema, no contra el agente. Un agente puede afirmar que ha enviado un correo, actualizado una ficha o escalado una incidencia sin haberlo hecho. La única comprobación válida es mirar el estado del sistema: ¿está el correo en la bandeja de enviados? ¿tiene el registro la fecha nueva? Cualquier medición basada en lo que el agente relata en su resumen mide narrativa, no ejecución.

La métrica que casi nadie mira

Cuando un agente trabaja con supervisión humana, hay un número que resume su salud mejor que cualquier otro: la tasa de override, el porcentaje de veces que la persona que revisa cambia lo que el agente propuso.

Se lee en las dos direcciones:

• Muy alta — el agente no está listo, y la supervisión está haciendo el trabajo en lugar de comprobarlo.
• Cercana a cero — atención, porque casi nunca significa perfección. Suele significar que la revisión se ha convertido en una firma automática, y entonces el control ha dejado de existir aunque siga en el organigrama.

Una tasa de override sana es una tasa que baja con el tiempo y que nunca llega a cero.

Por dónde empezar

Tres cosas, y ninguna requiere cambiar de proveedor:

1. Contar los pasos de un flujo que ya esté automatizado y hacer la multiplicación. El número que salga suele explicar por sí solo la sensación de que "a veces funciona y a veces no".
2. Revisar dónde vive cada límite. Si está en el prompt, no está.
3. Elegir una sola métrica de éxito medida contra el sistema, fijar cuál es el estado actual y volver a medirla dentro de treinta días.

Un agente fiable no es el que usa el mejor modelo. Es el que tiene menos pasos que fallar, límites que no dependen de su buena voluntad y alguien capaz de demostrar, seis meses después, qué hizo exactamente.

---

Fuentes:

• Gartner — Gartner Predicts Over 40% of Agentic AI Projects Will Be Canceled by End of 2027 (25 jun 2025): https://www.gartner.com/en/newsroom/press-releases/2025-06-25-gartner-predicts-over-40-percent-of-agentic-ai-projects-will-be-canceled-by-end-of-2027