Un agente de IA que "funciona" y un agente de IA que hace lo que le pediste no son la misma cosa, y la diferencia solo se nota el día que ya ha tocado datos reales. El primero se ejecuta, escribe algo, crea un registro, no da ningún error. El segundo, además, cumple la regla que le pusiste, y alguien lo ha comprobado con datos de verdad, no solo con la palabra del agente.
En AutoBoost lo hemos aprendido por dos vías a la vez: montando agentes que crean facturas y pedidos reales en el sistema del cliente, y montando el sistema que audita a nuestro propio agente de contenido. Esto es lo que probamos antes de dejar que cualquier agente toque algo que de verdad importa, y el orden en el que lo hacemos.
Por qué "funciona" es la trampa
Cuando alguien prueba un agente de IA por primera vez, la pregunta que se hace casi siempre es "¿se ejecuta bien?". Y sí: no da error, escribe una respuesta razonable, parece funcionar. El problema es que esa pregunta solo comprueba que el agente corrió, no que acertó. Un agente puede ejecutarse perfectamente y seguir haciendo algo distinto de lo que le pediste, porque nada en "se ejecutó sin error" comprueba si siguió la regla que le diste o se la saltó con buena letra.
Esto pasa incluso, o sobre todo, cuando la instrucción está escrita con cuidado. Una guía por escrito es una intención, no una garantía: el agente puede leerla, generar algo que "suena" a lo que pide la guía y aun así incumplirla en el detalle que importa. Si nadie comprueba el resultado contra la regla real, ese incumplimiento no se ve nunca, se disfraza de éxito.
El caso real: montamos un agente y luego montamos quien lo audita
En AutoBoost tenemos un agente que escribe contenido siguiendo una guía editorial escrita, con reglas concretas: por ejemplo, que una palabra clave aparezca dentro de las seis primeras palabras del titular, o que dos publicaciones del mismo día no empiecen igual (porque LinkedIn construye la URL del post con el arranque del texto, y si dos coinciden, la analítica se cruza y se asigna al post equivocado).
Escribir la regla no bastaba. Así que montamos un segundo sistema, independiente del primero, cuyo único trabajo es auditar cada pieza que publica el agente contra esas reglas, y cruzar el resultado con el rendimiento real de las publicaciones anteriores, no solo con la instrucción escrita.
El resultado, al comprobarlo contra una semana de publicaciones reales, fue este: los dos posts que despegaron en LinkedIn cumplían las reglas nuevas; los que se quedaron planos las incumplían, con una única excepción, un post que sí cumplía la regla de posición de la palabra clave y aun así no despegó. Es decir, la regla se confirmó en casi todos los casos, pero no en el cien por cien, y esa excepción es exactamente lo que un agente sin auditar jamás te enseña. Sin ese segundo sistema, nadie se habría enterado de que la regla era buena en general y de que tenía un caso que la contradecía: solo se ve eso si comprometes el resultado del agente contra datos reales, no contra la palabra del propio agente.
Lo mismo pasa cuando el agente toca dinero, no solo texto
La misma disciplina, aplicada a algo con más riesgo, es la que usamos cuando un agente actúa sobre el sistema real de un cliente. En el caso de facturas que se contabilizan solas de un grupo veterinario, la IA extrae los datos de la factura, empareja el proveedor y cuadra los impuestos línea por línea, pero antes de dar el proceso por bueno verifica el total contra el documento original, y si no cuadra, borra la factura que acababa de crear. El agente no "confía en sí mismo": el sistema comprueba su resultado con un dato externo, y si no pasa la comprobación, deshace lo que había hecho.
En el comercial de IA dentro del ERP de una distribuidora industrial pasa algo parecido: antes de crear una oportunidad o un pedido real a partir de una conversación de WhatsApp, el agente valida al cliente, aplica la tarifa correcta y comprueba el stock. Son tres comprobaciones contra el sistema real, no contra lo que el agente "cree" que ha entendido de la conversación.
En los dos casos, el patrón es el mismo que en el agente de contenido: el agente hace su trabajo, y otra pieza, separada, comprueba el resultado contra algo que no depende del propio agente. Cambia lo que se audita (una factura, un pedido, un titular), pero no cambia la disciplina.
Checklist: qué probar antes de dejar que un agente toque datos reales
| Pregunta | Por qué importa |
|---|---|
| ¿Tiene una regla explícita que pueda incumplir? | "Hazlo bien" no es una regla, es un deseo. Si no puedes describir cómo se ve un incumplimiento, no hay nada que auditar. |
| ¿Hay una forma de comprobar el resultado sin preguntarle al agente si le ha ido bien? | Un total contra el documento original, un stock real, una analítica real. Si la única fuente es el propio agente, no has probado nada. |
| ¿Qué hace el sistema cuando el resultado no cuadra? | Para, avisa o deshace lo hecho (como la factura que se borra sola) son las tres opciones válidas. "Sigue como si nada" no lo es. |
| ¿Se ha comprobado la regla contra datos reales, no solo contra la instrucción escrita? | Una regla que nadie ha cruzado con resultados reales es una hipótesis, no una regla, aunque esté muy bien escrita. |
| ¿Quién revisa las excepciones? | El caso que cumple la regla y aun así falla es el que más enseña. Si nadie lo mira, la regla se queda a medio validar para siempre. |
La regla de decisión
Si no puedes describir en una frase qué comprueba tu agente además de "que se ha ejecutado sin error", no lo has probado: lo has estrenado directamente en producción, con tus datos reales haciendo de prueba. La pregunta que separa un agente fiable de uno arriesgado no es "¿funciona?", es "¿quién comprueba que ha acertado, y con qué dato que no dependa de él mismo?".
Es la misma idea que aplicamos a todo lo que construimos en AutoBoost: primero se ordena el proceso y se define qué significa acertar, y solo después se deja que la IA actúe sola sobre datos que importan de verdad.
Si tienes un agente de IA (propio, de un SaaS o a medio montar) que va a tocar facturas, pedidos, clientes o cualquier dato del que dependa tu negocio, y no tienes claro cómo se comprobaría que ha acertado, hablemos. En AutoBoost construimos software e IA a medida integrados en tu sistema real, con la validación pensada desde el primer día, no añadida después de un susto. Contacta con nosotros y lo revisamos juntos.
