Teoría1 de agosto de 20266 min de lectura

Tu IA cumple las reglas que le diste, hasta que deja de cumplirlas

Le dimos a nuestra IA una guía de estilo por escrito y dimos por hecho que la seguía. No era así. Contamos qué comprobamos cada día para saberlo de verdad, y qué encontramos al contrastarlo contra los resultados reales de una semana.

Pol

Fundador de AutoBoost

Agentes de IAIA aplicada
Tu IA cumple las reglas que le diste, hasta que deja de cumplirlas

Tu IA puede tener la mejor guía de estilo del mundo, y aun así saltársela sin que nadie se entere.

Es lo que nos pasó en AutoBoost con el motor que escribe el blog y los posts de LinkedIn cada día. Le dimos una guía por escrito con dos reglas muy concretas: que la palabra "IA" apareciera en las primeras palabras del titular o del gancho, y que dos posts del mismo día no arrancaran con las mismas palabras. Durante un tiempo dimos por hecho que se cumplían, porque estaban por escrito. Hasta que montamos un comprobante automático y descubrimos que tener la regla escrita y que la regla se cumpla son dos cosas distintas.

La guía es una instrucción, no una garantía

Cualquiera que ponga una IA a generar contenido, respuestas o documentos siguiendo un procedimiento (una guía de marca, un guion de atención al cliente, un criterio de clasificación contable) da por hecho lo mismo: que si la instrucción está escrita, se sigue. No es así. Un modelo puede desviarse en un caso de cada diez, o en uno de cada cien, y nadie se entera hasta que alguien revisa a mano, que es justo lo que se quería evitar al automatizar el proceso.

La solución no es escribir la guía con más detalle. Es dejar de confiar solo en la instrucción y empezar a comprobar el resultado, pieza a pieza, todos los días.

Dos reglas, comprobadas cada día, sin bloquear nada

Al aviso diario que ya teníamos (confirma que el contenido automático se ha publicado) le añadimos una segunda capa: comprobar que cada pieza cumple dos reglas de estilo fijadas por escrito en la guía.

  1. La palabra "IA" en las primeras palabras. No basta con buscarla como fragmento de texto, porque eso daría por buena cualquier coincidencia parcial (una palabra que la contenga por casualidad). El comprobante compara palabra por palabra contra el titular o el gancho, no por subcadena.
  2. Dos posts de LinkedIn del mismo día no pueden arrancar igual. LinkedIn construye la URL del post con las primeras palabras del texto, y el importador de analítica cruza los posts por esa URL. Si dos posts comparten arranque, la analítica se le asigna al post equivocado y ya no sabes cuál funcionó de verdad.

El comprobante no bloquea nada, no impide publicar, porque el motor que escribe corre solo, sin nadie revisando en directo. Lo que hace es avisar el mismo día, por WhatsApp y por correo, en cuanto detecta un incumplimiento. Es la diferencia entre enterarte hoy o enterarte dentro de tres semanas, con veinte piezas publicadas ya con el mismo fallo.

Lo que dijeron los resultados reales

Escribir el comprobante era la parte fácil. La que de verdad importaba era contrastarlo contra algo real: ¿la regla predice de verdad qué piezas funcionan mejor?

Se revisaron los posts de LinkedIn de esa semana contra su rendimiento real:

Post¿Cumple las dos reglas?Resultado
Post sobre RAGDespegó (el mejor de la cuenta)
Post sobre agentes de IADespegó
Resto de posts de esa semanaNoSe quedaron planos
Post sobre el dato ("Ordena el dato antes de meter IA")Cumple, pero con "IA" en quinta posiciónSe quedó plano igualmente

Las dos primeras filas confirman la regla: cumplir la guía coincide con los posts que funcionaron. Pero la última fila la matiza: cumplir la letra de la regla (la palabra estaba dentro de las primeras palabras) no bastó para salvar un post sin gancho ni cifra dentro. La posición exacta de la palabra también pesa, y eso no estaba escrito en ningún sitio hasta que los propios datos lo enseñaron.

Ese es el punto que de verdad interesa a cualquier negocio que meta una IA a seguir un procedimiento: la comprobación automática no se puede quedar en teoría. Hay que contrastarla contra resultados reales de vez en cuando, porque puede aparecer una excepción que obligue a matizar la regla, no solo casos que la confirmen.

Por qué esto no es solo cosa de un blog

El mismo patrón aparece en cualquier IA que trabaje siguiendo reglas de negocio:

  • Una IA que atiende clientes por WhatsApp con un guion fijo: ¿cómo sabes si se ha saltado un paso obligatorio (pedir el NIF, confirmar el pedido) en alguna conversación, sin releer las cien de la semana a mano?
  • Una IA que clasifica facturas por cuenta contable: ¿cómo sabes si ha empezado a clasificar mal una categoría concreta, antes de que se acumulen treinta errores?
  • Una IA que redacta comunicaciones a clientes: ¿cómo sabes si ha dejado de incluir una cláusula legal obligatoria en alguna de ellas?

En un caso que trabajamos con un grupo veterinario, la IA que contabiliza facturas lleva este mismo principio integrado desde el diseño: extrae los datos, empareja el proveedor, cuadra los impuestos por línea y solo crea la factura en el sistema si el total verificado cuadra al céntimo. Si no cuadra, la borra. Puedes ver el caso completo en facturas que se contabilizan solas. La lección de fondo es la misma que la del comprobante de estilo: no basta con darle a la IA la instrucción correcta, hay que darle también la capacidad de comprobar su propio resultado antes de darlo por bueno.

Cómo montar tu propio comprobante

No hace falta un sistema complejo para empezar. El patrón que nos funciona:

  • Escribe la regla de forma verificable, no ambigua. "Que suene profesional" no se puede comprobar de forma automática; "que la palabra X esté entre las primeras N palabras" sí.
  • Compara de forma literal, no por intuición. Un modelo comprobando a otro modelo con lenguaje natural es más barato de montar, pero menos fiable que una comparación exacta cuando la regla lo permite.
  • Avisa, no bloquees, al principio. Si el proceso corre sin supervisión humana en directo, un aviso el mismo día es más realista que intentar bloquear cada fallo con reglas perfectas desde el primer día.
  • Contrasta la regla contra resultados reales cada cierto tiempo. Una regla que nadie revisa contra la realidad se convierte en superstición, se cumpla o no.

La pregunta que te tienes que hacer

Si ya tienes una IA siguiendo un procedimiento en tu negocio (un guion, una guía de marca, un criterio de clasificación), la pregunta no es si le diste las instrucciones correctas. Es si hoy sabrías, el mismo día, si ha dejado de seguirlas.

En AutoBoost construimos software e IA a medida integrados en tu sistema real, con la capa de comprobación pensada desde el diseño, no como un parche que se añade después de que algo salga mal. Puedes ver cómo lo montamos en distintos sectores en nuestros servicios y contactarnos para hablar de tu caso.

Compartir artículo
Tu IA cumple las reglas, hasta que deja de cumplirlas | AutoBoost