Teoría11 de septiembre de 20266 min de lectura

El silencio de tu IA no es buena señal, aunque lo parezca

Un sistema de avisos con IA estuvo 15 días seguidos diciendo "nada que anunciar" mientras dos canales de salida llevaban caídos desde antes, uno desde julio. Una integración real estuvo 5,5 días parada sin que nadie se enterara. La regla que aplicamos para que no vuelva a pasar.

Pol

Fundador de AutoBoost

Agentes de IAFiabilidad
El silencio de tu IA no es buena señal, aunque lo parezca

Tu IA lleva dos semanas sin avisarte de nada. Podrías leerlo como la mejor noticia posible: todo funciona, nada se ha roto, puedes dejar de mirar el panel. O podrías leerlo como lo que de verdad es la mayoría de las veces: una pregunta sin responder. Nos pasó con un sistema propio que vigila varias integraciones, y el resultado nos hizo cambiar una regla que dábamos por buena.

Qué pasó: 15 días diciendo "nada que anunciar"

Tenemos un vigilante que revisa cada diez minutos la salud de varias integraciones (entre ellas, las de un grupo de farmacias que centraliza su dato con nosotros) y avisa en cuanto algo falla. Durante quince días seguidos, ese vigilante dijo, ciclo tras ciclo, que no había nada que anunciar.

El problema es que sí lo había. Los dos canales de salida por los que ese vigilante manda sus avisos llevaban caídos desde antes de empezar esos quince días: uno desde el 23 de agosto, el otro desde julio. Y mientras tanto, una de las integraciones vigiladas estuvo parada cinco días y medio, sin que ningún aviso llegara a ningún sitio.

Lo más incómodo de esta historia no es que dos canales se rompieran a la vez, aunque eso también hay que explicarlo. Lo más incómodo es que el vigilante siguió funcionando perfectamente por dentro todo ese tiempo: detectaba el problema, lo guardaba, lo clasificaba. Simplemente dejó de decírselo a nadie, y nada en el panel distinguía ese silencio de un silencio de verdad tranquilo.

El fallo no estaba en detectar. Estaba en dar por hecho que había avisado

Cuando repasamos el código, la causa no fue sofisticada: en cuanto el sistema intentaba enviar un aviso, lo marcaba como "ya avisado", sin comprobar si el envío había llegado a algún sitio. Intentar y conseguir se trataban como lo mismo.

Esa diferencia parece pequeña hasta que un canal se cae. En cuanto eso pasa, el sistema sigue "intentando" y sigue marcando cada intento como resuelto, aunque el mensaje nunca salga. Y como ya está marcado como avisado, el ciclo siguiente no lo vuelve a intentar: no hay razón para reintentar algo que, según su propio registro, ya se hizo. El fallo se vuelve permanente solo, sin que nadie tenga que empeorarlo.

El arreglo fue el contrario exacto de esa lógica: un aviso que no se puede confirmar entregado se queda sin fecha de resolución, así que el ciclo siguiente lo vuelve a intentar. Confirmar la entrega, no el intento, es lo que decide si algo queda cerrado.

El coste real: 5,5 días de una integración caída, cero avisos

Con los canales de salida rotos, la parte de detección del vigilante nunca dejó de funcionar. Detectó el problema desde el primer minuto, lo clasificó bien, y lo guardó exactamente como debía. El fallo estaba a un paso de distancia de donde todo el mundo mira cuando algo así ocurre: no en si el sistema "vio" el problema, sino en si alguien llegó a saberlo.

Esa distancia es la que costó cinco días y medio de una integración caída sin que nadie interviniera, porque nadie sabía que había algo que intervenir. No fue un error de cálculo, ni un dato mal etiquetado. Fue una cadena de eventos en la que cada pieza individual funcionaba (detectar, clasificar, "avisar") y el conjunto, aun así, no cumplía su único propósito, que era que un humano se enterara.

La regla de decisión: el silencio necesita su propia alarma

De aquí sale la regla que aplicamos ahora en cualquier sistema de avisos que montamos, con IA o sin ella:

Un silencio prolongado no es la ausencia de problemas, es en sí mismo un problema pendiente de descartar. Si tu sistema de avisos lleva más tiempo del habitual sin decir nada, la pregunta correcta no es "qué bien, todo tranquilo", es "¿sigo teniendo forma de comprobar que el propio aviso funciona?".

En la práctica, esto se traduce en dos cambios de diseño:

  1. No marques nada como "avisado" hasta que confirmes la entrega. Intentar enviar un correo, un mensaje o una notificación no es lo mismo que haberlo entregado. Si tu sistema no distingue las dos cosas, cualquier fallo en el canal de salida se vuelve invisible y permanente al mismo tiempo.
  2. Pon un límite de tiempo al propio silencio. Si han pasado más ciclos de los esperados sin que salga ni un solo aviso (ni uno, de ningún tipo), eso debería disparar una alarma aparte, por un canal distinto, que pregunte explícitamente "¿sigue vivo el que avisa?".

Checklist: cómo comprobarlo en tu propio sistema de avisos con IA

PreguntaQué revela
¿Tu sistema distingue "lo intenté" de "se entregó"?Si no lo distingue, un canal caído se disfraza de "todo resuelto".
¿Un aviso no confirmado se reintenta en el ciclo siguiente, o se da por hecho?Si se da por hecho, el fallo se vuelve permanente sin que nadie lo empeore.
¿Cuánto tiempo llevas sin recibir ni un solo aviso, de ningún tipo?Ponle un número. Si no lo sabes, no tienes forma de distinguir calma de silencio roto.
¿Hay una alarma independiente para ese silencio prolongado?Sin ella, el único síntoma de un canal caído es la ausencia de síntomas.
¿Cuándo probaste por última vez, a propósito, que un aviso llega de verdad?Si nunca lo has probado, no sabes si funciona, solo que nunca hizo falta.

Por qué esto pesa más cuanto más deja tu IA de solo avisar

Si tu sistema solo te manda un correo cuando algo va mal, quince días de silencio son un susto tardío. Pero cuanto más avanza un negocio en usar IA (no solo para detectar, sino para actuar sobre el sistema real: recomendar compras, enviar pedidos, contabilizar facturas), más caro sale que el aviso de un fallo se pierda por el camino. En la plataforma de datos con IA de un grupo de farmacias, la misma IA que vigila la integración es la que después razona sobre ese dato para recomendar compras y enviar pedidos reales al distribuidor: un fallo de integración que nadie ve durante cinco días y medio no es un detalle técnico, es una decisión de negocio tomada sobre un dato que ya no estaba llegando.

La lección no es "monta más alarmas". Es más concreta: la parte de tu sistema que se supone que te avisa merece la misma sospecha que cualquier otra pieza que pueda fallar, y su propio silencio prolongado es el primer síntoma que hay que ir a comprobar, no el último.

Si tienes procesos con IA que dependen de avisar de algo (una integración, una conciliación, un stock, una notificación fiscal) y no sabes con certeza qué pasaría si el propio aviso dejara de llegar durante dos semanas, en AutoBoost construimos software e IA a medida pensado para que esa duda tenga una respuesta comprobable, no una esperanza. Hablemos en una llamada y lo revisamos juntos.

Compartir artículo
El silencio de tu IA no es buena señal (aunque lo parezca) | AutoBoost