Teoría30 de julio de 20267 min de lectura

Pregúntale a la IA qué canal gana, y te puede mentir con un porcentaje

Un 43,75% de clics suena mejor que un 0,10%. El problema es que uno salía de 16 casos y el otro de 86.721. Cómo evitar que tu IA (o tú) saque la conclusión contraria.

Pol

Fundador de AutoBoost

DatosIA aplicada
Pregúntale a la IA qué canal gana, y te puede mentir con un porcentaje

Pregúntale a una IA (o a un becario, o a ti mismo un lunes por la mañana) qué red social funciona mejor, y es fácil que te conteste con el porcentaje más alto que encuentre. El problema es que un porcentaje sin su volumen detrás no es un dato, es una trampa con muy buena pinta. Nos pasó a nosotros mismos hace pocos días, con nuestro propio panel de contenido, y la lección se aplica a cualquier negocio que mire un cuadro de mando y decida algo a partir de él.

El problema: dos porcentajes, una conclusión equivocada

En AutoBoost publicamos contenido a diario en varias redes (LinkedIn, Threads, Facebook, Instagram) y queríamos saber, sin adivinar, cuál traía tráfico de verdad al blog. Al mirar el panel por red, Threads salía con un 43,75% de CTR (clics sobre impresiones) y LinkedIn con un 0,10%. Leído así, la decisión parece obvia: dedicar más esfuerzo a Threads, que "convierte 400 veces mejor".

Es la conclusión contraria a la real. El 43,75% de Threads salía de 16 impresiones (7 clics sobre 16 veces que se vio el post). El 0,10% de LinkedIn salía de 86.721 impresiones. Un porcentaje calculado sobre 16 casos no es una tasa fiable, es prácticamente una moneda al aire: con esa base, el resultado podía haber sido igual de bien un 6% o un 60% sin que cambiara nada de fondo. El de LinkedIn, en cambio, con esa base tan grande, sí describe un comportamiento real, aunque el número parezca peor a simple vista.

Si hubiéramos actuado sobre el primer porcentaje que vimos, habríamos apostado el esfuerzo de contenido por la red equivocada.

La trampa, explicada sin estadística

No hace falta saber estadística para entender el problema, basta una pregunta: ¿cuántos casos hay detrás de ese porcentaje?

Lo que vesLo que hay detrásConclusión correcta
Threads: 43,75% de CTR7 clics sobre 16 impresionesBase demasiado pequeña para decidir nada
LinkedIn: 0,10% de CTR~87 clics sobre 86.721 impresionesDato fiable, aunque el porcentaje sea bajo

El mismo patrón aparece en cualquier negocio, no solo en redes sociales:

  • Una campaña de anuncios con un "8% de conversión" sobre 12 clics.
  • Un producto con "el doble de devoluciones" cuando se han vendido 3 unidades frente a 300.
  • Un comercial con "el mejor cierre del equipo" con 2 oportunidades trabajadas ese mes.
  • Un canal de atención al cliente con "menos quejas" porque casi nadie lo usa todavía.

En todos los casos, el porcentaje es matemáticamente correcto y la decisión que se toma con él puede ser la equivocada. El fallo no está en el cálculo, está en compararlo sin mirar el tamaño de la muestra.

Por qué esto pesa más cuando hay una IA de por medio

Aquí es donde el problema deja de ser solo de estadística y pasa a ser un problema de cómo se usa la IA en el día a día de una empresa. Cada vez es más habitual pedirle a un asistente de IA que lea un panel o una hoja de cálculo y "te diga qué está pasando". Una IA a la que le pides "qué red me está funcionando mejor" y le pasas una tabla con estos dos porcentajes, sin más contexto, muy probablemente te va a devolver algo parecido a "Threads está funcionando mucho mejor que LinkedIn": es la lectura más directa del dato tal y como está escrito, y una IA generalista no tiene motivo para dudar de un 43,75% si nadie le dice que solo hay 16 casos detrás.

No es que la IA "se equivoque" en el sentido de fallar en un cálculo. Es que responde exactamente a lo que le has dado, y si el dato que le das ya está mal planteado, la respuesta hereda el error y encima llega con la seguridad de quien "lo ha analizado". Eso es justo lo que hace más peligrosa la trampa: un porcentaje mal comparado, dicho por una persona, suena a opinión discutible; el mismo error, dicho por una IA con tono de análisis, suena a conclusión.

Es la misma disciplina que aplicamos en la plataforma de datos con IA que montamos para un grupo de farmacias (puedes verlo en el caso de plataforma de datos + IA): la IA no decide sobre un número suelto, razona sobre el dato ya validado y con su volumen real detrás. Primero se ordena y se contextualiza el dato, y solo después se deja que la IA saque una conclusión o recomiende algo. Al revés, sale bonito y sale mal.

La regla de decisión

Nunca compares dos porcentajes sin comparar antes el tamaño de lo que hay detrás. En la práctica, así es como lo aplicamos:

  1. Antes de mirar el porcentaje, mira el denominador. Si un lado tiene un volumen muchísimo menor que el otro (en nuestro caso, 16 frente a 86.721), el porcentaje de ese lado no pesa para decidir nada todavía.
  2. Si vas a pedirle a una IA que interprete un panel, dale también el volumen, no solo la tasa. "Threads: 43,75% sobre 16 impresiones. LinkedIn: 0,10% sobre 86.721" cambia por completo la respuesta que te va a dar, frente a darle solo los dos porcentajes sueltos.
  3. Define de antemano un volumen mínimo por debajo del cual un porcentaje "no cuenta" para tu negocio (nosotros, con canales nuevos, esperamos a tener al menos unos cientos de impresiones antes de sacar ninguna conclusión sobre su rendimiento).
  4. Cuando un dato te sorprenda mucho ("400 veces mejor"), sospecha primero del dato, no celebres primero la conclusión. Las sorpresas grandes casi siempre vienen de una base pequeña.

Checklist antes de creerte un porcentaje (tuyo o de tu IA)

  • ¿Sé cuántos casos hay detrás de cada porcentaje que estoy comparando?
  • ¿Los dos lados tienen un volumen parecido, o uno es órdenes de magnitud más pequeño?
  • Si le he pedido la lectura a una IA, ¿le he dado el volumen o solo la tasa?
  • ¿Tengo un mínimo de casos por debajo del cual no saco conclusiones en este tipo de dato?
  • Si el resultado me sorprende mucho, ¿he revisado el dato antes de actuar sobre él?

La lección para cualquier negocio

No hace falta tener un equipo de datos para caer en esta trampa, ni para evitarla. Hace falta el hábito de preguntar "¿y esto sobre cuántos casos sale?" antes de decidir nada, sea el dato de un panel, de una IA o de un informe que te manda un proveedor. Es exactamente el mismo criterio que aplicamos en AutoBoost cuando construimos software e IA a medida: el dato se ordena y se contextualiza primero, y la IA aporta de verdad solo cuando razona sobre un dato bien planteado, no sobre un porcentaje suelto.

Si estás montando un panel, un asistente de IA o cualquier sistema que va a tomar (o sugerirte) decisiones a partir de tus datos, y quieres que esté bien planteado desde el primer día, en AutoBoost construimos ese tipo de soluciones a medida, integradas en tu sistema real. Contacta con nosotros y lo revisamos juntos.

Compartir artículo
Pregúntale a la IA qué canal gana y te puede mentir | AutoBoost