Mide el retorno de un proyecto de IA antes de construirlo, no después: es el error que más veces vemos repetirse, y el que más caro sale de corregir a posteriori. La pregunta "¿esta IA merece la pena?" se hace siempre, pero casi nunca se responde bien, porque nadie definió de antemano qué número iba a contestarla. Seis meses después queda la sensación de que "va bien" o "no se nota tanto", y una sensación no es una métrica.
En AutoBoost seguimos cuatro pasos, siempre en el mismo orden, antes de dar por bueno el retorno de cualquier proyecto de IA que construimos. Ninguno necesita una cifra de dinero: se mide en tiempo, en tasa de error o en volumen gestionado, que son números tan reales como un importe y, en la mayoría de negocios, más fáciles de defender delante de un comité.
Paso 1: elige UNA métrica antes de escribir la primera línea de código
El fallo más habitual no es medir mal, es medir tarde. Si el proyecto ya está en marcha cuando alguien pregunta "¿y esto cómo lo medimos?", la respuesta casi siempre es una cifra inventada a posteriori para justificar lo ya construido.
La regla de decisión que aplicamos: si no puedes nombrar la métrica principal en una frase antes de empezar, no estás listo para empezar. Y tiene que ser una sola, no cinco a la vez, porque cinco métricas a la vez casi siempre significa que ninguna se va a mirar de verdad dentro de tres meses.
Las tres familias que más usamos, en orden de qué tan fácil es defenderlas:
- Tiempo: cuánto tarda hoy una tarea, y cuánto debería tardar. Es la más fácil de explicar a cualquiera en la empresa, técnico o no.
- Tasa de error: cuántas veces falla el proceso actual (un dato mal copiado, un cálculo que no cuadra, un aviso que no llega), sobre cuántas veces se ejecuta.
- Volumen gestionado: cuánto es capaz de procesar el proceso actual sin que alguien tenga que revisarlo entero a mano.
Paso 2: mide el "antes" con el mismo rigor que vas a exigirle al "después"
Este paso se salta más de lo que parece. Es tentador lanzar la IA y medir solo lo que pasa a partir de ahí, pero sin un "antes" comparable, cualquier número del "después" es una cifra sin contexto.
Un ejemplo real, anonimizado: en una distribuidora industrial con más de 50.000 productos en catálogo, antes de montar nada medimos cuánto tardaba de media una cotización gestionada a mano por WhatsApp: comprobar cliente, tarifa, stock y cerrar. Esa media (unos 30 minutos) fue el punto de partida. Sin ese dato previo, cuando el comercial de IA que hoy resuelve la misma cotización en minutos (caso completo) empezó a funcionar, no habría forma de decir cuánto había mejorado de verdad, solo que "ahora es más rápido", que no convence a nadie que firme un presupuesto.
Cómo medir el "antes" sin que se convierta en un proyecto en sí mismo:
- Elige una muestra representativa (una semana normal, no la mejor ni la peor).
- Cronometra o cuenta el proceso actual tal cual es hoy, con sus interrupciones reales.
- Anota también los fallos que ocurren en esa muestra, no solo el tiempo: un proceso rápido pero que falla la mitad de las veces no es mejor que uno lento y fiable.
Paso 3: valida el número antes de repetirlo, no después de publicarlo
Una IA rápida y una IA correcta no son lo mismo, y el ROI solo existe si las dos cosas son verdad a la vez. El paso que más se salta bajo presión de plazos es este: comprobar, a mano y a fondo, que el número que da la IA es el número real, antes de dar por bueno el proceso completo.
En una plataforma de datos que unifica varias oficinas de un grupo, la IA reconstruyó una cifra de ventas que el ERP del cliente venía calculando casi a la mitad de lo real. Antes de dejarla actuar sola recomendando compras, se validó esa reconstrucción contra el dato real hasta un margen de 0,0004% de desviación (caso completo). Ese porcentaje, no una promesa de "la IA es precisa", es lo que permitió pasar de "analiza" a "decide y envía pedidos reales al distribuidor".
La regla de decisión aquí: no valides una vez y confíes para siempre. Un proceso que se valida al lanzarlo y nunca más se revisa acumula desviación en silencio, igual que un dato que falta sin avisar.
Paso 4: mide en producción, con volumen real, no en la demo
Una demo con diez casos bien elegidos no dice nada sobre lo que pasará con el volumen real de una empresa en marcha. El ROI de verdad se mide cuando el proceso lleva semanas corriendo con datos reales, no con los ejemplos que se prepararon para la presentación.
Un caso útil para pensar en volumen: una asesoría que recibía notificaciones fiscales de la Agencia Tributaria (DEH) y necesitaba clasificarlas en 15 categorías distintas cada día (caso completo). El número que de verdad importa ahí no es "funciona en la prueba", es cuántas notificaciones reales, del volumen real de un mes normal, se clasifican bien sin que nadie tenga que revisar la bandeja entera "por si acaso".
Los 4 pasos, de un vistazo
| Paso | Pregunta que responde | Ejemplo real (anónimo) |
|---|---|---|
| 1. Elige UNA métrica | ¿Qué vamos a mirar dentro de 6 meses para saber si funcionó? | Tiempo por cotización, no "eficiencia" en general |
| 2. Mide el antes | ¿Cuánto tardaba, o cuánto fallaba, el proceso actual? | ~30 min por cotización a mano |
| 3. Valida el número | ¿El resultado de la IA es correcto, no solo rápido? | 0,0004% de desviación validada al céntimo |
| 4. Mide en producción | ¿Aguanta el volumen real, no solo la demo? | Clasificación de notificaciones fiscales en 15 categorías, cada día |
Checklist antes de dar por bueno el ROI de tu proyecto de IA
- Hay UNA métrica principal escrita antes de empezar a construir, no inventada después.
- Existe una medición del "antes" con la misma muestra representativa que se usará para el "después".
- El resultado de la IA se ha validado a mano contra la realidad, no solo contra sí mismo.
- Se ha medido con volumen real de producción, no solo con los casos de la demo.
- Alguien puede resumir el resultado en una frase con un número dentro, sin adjetivos ("más rápido", "más fiable") que sustituyan al dato.
Si después de seis semanas nadie en tu empresa puede completar esa última frase con un número real, tu proyecto de IA no tiene un ROI medido: tiene una sensación bonita. Y una sensación no convence a nadie de ampliar el proyecto, aunque el resultado sea de verdad bueno.
Por qué esto no es solo teoría de consultora
Estos cuatro pasos no salen de un manual genérico: son los mismos que aplicamos en cada proyecto de software e IA a medida que construimos, porque son los que nos permiten a nosotros, no solo al cliente, saber si lo que hemos construido funciona de verdad o solo lo parece. Un proyecto sin una métrica definida antes de empezar no es un proyecto de IA con ROI incierto: es una apuesta con muy buena presentación.
Si estás valorando un proyecto de IA y todavía no tienes claro cuál de estos cuatro pasos te falta, hablemos: a veces basta con media hora para ver si la métrica que ibas a usar es la que de verdad importa.
