[MÚSICA] [MÚSICA] Durante la fase de puesta en valor hemos comentado que hay que hacer el seguimiento de todas las acciones que se realicen para que ese conocimiento nuevo, eso que se aprenda, se pueda introducir después en las nuevas acciones a realizar de forma que vayamos optimizando la operación pero también es importante hacer el seguimiento del modelo analítico. ¿Por qué? El modelo analítico ha aprendido con unos datos basados, unos patrones de comportamiento, si esos datos cambian o cambian los patrones de comportamiento el modelo puede perder capacidad. Entonces es importante que vayamos midiendo esta capacidad en el tiempo para detectar esas pérdidas por si tenemos que plantearnos volver al anterior modelo o hacer alguna otra acción. Las etapas que vamos a ver en el seguimiento del modelo son, 1. Vamos ha hacer el seguimiento de las variables. 2. Vamos ha hacer el seguimiento de los resultados del modelo. Y 3. Vamos ha hacer el seguimiento de la capacidad analítica del modelo. Para empezar es importante conocer las variables, si siguen siendo las mismas o se comportan de forma similar al momento de la extracción que nos sirvió para entrenar el modelo. Para eso es importante utilizar técnicas como la estabilidad de las variables que lo que nos van haciendo o lo que nos van mostrando es cómo evolucionan algún estadístico o varios estadísticos de esas variables para conocer si en el tiempo se comportan igual y tienen la misma distribución. Si las variables cambiasen de comportamiento, si sus distribuciones cambiasen, serían una señal de alerta que deberíamos analizar. Otro análisis que se puede realizar es la estabilidad del modelo, el output del modelo, podemos analizar cuál es su distribución, cuáles son ciertos estadísticos y ver si en el tiempo se mantienen constantes. Si cambiase la estabilidad del modelo por ejemplo en un problema de clasificación como se muestra en la pantalla que una de las categorías desapareciese y no se clasificase ningún elemento en esa categoría sería algo atípico, sería algo anormal que tendríamos que analizarse, sería conveniente hacer un análisis más profundo para ver qué ha cambiado. También tenemos que analizar la capacidad del modelo, una vez que elijamos la métrica de evaluación que utilizamos en modelización, tendríamos que continuar siguiendo esa métrica y lo habitual y lo normal es que con el tiempo el modelo vaya perdiendo capacidad. Si el modelo es robusto y no hay cambios en los patrones de comportamiento los modelos mantendrán la capacidad predictiva más tiempo, si el modelo no es tan robusto la construcción, la metodología, no se ha seguido muy bien o hay cambios en los patrones de comportamiento puede ser que la capacidad del modelo vaya menguando. Es muy importante hacer el seguimiento y fijar un umbral a partir del cual actuaremos y veremos que hacemos en esas actuaciones. Las actuaciones que podemos realizar básicamente son dos, 1. Re-estimar, es decir manteniendo las mismas variables que tiene el modelo vamos ha ver si podemos cambiar los coeficientes o ajustar los coeficientes para que pueda volver a tener la misma capacidad o similar. O tendremos que hacer un re-entrenamiento que es volver a empezar toda la metodología, volver a partir del folio en blanco con todo el conocimiento obviamente que you se tiene pero volver ha hacer todas las pautas y todos los pasos para poder tener otra vez un modelo con una capacidad predictiva adecuada. Los principales retos de esta fase son los siguientes, primero, para hacer este seguimiento vamos a necesitar recursos por lo tanto tenemos que tener claro que este es un coste adicional a la construcción del modelo. Segundo, a parte de capturar la información necesaria para explotar el modelo vamos a tener que capturar información adicional para hacer todo éste seguimiento, es importante tenerlo en cuenta en la fase de despliegue. Tercero, cuando analicemos los factores que influyen en la capacidad del modelo o en la evolución de las variables o en la evolución del resultado del modelo tenemos que ser capaces de aislar efectos internos o factores internos como son las campañas que hagamos y efectos externos como pueden ser los factores macroeconómicos que influyan. Además habrá que establecer un sistema de recopilación de información que permita hacer un reentrenamiento de forma sencilla. Como conclusión tenemos que tener claro que los modelos son objetos vivos, las variables pueden cambiar, los resultados pueden cambiar y todo debido a cambios de comportamiento o cambios tecnológicos. Por lo tanto es muy importante que hagamos el seguimiento y para detectar esas pérdidas de capacidad predictiva y actuar para recuperar esa capacidad predictiva del modelo. [MÚSICA] [MÚSICA]