Analizando Base18

Estuve "jugando" con la tabla Base18 provista por Jorge con el fin de probar algunos caminos a seguir en el manejo de los datos. A ver que les parece lo que hice:

----------
OBTENCION Y DESCRIPCION DE DATOS
Datos de origen: El archivo Base18 abarca datos del periodo Ene-Sept del 2012 correspondientes a un total de 37 semanas.Inicialmente obtuve la suma de ventas, gross profits y transacciones por semana.
Preparación: 
1. cree una nueva variable llamada Tend_Wks, esta variable asigna un 1 a la primer semana en que existen datos registrados para un tendero y continua con la secuencia numérica para las siguientes semanas.
2. excluí a POS cuyas ventas fueron mayores al tercer quartil (donde el 75% de loas ventas de los POS se encuentran) en la primera semana. Este resulto estar ubicado en $12,730. (la asunción es que aquellos con ventas mayores a $12,730 probablemente venían registrando desde mucho antes de Enero 2012 y nos interesan ver el comportamiento desde el inicio de sus registros).

Cómo lo podrán observar en los siguientes gráficos, los dos pasos anteriores contribuyeron a reducir la variación e identificar mejor la tendencia en los datos:

Con todos los POS por semanas de registro del tendero (Tend_Wk) :

Excluyendo los POS con ventas mayores al 3er quartil, tomando como referencia Tend_Wk:

La misma gráfica anterior pero tomando como referencia las semanas del año (Y-Wk) en vez de Tend_wk:

Evidentemente la variación en los registros semanales parecer estar mejor explicada por el tiempo que el tendero lleva haciendo registros que por la semana del año en la que se encuentre.  Esto no significa que no sea relevante estudiar la variación de la demanda con respecto al periodo del año, sino que en este caso puesto que la mayoría de los tenderos (17 de 22) incluidos en la muestra parecen haber comenzado a usar tiendatek durante el periodo analizado se hace mas evidente el efecto de la curva de aprendizaje. Con una muestra mayor donde hubiese una proporción mas grande de tenderos usando el sistema por mas tiempo probablemente los periodos del año adquirirían una mayor importancia. 

Otra observación importante es el marcado cambio de tendencia que ocurre alrededor de la semanas 24 y 25 (junio 11- junio 24) el cual se observa en los tres gráficos anteriores. 

En sintesis....

Los datos originales contenían información del promedio semanal para las siguientes variables quantitativas:

-ventas 

-margen de ganancia 

-numero de transacciones 

Las variables categóricas fueron:

-semanas del año, 

-semanas del tendero para 22 POS diferentes. 

Después de excluir las excepciones (datos de 5 POS) nos quedamos con información para 17 POS. La descripción de cada variable se encuentra a continuación: 

    

Al obtener la correlación (Pearson) encontramos correlaciones mayores a 0.9 entre transacciones totales, ventas y margen de ganancias. Por lo tanto de aquí en adelante, utilizaremos como variable de interés únicamente las ventas totales y, (por ahora) como predictor semanas del tendero.

Algo que es importante notar es la gran amplitud de los rangos de datos para cada variable (ver minimum, maximum en la tabla anterior). Esto es un indicador de la gran variación de los registros hechos por semana. Con el fin de reducir la variación y enfocarnos en patrones específicos de uso de tiendatek, decidimos crear la nueva variable llamada "Age_Level". Esta variable asigna tres valores diferentes a cada POS dependiendo del tiempo que duraron registrando productos. El siguiente gráfico de puntos muestra su distribución en relación con el número de tenderos que registraron cada semana:

En primer termino la gráfica previa nos permite ver el decrecimiento continuo que existe en el numero de POS a partir de la semana 12 hasta la semana 26 (aproximadamente de -4% semanal). Y como después de la semana 26 el número de POS permanece continuo hasta la semana 36 donde hay un decremento adicional.

Tomando lo anterior en consideración, la distribución de la variable Age_level es como sigue:

 Tiempo total registrando en el sistema      Age Level       Número de POS   

              menos de 12 semanas                            1                            5

              entre 12 y 26 semanas                           2                            9

              mas de 26 semanas                                3                            4

Es importante entender que sucede con el comportamiento de estos niveles diferentes de uso del sistema tiendatek para identificar posibles patrones predecibles. Adentrándonos en la descripción de POS de acuerdo a su Age_level, observamos la siguiente distribución del valor medio durante las primeras dos semanas de registro:

Es evidente que existe una marcada diferencia en el promedio de las ventas totales registradas entre los diferentes Age_levels especialmente entre aquellos POS que duran menos de 12 semanas y aquellos que duran mas de 26 semanas. En la primera semana el nivel de promedio de ventas registradas entre el nivel de edad 1 y 2 es mas cercano. Mientras que en la segunda semana el nivel de edad 2 se acerca más a las ventas promedio del nivel 3. Observaciones similares podrían extenderse al resto de las semanas. Sin embargo, no podemos omitir la amplitud de la desviación estándar de los valores promedios. Por simple observación, el hecho de que los intervalos de confianza estén superpuestos nos dice que existen POS para los que no será fácil definir su éxito futuro con solo tomar como referencia su desempeño en ventas durante las primeras dos semanas. Esto es aun más evidente si observamos lo que sucede en las semanas 10 y 11:

A pesar de que en la semana 12 los POS con Age_level 1 dejan de registrar, sus ventas totales promedio en las dos semanas previas no parecen indicarlo. Al contrario, parecería que aquellos que permanecen el mayor tiempo en el sistema (Age_level 3) son quienes están a punto de claudicar. Sin embargo, el siguiente gráfico presenta la foto completa de lo que sucedió a lo largo de las 37 semanas (tomando en cuenta solo el valor promedio de ventas semanales de los POS):

• Los POS con Age_level 3 mantuvieron un comportamiento promedio de sus ventas constante hasta la semana 24 donde parece haber un incremento marcado en las mismas.
• Los POS con Age_level 2 mantuvieron los mas altos promedios de ventas con algunos declives y, sin embargo, dejaron de usar tiendatek en el transcurso de 12 a 26 semanas.
• Los POS con Age_level 1 dejaron de usar tiendatek en la semana 12 después de haber sufrido un pico promedio en ventas entre las semanas 8 y 10.

Lo que el último gráfico parece indicar es que aquéllos que permanecen más tiempo usando tiendatek (POS exitosos) en general demuestran un comportamiento mas o menos estable desde el inicio con un ligerisimo incremento gradual de sus ventas. 

En el caso de los niveles 1 y 2 es evidente que sí hubo una disminución en sus ventas en las semanas previas al cambio de estatus. 

Lo anterior puede ser un indicador de que es posible reducir el numero de "abandonos" del sistema a través de un seguimiento y fortalecimiento del tendero en los momentos de declive.

****Pregunta: Qué otras observaciones creen que podamos hacer al respecto?

---------------

En fin, este análisis no ha sido demasiado detallado y hay algunas cosas fundamentales que no he hecho y que son importantes (pero algo engorrosas por ahora) para aplicar modelos predictivos (como comprobar la distribución normal de los datos, etc.). Pero aun así hemos aprendido varias cosas de los datos estudiados con solo hacer un análisis descriptivo.

Habrá que ver si podemos generalizar las observaciones que hemos hecho aquí para una muestra mayor de POS y si existen otras variables que en su conjunto nos ayuden a predecir mejor la posibilidad de abandono del sistema.

Espero sus comentarios!