Análisis avanzado de datos atípicos y outliers en R y Matlab

En esta clase veremos una introducción a la problemática de la presencia de atípicos en los datos, y con un ejemplo veremos la importancia de este problema.

Clase donde vemos el código de Matlab.

Clase donde vemos el código de R.

Conoceremos qué es un outlier o atípico realmente, cómo pueden surgir, y con un ejemplo sencillo veremos cómo afecta la presencia de outliers a los análisis estadísticos.

Clase donde vemos el código de Matlab.

Clase donde vemos el código de R.

Vamos a repasar el concepto de muestra y población, e introducir la noción de variable aleatoria. Veremos algunos ejemplos sencillos.

Vamos a ver qué es la distribución de una variable aleatoria y entenderlo mediante un ejemplo.

Conoceremos la distribución Normal, la más utilizada y conocida en Estadística.

Introduciremos las distribuciones t-student y chi-cuadrado que surgen de la Normal.

Vamos a ver qué es un estimador muestral, una estimación puntual, y las propiedades que tienen que tener los estimadores para ser buenos estimando los parámetros poblacionales desconocidos. Veremos los estimadores muestrales más conocidos.

Antes de empezar a ver los métodos, hay que conocer conceptos importantes que usaremos a lo largo del curso, como por ejemplo los estimadores de tendencia central: media y mediana.

Veremos los estimadores de dispersión o variación Rango y Desviación típica (o estándar) y sus respectivas versiones robustas: Rango intercuartílico y MAD.

Veremos los estimadores de forma asimetría clásica y Medcouple.

Clase donde vemos el código de R de los estimadores estudiados y de sus versiones robustas.

Conoceremos la base del Método SD, un clásico para detectar atípicos en una variable aleatoria.

Conoceremos la base del Método Z score, otro clásico para detectar atípicos en una variable aleatoria.

Conoceremos la base del Método Boxplot de Tukey, otro clásico para detectar atípicos en una variable aleatoria.

Conoceremos la base del Método MADe, un método robusto para detectar atípicos en una variable aleatoria.

Conoceremos la base del Método Z score modificado, un método robusto para detectar atípicos en una variable aleatoria.

Conoceremos la base del Método Boxplot ajustado, un método robusto para detectar atípicos en una variable aleatoria.

Clase donde vemos el código de Matlab y R de los métodos estudiados y de sus versiones robustas.

Haremos un resumen de lo visto en esta sección y llegaremos a algunas conclusiones.

Vamos a ver algunos conceptos de Álgebra lineal necesarios, que son la definición de vector, matriz, transpuesta de un vector o de una matriz, matriz identidad, inversa de una matriz, producto entre vector y matriz, producto entre matriz y matriz.

Veremos cómo se define una variable aleatroria multivariante y daremos algunos ejemplos.

Definiremos la función de distribución y de densidad conjunta de un vector aleatorio multidimensional, así como las distribuciones y densidades marginales.

Veremos el concepto de covarianza, correlación e independencia entre dos variables aleatorias de un vector aleatorio, ligado a la noción de distribución conjunta.

Veremos algunas funciones de R para dibujar la distribución de una Normal bivariante, y ver cómo afecta a la función el cambiar los parámetros.

Veremos cómo se definen los atípicos en el espacio multivariante, y por qué no se pueden utilizar los métodos del espacio univariante para detectarlos.

Veremos un ejemplo de datos reales en el espacio multivariante, específicamente de regresión lineal simple, donde influye en el problema la presencia de atípicos.

Conoceremos la idea de localización en el espacio multivariante y veremos los estimadores.

Veremos en Matlab cómo calcular estimadores de localización multivariantes y graficar un ejemplo

Veremos en R cómo calcular estimadores de localización multivariantes y graficar un ejemplo

Conoceremos la idea de dispersión en el espacio multivariante y veremos los estimadores.

Veremos los estimadores de dispersión multivariantes con un ejemplo en R.

Conoceremos la distancia Euclídea que permite ordenar los datos en un espacio de más de una dimensión.

Conoceremos la distancia de Mahalanobis que permite ordenar los datos en un espacio de más de una dimensión, teniendo en cuenta la relación entre las variables. La versión clásica es sensible a outliers, por lo cual hay que usar la versión robusta de la distancia.

Veremos cómo calcular la distancia de Mahalanobis en R.

Estudiaremos el método MCD para el cálculo de los estimadores robustos de localización y dispersión.

Veremos cómo obtener el MCD en Matlab.

Veremos cómo obtener el MCD en R.

Veremos otra forma de detectar atípicos con la distancia robusta de Mahalanobis basada en el MCD, considerando otro punto de corte, el cuantil ajustado.

Estudiaremos unos datos reales, el proyecto Kola, y aplicaremos la distancia robusta de Mahalanobis basada en el MCD con el cuantil ajustado.

Estudiaremos unos datos reales, el proyecto Kola, y aplicaremos la distancia robusta de Mahalanobis basada en el MCD con el cuantil ajustado, en R.

Conoceremos otro método de estimación robusta pero basado en proyecciones.

Veremos el código de Stahel-Donoho en R.

Veremos el método Kurtosis, basado en proyecciones de los datos relativos al valor de coeficiente de kurtosis.

Veremos en R y Matlab la aplicación a dos conjuntos de datos, de los métodos de detección de atípicos en el espacio multivariante, vistos anteriormente.

Haremos un resumen de lo visto en esta sección y llegaremos a algunas conclusiones.

Vamos a ver en qué consiste el problema de regresión lineal, cómo se puede expresar en forma matricial y cuáles son los supuestos del modelo.

Veremos el método clásico de estimación de los parámetros del modelo de regresión lineal multidimensional. Y veremos con un ejemplo que este método no es robusto a atípicos.

Conoceremos los métodos robustos en el análisis de regresión y los tipos de atípicos que nos podemos encontrar.

Veremos los códigos de los métodos robustos para estimar el modelo de regresión con dos datasets, en Matlab.

Veremos los códigos de los métodos robustos para estimar el modelo de regresión con dos datasets, en R.