Máster de Optimización en Redes Neuronales con Python-Keras

¡Clase práctica! Recuerda que los archivos y cuadernos asociados a esta clase se encuentran en la primera lectura de esta sección.

Good coding!

¡Clase práctica! Recuerda que los archivos y cuadernos asociados a esta clase se encuentran en la primera lectura de esta sección.

Good coding!

¡Clase práctica! Recuerda que los archivos y cuadernos asociados a esta clase se encuentran en la primera lectura de esta sección.

Good coding!

¡Clase práctica! Recuerda que los archivos y cuadernos asociados a esta clase se encuentran en la primera lectura de esta sección.

Good coding!

¡Clase práctica! Recuerda que los archivos y cuadernos asociados a esta clase se encuentran en la primera lectura de esta sección.

Good coding!

¡Clase práctica! Recuerda que los archivos y cuadernos asociados a esta clase se encuentran en la primera lectura de esta sección.

Good coding!

¡Clase práctica! Recuerda que los archivos y cuadernos asociados a esta clase se encuentran en la primera lectura de esta sección.

Good coding!

¡Clase práctica! Recuerda que los archivos y cuadernos asociados a esta clase se encuentran en la primera lectura de esta sección.

Good coding!

¡Clase práctica! Recuerda que los archivos y cuadernos asociados a esta clase se encuentran en la primera lectura de esta sección.

Good coding!

¡Clase práctica! Recuerda que los archivos y cuadernos asociados a esta clase se encuentran en la primera lectura de esta sección.

Good coding!

Sección que dispondrá de una serie de recursos y enlaces interesantes para poder complementar eficazmente la formación del curso.

¡Clase práctica! Recuerda que los archivos y cuadernos asociados a esta clase se encuentran adjuntos.

Good coding!

¡Clase práctica! Recuerda que los archivos y cuadernos asociados a esta clase se encuentran adjuntos.

Good coding!

¡Clase práctica! Recuerda que los archivos y cuadernos asociados a esta clase se encuentran adjuntos.

Good coding!

PyTorch es una biblioteca de aprendizaje automático de código abierto desarrollada por el equipo de investigación de inteligencia artificial de Facebook. Es una biblioteca basada en Python que se utiliza para construir redes neuronales profundas y admite gráficos de cálculo dinámico. En esta unidad, trabajaremos:

• Cuáles son las características principales de PyTorch para convertirla en una biblioteca de aprendizaje profundo

• Cómo instalar PyTorch

• Algunos ejemplos básicos de código PyTorch

En este notebook lo único que realizaremos es hacer ver las diferencias principales entre Keras y PyTorch. Seguramente no conozco el código de PyTorch, no se preocupe que lo vamos a ir viendo en detalle durante el curso

Sección que dispondrá de una serie de recursos y enlaces interesantes para poder complementar eficazmente la formación del curso.

Como tenemos un problema de clasificación multiclase recordemos que debemos de utilizar One-Hot Encoding para poder formatear la salida.

Por ejemplo, en este problema los tres valores de clase:

    Iris-setosa

    Iris-versicolor

    Iris-virginica

Por lo que convertimos esta salida en una codificación binaría como:

    Iris-setosa, Iris-versicolor, Iris-virginica

        1,             0,              0

        0,             1,              0

        0,             0,              1

Por tanto,

1. Codificando primero las cadenas de manera coherente en números enteros utilizando la clase LabelEncoder de scikit-learn.

2. Luego, conviertimos el vector de números enteros en One-Hot Enconding usando la función de Keras to_categorical().

A continuación se muestra el procedimiento a la hora de crear la función a trabajar:

1. Crea una red simple completamente conectada con una capa oculta de 8 neuronas.

2. La capa oculta utiliza una función de activación ReLu.

3. Debido a que utilizamos One-Hot Encoding, la capa de salida debe crear 3 valores de salida, uno para cada clase.

4. El valor de salida con el valor más grande se tomará como la clase predicha por el modelo. La topología quedaría así:

   4 inputs -> [8 hidden nodes] -> 3 outputs

5. Tendremos una función de activación Softmax en la capa de salida.

6. Finalmente, la red utiliza Adam con una función de pérdida logarítmica (categorical_crossentropy).

En este problema vamos a utilizar un problema de clasificación binaria como es Sonar en el cual los resultados de Accuracy rondan el 84%.

Creemos un modelo de referencia y un resultado para este problema. Comenzaremos importando todas las clases y funciones que necesitaremos.

Para usar modelos de Keras con scikit-learn, debemos usar el contenedor KerasClassifier. También toma argumentos que pasará a la llamada a fit() como el número de épocas y el tamaño del batch.

Comencemos por definir la función que crea nuestro modelo de línea de base.

1. Tendrá una única capa oculta completamente conectada.

2. Se utilizara la función de activación ReLu.

3. La capa de salida contiene una sola neurona para hacer predicciones utilizando función de activación Sigmoidal.

4. Se usará la función de pérdida logarítmica binaria (binary_crossentropy).

5. Utilizar el algoritmo de optimización Adam y Accuracy como métrica.

La estandarización preserva las distribuciones gaussianas mientras normaliza las tendencias centrales para cada atributo. Para ello utilizamos StandardScaler de scikit-learn.

Es una buena práctica entrenar el procedimiento de estandarización en los datos de entrenamiento dentro de una ejecución de validación cruzada y usar la instancia de estandarización entrenada para preparar el fold de validación no etiquetada. Podemos lograr esto en scikit-learn usando una clase Pipeline.

Comencemos por definir la función que crea nuestro modelo de línea de base.

1. Tiene una sola capa oculta completamente conectada con el mismo número de neuronas que los atributos de entrada (13).

2. La red utiliza la función de activación ReLU para la capa oculta.

   • Al ser problema de regresión no tiene función de activación la capa de salida

3. Utiliza el algoritmo de optimización ADAM y se optimiza una función de pérdida de error cuadrático medio.

4. El objeto Wrapper para regresión se llama KerasRegressor.

5. Evaluamos este modelo de línea de base con 10-fold.

Comencemos por definir la función que crea nuestro modelo de línea de base.

1. Tiene una sola capa oculta completamente conectada con el mismo número de neuronas que los atributos de entrada (13).

2. La red utiliza la función de activación ReLU para la capa oculta.

   • Al ser problema de regresión no tiene función de activación la capa de salida

3. Utiliza el algoritmo de optimización ADAM y se optimiza una función de pérdida de error cuadrático medio.

4. El objeto Wrapper para regresión se llama KerasRegressor.

5. Evaluamos este modelo de línea de base con 10-fold.

Otro enfoque para aumentar la capacidad de representación del modelo es crear una red más amplia. Aquí, hemos aumentado el número de neuronas en la capa oculta en de 13 a 20. La topología de nuestra red más amplia se puede resumir de la siguiente manera:

    13 entradas -> [20] -> 1 salida

Sección que dispondrá de una serie de recursos y enlaces interesantes para poder complementar eficazmente la formación del curso.

Este tema se centra en las técnicas avanzadas utilizadas para optimizar el entrenamiento de redes neuronales, asegurando que el modelo no solo aprenda correctamente los datos de entrenamiento, sino que también generalice eficazmente a nuevos datos. Exploraremos la importancia de la función de mapeo en redes neuronales, los desafíos de optimización en espacios no convexos, el ajuste de hiperparámetros clave y estrategias para mejorar la estabilidad y eficiencia del entrenamiento. Además, veremos cómo la elección de la topología de red, la función de pérdida y los métodos de optimización pueden influir en el rendimiento del modelo y su capacidad para resolver problemas complejos de aprendizaje profundo.

Este tema se centra en las técnicas avanzadas utilizadas para optimizar el entrenamiento de redes neuronales, asegurando que el modelo no solo aprenda correctamente los datos de entrenamiento, sino que también generalice eficazmente a nuevos datos. Exploraremos la importancia de la función de mapeo en redes neuronales, los desafíos de optimización en espacios no convexos, el ajuste de hiperparámetros clave y estrategias para mejorar la estabilidad y eficiencia del entrenamiento. Además, veremos cómo la elección de la topología de red, la función de pérdida y los métodos de optimización pueden influir en el rendimiento del modelo y su capacidad para resolver problemas complejos de aprendizaje profundo.

La capacidad de una red neuronal profunda determina el rango de funciones que puede aprender. Un modelo con capacidad insuficiente no logra ajustarse adecuadamente a los datos de entrenamiento, mientras que un modelo con demasiada capacidad corre el riesgo de sobreajustarse o encontrar dificultades en el proceso de optimización. Esta capacidad se define mediante la cantidad de capas y nodos en la red.

En este tutorial, aprenderás a gestionar la capacidad de un modelo de red neuronal y cómo esta afecta su capacidad de aprendizaje. Al finalizar, comprenderás:

• La capacidad de una red neuronal está determinada por el número de nodos y capas en su estructura.

• Un modelo con una única capa oculta y suficientes nodos puede aprender cualquier función de mapeo, aunque la efectividad dependerá del algoritmo de aprendizaje utilizado.

• Incrementar el número de capas permite aumentar la capacidad del modelo de manera más eficiente en términos de recursos, y las técnicas actuales facilitan el entrenamiento exitoso de modelos profundos.

La capacidad de una red neuronal profunda determina el rango de funciones que puede aprender. Un modelo con capacidad insuficiente no logra ajustarse adecuadamente a los datos de entrenamiento, mientras que un modelo con demasiada capacidad corre el riesgo de sobreajustarse o encontrar dificultades en el proceso de optimización. Esta capacidad se define mediante la cantidad de capas y nodos en la red.

En este tutorial, aprenderás a gestionar la capacidad de un modelo de red neuronal y cómo esta afecta su capacidad de aprendizaje. Al finalizar, comprenderás:

• La capacidad de una red neuronal está determinada por el número de nodos y capas en su estructura.

• Un modelo con una única capa oculta y suficientes nodos puede aprender cualquier función de mapeo, aunque la efectividad dependerá del algoritmo de aprendizaje utilizado.

• Incrementar el número de capas permite aumentar la capacidad del modelo de manera más eficiente en términos de recursos, y las técnicas actuales facilitan el entrenamiento exitoso de modelos profundos.

Las redes neuronales se entrenan mediante el descenso de gradiente, donde el error utilizado para actualizar los pesos se calcula a partir de un subconjunto del conjunto de datos de entrenamiento. La cantidad de ejemplos utilizada en cada estimación del gradiente de error se denomina tamaño de lote y es un hiperparámetro clave que influye en la dinámica del aprendizaje.

Explorar cómo el tamaño del lote afecta el proceso de entrenamiento es fundamental para optimizar el rendimiento del modelo.

Después de completar este tutorial, comprenderás:

• El papel del tamaño del lote en la estimación del gradiente de error al entrenar redes neuronales.

• Los tres enfoques principales del descenso de gradiente:

  • Descenso de gradiente por lotes: Usa todo el conjunto de datos para calcular el gradiente.

  • Descenso de gradiente estocástico (SGD): Actualiza los pesos después de cada ejemplo.

  • Descenso de gradiente minibatch: Calcula el gradiente usando pequeños subconjuntos de datos.

• La relación entre el tamaño del lote y la velocidad/estabilidad del entrenamiento, donde elegir el tamaño adecuado puede equilibrar eficiencia y precisión en la actualización de los pesos.

Este conocimiento te permitirá diagnosticar y ajustar el tamaño del lote para mejorar el rendimiento de tus redes neuronales.

Las redes neuronales se entrenan mediante el descenso de gradiente, donde el error utilizado para actualizar los pesos se calcula a partir de un subconjunto del conjunto de datos de entrenamiento. La cantidad de ejemplos utilizada en cada estimación del gradiente de error se denomina tamaño de lote y es un hiperparámetro clave que influye en la dinámica del aprendizaje.

Explorar cómo el tamaño del lote afecta el proceso de entrenamiento es fundamental para optimizar el rendimiento del modelo.

Después de completar este tutorial, comprenderás:

• El papel del tamaño del lote en la estimación del gradiente de error al entrenar redes neuronales.

• Los tres enfoques principales del descenso de gradiente:

  • Descenso de gradiente por lotes: Usa todo el conjunto de datos para calcular el gradiente.

  • Descenso de gradiente estocástico (SGD): Actualiza los pesos después de cada ejemplo.

  • Descenso de gradiente minibatch: Calcula el gradiente usando pequeños subconjuntos de datos.

• La relación entre el tamaño del lote y la velocidad/estabilidad del entrenamiento, donde elegir el tamaño adecuado puede equilibrar eficiencia y precisión en la actualización de los pesos.

Este conocimiento te permitirá diagnosticar y ajustar el tamaño del lote para mejorar el rendimiento de tus redes neuronales.

Las redes neuronales se entrenan utilizando descenso de gradiente estocástico (SGD), lo que requiere la selección de una función de pérdida para medir el error del modelo. Elegir la función de pérdida adecuada es fundamental para la efectividad del entrenamiento, pero puede resultar complicado debido a la variedad de opciones disponibles.

Después de leer este tutorial, comprenderás:

• El papel de la función de pérdida en la optimización del modelo, ya que permite calcular el error y ajustar los pesos en consecuencia.

• El principio de máxima probabilidad, que ofrece un marco para seleccionar una función de pérdida en redes neuronales y otros modelos de aprendizaje automático.

• Las dos principales funciones de pérdida utilizadas en el aprendizaje profundo:

  • Entropía cruzada, recomendada para problemas de clasificación.

  • Error cuadrático medio (MSE), comúnmente utilizado en problemas de regresión.

Elegir la función de pérdida adecuada es clave para garantizar un aprendizaje eficiente y mejorar el rendimiento del modelo en tareas predictivas.

Las redes neuronales se entrenan utilizando descenso de gradiente estocástico (SGD), lo que requiere la selección de una función de pérdida para medir el error del modelo. Elegir la función de pérdida adecuada es fundamental para la efectividad del entrenamiento, pero puede resultar complicado debido a la variedad de opciones disponibles.

Después de leer este tutorial, comprenderás:

• El papel de la función de pérdida en la optimización del modelo, ya que permite calcular el error y ajustar los pesos en consecuencia.

• El principio de máxima probabilidad, que ofrece un marco para seleccionar una función de pérdida en redes neuronales y otros modelos de aprendizaje automático.

• Las dos principales funciones de pérdida utilizadas en el aprendizaje profundo:

  • Entropía cruzada, recomendada para problemas de clasificación.

  • Error cuadrático medio (MSE), comúnmente utilizado en problemas de regresión.

Elegir la función de pérdida adecuada es clave para garantizar un aprendizaje eficiente y mejorar el rendimiento del modelo en tareas predictivas.

En redes neuronales, los pesos no pueden calcularse de manera analítica, sino que deben descubrirse mediante un proceso de optimización empírico, como el descenso de gradiente estocástico (SGD). Este proceso busca ajustar los pesos del modelo para minimizar el error, pero enfrenta desafíos como:

• Óptimos globales, que representan las mejores soluciones.

• Óptimos locales, soluciones fáciles de encontrar pero menos efectivas.

Uno de los hiperparámetros más críticos en este proceso es la tasa de aprendizaje, que define el tamaño del paso que da el modelo en cada iteración de optimización. Después de completar este tutorial, comprenderás:

• El papel de la tasa de aprendizaje y cómo afecta la velocidad y calidad del aprendizaje del modelo.

• Cómo configurar valores predeterminados adecuados, diagnosticar problemas y realizar un análisis de sensibilidad.

• • Estrategias avanzadas para mejorar la optimización, incluyendo:

  • Programación de la tasa de aprendizaje, ajustando dinámicamente su valor.

  • Momentum, que ayuda a superar óptimos locales acelerando el aprendizaje.

  • Técnicas de tasas de aprendizaje adaptativas, como Adam o RMSprop, que ajustan automáticamente la tasa de aprendizaje en función del gradiente.

En redes neuronales, los pesos no pueden calcularse de manera analítica, sino que deben descubrirse mediante un proceso de optimización empírico, como el descenso de gradiente estocástico (SGD). Este proceso busca ajustar los pesos del modelo para minimizar el error, pero enfrenta desafíos como:

• Óptimos globales, que representan las mejores soluciones.

• Óptimos locales, soluciones fáciles de encontrar pero menos efectivas.

Uno de los hiperparámetros más críticos en este proceso es la tasa de aprendizaje, que define el tamaño del paso que da el modelo en cada iteración de optimización. Después de completar este tutorial, comprenderás:

• El papel de la tasa de aprendizaje y cómo afecta la velocidad y calidad del aprendizaje del modelo.

• Cómo configurar valores predeterminados adecuados, diagnosticar problemas y realizar un análisis de sensibilidad.

• • Estrategias avanzadas para mejorar la optimización, incluyendo:

  • Programación de la tasa de aprendizaje, ajustando dinámicamente su valor.

  • Momentum, que ayuda a superar óptimos locales acelerando el aprendizaje.

  • Técnicas de tasas de aprendizaje adaptativas, como Adam o RMSprop, que ajustan automáticamente la tasa de aprendizaje en función del gradiente.

En redes neuronales, los pesos no pueden calcularse de manera analítica, sino que deben descubrirse mediante un proceso de optimización empírico, como el descenso de gradiente estocástico (SGD). Este proceso busca ajustar los pesos del modelo para minimizar el error, pero enfrenta desafíos como:

• Óptimos globales, que representan las mejores soluciones.

• Óptimos locales, soluciones fáciles de encontrar pero menos efectivas.

Uno de los hiperparámetros más críticos en este proceso es la tasa de aprendizaje, que define el tamaño del paso que da el modelo en cada iteración de optimización. Después de completar este tutorial, comprenderás:

• El papel de la tasa de aprendizaje y cómo afecta la velocidad y calidad del aprendizaje del modelo.

• Cómo configurar valores predeterminados adecuados, diagnosticar problemas y realizar un análisis de sensibilidad.

• • Estrategias avanzadas para mejorar la optimización, incluyendo:

  • Programación de la tasa de aprendizaje, ajustando dinámicamente su valor.

  • Momentum, que ayuda a superar óptimos locales acelerando el aprendizaje.

  • Técnicas de tasas de aprendizaje adaptativas, como Adam o RMSprop, que ajustan automáticamente la tasa de aprendizaje en función del gradiente.

Sección que dispondrá de una serie de recursos y enlaces interesantes para poder complementar eficazmente la formación del curso.

Las redes neuronales de aprendizaje profundo aprenden a mapear entradas y salidas a partir de ejemplos en un conjunto de datos de entrenamiento. Los pesos del modelo se inicializan en pequeños valores aleatorios y se actualizan mediante un algoritmo de optimización en respuesta a estimaciones de error en train.

• Dado el uso de pesos pequeños en el modelo y el uso del error entre las predicciones y los valores reales, la escala de entradas y salidas utilizadas para entrenar el modelo es un factor importante.

• Las variables de entrada sin escala pueden resultar en un proceso de aprendizaje lento o inestable, mientras que

• Las variables objetivo sin escala en los problemas de regresión pueden resultar en gradientes explosivos que hacen que el proceso de aprendizaje falle.

En este tutorial, descubrirá cómo mejorar la estabilidad de la red neuronal y el rendimiento del modelado escalando datos. Después de completar este tutorial, sabrá:

• El escalado de datos es un paso previo al procesamiento.

• La escala de datos se puede lograr normalizando o estandarizando las variables de entrada y salida de valor real.

• Cómo aplicar la estandarización y la normalización para mejorar el rendimiento del MLP.

La función de activación es responsable de transformar la entrada ponderada sumada del nodo en la activación del nodo o salida para esa entrada. La función de activación ReLU se ha convertido en la función de activación predeterminada para muchos tipos de redes neuronales porque un modelo que la usa es más fácil de entrenar y, a menudo, logra un mejor rendimiento.

Después de completar este tutorial, sabrá:

• Las funciones de activación de tangente hiperbólica y sigmoidea no se pueden utilizar en redes con muchas capas debido al problema de desvanecimiento del gradiente.

• La función de activación lineal rectificada supera el problema de desvanecimiento del gradiente, lo que permite que los modelos aprendan más rápido y funcionen mejor.

• La activación lineal rectificada es la activación por defecto al desarrollar MLP y CNN.

Las grandes actualizaciones de pesos durante el entrenamiento pueden causar un desbordamiento numérico que a menudo se conoce como gradientes explosivos. El problema de los gradientes explosivos es más común con las redes neuronales recurrentes, como las LSTM, dada la acumulación de gradientes desenrollados en cientos de pasos de tiempo de entrada. Una solución común y relativamente fácil al problema de los gradientes explosivos es cambiar la derivada del error antes de propagarlo hacia atrás a través de la red y usarlo para actualizar los pesos.

En este tutorial, descubrirá el problema del gradiente explosivo y cómo mejorar la estabilidad del entrenamiento de la red neuronal mediante el recorte de gradiente. Después de completar este tutorial, sabrá:

• Conocer el desbordamiento o subdesbordamiento numérico conocido como gradientes explosivos.

• El proceso de entrenamiento se puede estabilizar cambiando los gradientes de error, ya sea escalando la norma vectorial o recortando los valores de gradiente a un rango.

• Cómo actualizar un modelo MLP para un problema de modelado predictivo de regresión con gradientes explosivos para tener un proceso de entrenamiento estable utilizando métodos de recorte de gradientes.

Las grandes actualizaciones de pesos durante el entrenamiento pueden causar un desbordamiento numérico que a menudo se conoce como gradientes explosivos. El problema de los gradientes explosivos es más común con las redes neuronales recurrentes, como las LSTM, dada la acumulación de gradientes desenrollados en cientos de pasos de tiempo de entrada. Una solución común y relativamente fácil al problema de los gradientes explosivos es cambiar la derivada del error antes de propagarlo hacia atrás a través de la red y usarlo para actualizar los pesos.

En este tutorial, descubrirá el problema del gradiente explosivo y cómo mejorar la estabilidad del entrenamiento de la red neuronal mediante el recorte de gradiente. Después de completar este tutorial, sabrá:

• Conocer el desbordamiento o subdesbordamiento numérico conocido como gradientes explosivos.

• El proceso de entrenamiento se puede estabilizar cambiando los gradientes de error, ya sea escalando la norma vectorial o recortando los valores de gradiente a un rango.

• Cómo actualizar un modelo MLP para un problema de modelado predictivo de regresión con gradientes explosivos para tener un proceso de entrenamiento estable utilizando métodos de recorte de gradientes.

Entrenar redes neuronales profundas es un desafío debido a la sensibilidad a los pesos iniciales y la configuración del algoritmo de aprendizaje. Un problema clave es el cambio de covariables interno (internal covariate shift), donde la distribución de las entradas a las capas profundas cambia tras cada minibatch, dificultando la convergencia del modelo.

La normalización por lotes es una técnica que estandariza las entradas de cada capa para cada minibatch, estabilizando el entrenamiento y reduciendo significativamente el número de épocas necesarias.

Beneficios de la Normalización por Lotes

• Evita el cambio de covariables interno, estabilizando el aprendizaje.

• Acelera el entrenamiento, reduciendo a la mitad (o más) las épocas necesarias.

• Mejora la regularización, reduciendo el error de generalización.

¿Cómo funciona?

1. Se calcula la media y la desviación estándar de la activación de cada minibatch.

2. Se usa esta información para reescalar las activaciones, asegurando que tengan una distribución estable.

3. Se aprende un conjunto de parámetros de escalado y desplazamiento que permiten a la red ajustar la distribución reescalada.

Entrenar redes neuronales profundas es un desafío debido a la sensibilidad a los pesos iniciales y la configuración del algoritmo de aprendizaje. Un problema clave es el cambio de covariables interno (internal covariate shift), donde la distribución de las entradas a las capas profundas cambia tras cada minibatch, dificultando la convergencia del modelo.

La normalización por lotes es una técnica que estandariza las entradas de cada capa para cada minibatch, estabilizando el entrenamiento y reduciendo significativamente el número de épocas necesarias.

Beneficios de la Normalización por Lotes

• Evita el cambio de covariables interno, estabilizando el aprendizaje.

• Acelera el entrenamiento, reduciendo a la mitad (o más) las épocas necesarias.

• Mejora la regularización, reduciendo el error de generalización.

¿Cómo funciona?

1. Se calcula la media y la desviación estándar de la activación de cada minibatch.

2. Se usa esta información para reescalar las activaciones, asegurando que tengan una distribución estable.

3. Se aprende un conjunto de parámetros de escalado y desplazamiento que permiten a la red ajustar la distribución reescalada.

Transfer Learning se refiere a una técnica para el modelado predictivo sobre un problema diferente, pero de alguna manera similar, que luego puede reutilizarse parcial o totalmente para acelerar el entrenamiento y mejorar el rendimiento de un modelo en el problema de interés. En el aprendizaje profundo, esto significa reutilizar los pesos en una o más capas de un modelo de red previamente entrenado en un nuevo modelo y mantener los pesos fijos, ajustarlos o adaptar los pesos por completo al entrenar el modelo.

En este tutorial, descubrirá:

• Transfer Learning es un método para reutilizar un modelo entrenado en un problema de modelado predictivo relacionado.

• Transfer Learning se puede utilizar para acelerar el entrenamiento de redes neuronales como un esquema de inicialización de peso o un método de extracción de características.

• Cómo utilizar Transfer Learning para mejorar el rendimiento de un MLP para un problema de clasificación multiclase.

Transfer Learning se refiere a una técnica para el modelado predictivo sobre un problema diferente, pero de alguna manera similar, que luego puede reutilizarse parcial o totalmente para acelerar el entrenamiento y mejorar el rendimiento de un modelo en el problema de interés. En el aprendizaje profundo, esto significa reutilizar los pesos en una o más capas de un modelo de red previamente entrenado en un nuevo modelo y mantener los pesos fijos, ajustarlos o adaptar los pesos por completo al entrenar el modelo.

En este tutorial, descubrirá:

• Transfer Learning es un método para reutilizar un modelo entrenado en un problema de modelado predictivo relacionado.

• Transfer Learning se puede utilizar para acelerar el entrenamiento de redes neuronales como un esquema de inicialización de peso o un método de extracción de características.

• Cómo utilizar Transfer Learning para mejorar el rendimiento de un MLP para un problema de clasificación multiclase.

Sección que dispondrá de una serie de recursos y enlaces interesantes para poder complementar eficazmente la formación del curso.

En este tema exploraremos estrategias para mejorar la capacidad de generalización de los modelos de redes neuronales. La generalización es crucial en el aprendizaje automático, ya que permite que un modelo funcione bien no solo en los datos de entrenamiento, sino también en datos nuevos y no vistos.

Se abordarán los siguientes aspectos clave:

• Diagnóstico del sobreajuste y subajuste mediante el análisis de curvas de aprendizaje.

• Reducción del sobreajuste restringiendo la complejidad del modelo mediante ajustes en la estructura y parámetros.

• Técnicas de regularización como la regularización de pesos, restricciones de peso, dropout y detención anticipada.

• Estrategias para controlar la complejidad del modelo y mejorar la estabilidad del entrenamiento.

Este conocimiento permitirá optimizar modelos de redes neuronales para lograr un equilibrio adecuado entre precisión en el entrenamiento y capacidad de predicción en datos reales.

En este tema exploraremos estrategias para mejorar la capacidad de generalización de los modelos de redes neuronales. La generalización es crucial en el aprendizaje automático, ya que permite que un modelo funcione bien no solo en los datos de entrenamiento, sino también en datos nuevos y no vistos.

Se abordarán los siguientes aspectos clave:

• Diagnóstico del sobreajuste y subajuste mediante el análisis de curvas de aprendizaje.

• Reducción del sobreajuste restringiendo la complejidad del modelo mediante ajustes en la estructura y parámetros.

• Técnicas de regularización como la regularización de pesos, restricciones de peso, dropout y detención anticipada.

• Estrategias para controlar la complejidad del modelo y mejorar la estabilidad del entrenamiento.

Este conocimiento permitirá optimizar modelos de redes neuronales para lograr un equilibrio adecuado entre precisión en el entrenamiento y capacidad de predicción en datos reales.

Las redes neuronales aprenden un conjunto de pesos que permiten mapear entradas a salidas.  Sin embargo, pesos grandes pueden hacer que la red sea inestable, lo que provoca:

• Sobreajuste al conjunto de entrenamiento. 

• Sensibilidad excesiva a pequeñas variaciones en los datos. 

• Peor generalización en datos nuevos. 

Una solución a este problema es aplicar regularización de peso, que penaliza los pesos grandes y mejora la estabilidad del modelo.

El funcionamiento es el siguiente. Durante el entrenamiento, se agrega una penalización a la función de costo basada en la magnitud de los pesos.  Esto incentiva a la red a aprender pesos más pequeños y evita la complejidad innecesaria. Tiene los siguientes beneficio: 

• Reduce el sobreajuste. 

• Mejora la generalización. 

• Mantiene la estabilidad del modelo.

Las redes neuronales aprenden un conjunto de pesos que permiten mapear entradas a salidas.  Sin embargo, pesos grandes pueden hacer que la red sea inestable, lo que provoca:

• Sobreajuste al conjunto de entrenamiento. 

• Sensibilidad excesiva a pequeñas variaciones en los datos. 

• Peor generalización en datos nuevos. 

Una solución a este problema es aplicar regularización de peso, que penaliza los pesos grandes y mejora la estabilidad del modelo.

El funcionamiento es el siguiente. Durante el entrenamiento, se agrega una penalización a la función de costo basada en la magnitud de los pesos.  Esto incentiva a la red a aprender pesos más pequeños y evita la complejidad innecesaria. Tiene los siguientes beneficio: 

• Reduce el sobreajuste. 

• Mejora la generalización. 

• Mantiene la estabilidad del modelo.

Las redes neuronales aprenden características a partir de los datos de entrada. Esto es clave en modelos como:

• Codificadores automáticos (Autoencoders).

• Modelos codificadores-decodificadores (Encoder-Decoder).

Sin embargo, si las representaciones aprendidas son demasiado grandes, esto puede ser una señal de sobreajuste, afectando la capacidad del modelo para generalizar en nuevos datos.

¿Cómo afecta el sobreajuste a la representación?

• Los valores grandes en las activaciones de las capas ocultas pueden indicar sobreajuste.

• Solución: Agregar penalizaciones en la función de pérdida para reducir la magnitud de las activaciones.

Esto permite que el modelo:

• Aprenda representaciones más generalizadas.

• Evite depender excesivamente de datos de entrenamiento.

¿Cómo funciona la regularización de activación?

• Se agregan penalizaciones a la función de pérdida en función del tamaño de las activaciones.

• Esto obliga al modelo a mantener activaciones pequeñas y dispersas.

Beneficios

• Reduce la complejidad del modelo.

• Mejora la generalización.

• Previene la dependencia excesiva de ciertas características.

Las redes neuronales aprenden características a partir de los datos de entrada. Esto es clave en modelos como:

• Codificadores automáticos (Autoencoders).

• Modelos codificadores-decodificadores (Encoder-Decoder).

Sin embargo, si las representaciones aprendidas son demasiado grandes, esto puede ser una señal de sobreajuste, afectando la capacidad del modelo para generalizar en nuevos datos.

¿Cómo afecta el sobreajuste a la representación?

• Los valores grandes en las activaciones de las capas ocultas pueden indicar sobreajuste.

• Solución: Agregar penalizaciones en la función de pérdida para reducir la magnitud de las activaciones.

Esto permite que el modelo:

• Aprenda representaciones más generalizadas.

• Evite depender excesivamente de datos de entrenamiento.

¿Cómo funciona la regularización de activación?

• Se agregan penalizaciones a la función de pérdida en función del tamaño de las activaciones.

• Esto obliga al modelo a mantener activaciones pequeñas y dispersas.

Beneficios

• Reduce la complejidad del modelo.

• Mejora la generalización.

• Previene la dependencia excesiva de ciertas características.

A diferencia de la regularización de peso, una restricción de peso es un activador que verifica el tamaño o la magnitud de los pesos y los escala para que estén por debajo de un umbral predefinido. La restricción obliga a que los pesos sean pequeños y se pueden usar en lugar de la disminución del peso y junto con configuraciones de red más agresivas, como tasas de aprendizaje muy altas.

Después de leer este tutorial, sabrás:

• Las penalizaciones de peso alientan pero no requieren que las redes neuronales tengan pesos pequeños.

• Las restricciones de peso, como la norma L2 y la norma máxima, se pueden usar para obligar a las redes neuronales a tener pesos pequeños durante el entrenamiento.

• Las restricciones de peso pueden mejorar la generalización cuando se usan junto con otros métodos de regularización como el dropout.

A diferencia de la regularización de peso, una restricción de peso es un activador que verifica el tamaño o la magnitud de los pesos y los escala para que estén por debajo de un umbral predefinido. La restricción obliga a que los pesos sean pequeños y se pueden usar en lugar de la disminución del peso y junto con configuraciones de red más agresivas, como tasas de aprendizaje muy altas.

Después de leer este tutorial, sabrás:

• Las penalizaciones de peso alientan pero no requieren que las redes neuronales tengan pesos pequeños.

• Las restricciones de peso, como la norma L2 y la norma máxima, se pueden usar para obligar a las redes neuronales a tener pesos pequeños durante el entrenamiento.

• Las restricciones de peso pueden mejorar la generalización cuando se usan junto con otros métodos de regularización como el dropout.

Sección que dispondrá de una serie de recursos y enlaces interesantes para poder complementar eficazmente la formación del curso.

Se puede usar un solo modelo para simular tener una gran cantidad de arquitecturas de red diferentes eliminando nodos aleatoriamente durante el entrenamiento. Esto se llama Dropout y ofrece un método de regularización computacionalmente económico y notablemente efectivo para reducir el sobreajuste y el error de generalización en redes neuronales profundas de todo tipo.

En este tutorial, sabrás:

• Los pesos grandes en una red neuronal son un signo de una red más compleja que se ha sobreajustado a los datos de entrenamiento.

• La eliminación probabilística de nodos en la red es un método de regularización simple y efectivo.

• Se sugiere una red grande con más épocas de entrenamiento y el uso de una restricción de peso cuando se usa el Dropout.

Se puede usar un solo modelo para simular tener una gran cantidad de arquitecturas de red diferentes eliminando nodos aleatoriamente durante el entrenamiento. Esto se llama Dropout y ofrece un método de regularización computacionalmente económico y notablemente efectivo para reducir el sobreajuste y el error de generalización en redes neuronales profundas de todo tipo.

En este tutorial, sabrás:

• Los pesos grandes en una red neuronal son un signo de una red más compleja que se ha sobreajustado a los datos de entrenamiento.

• La eliminación probabilística de nodos en la red es un método de regularización simple y efectivo.

• Se sugiere una red grande con más épocas de entrenamiento y el uso de una restricción de peso cuando se usa el Dropout.

Dropout se implementa fácilmente seleccionando aleatoriamente los nodos que se eliminarán con una probabilidad determinada (por ejemplo, 20%) en cada ciclo de actualización de peso.

Los ejemplos utilizarán el conjunto de datos de clasificación binaria del conjunto de datos de Sonar.

El modelo de red neuronal de línea de base tiene:

1. Dos capas ocultas, la primera con 60 neuronas y la segunda con 30.

2. Gradiente Descendiente Estocástico se utiliza para el entrenamiento con una tasa de aprendizaje y momentum relativamente bajos.

Veamos los resultados de linea base sin Dropout.

Dropout se implementa fácilmente seleccionando aleatoriamente los nodos que se eliminarán con una probabilidad determinada (por ejemplo, 20%) en cada ciclo de actualización de peso.

Los ejemplos utilizarán el conjunto de datos de clasificación binaria del conjunto de datos de Sonar.

El modelo de red neuronal de línea de base tiene:

1. Dos capas ocultas, la primera con 60 neuronas y la segunda con 30.

2. Gradiente Descendiente Estocástico se utiliza para el entrenamiento con una tasa de aprendizaje y momentum relativamente bajos.

Veamos los resultados de linea base sin Dropout.

Dropout se implementa fácilmente seleccionando aleatoriamente los nodos que se eliminarán con una probabilidad determinada (por ejemplo, 20%) en cada ciclo de actualización de peso.

Los ejemplos utilizarán el conjunto de datos de clasificación binaria del conjunto de datos de Sonar.

El modelo de red neuronal de línea de base tiene:

1. Dos capas ocultas, la primera con 60 neuronas y la segunda con 30.

2. Gradiente Descendiente Estocástico se utiliza para el entrenamiento con una tasa de aprendizaje y momentum relativamente bajos.

Veamos los resultados de linea base sin Dropout.

Entrenar una red neuronal con un conjunto de datos pequeño puede hacer que la red memorice todos los ejemplos de entrenamiento, lo que a su vez conduce a un rendimiento deficiente en un conjunto de datos reservado. Un enfoque para hacer que el espacio de entrada sea más suave y fácil de aprender es agregar ruido a las entradas durante el entrenamiento.

En este tutorial, descubrirá que agregar ruido a una red neuronal durante el entrenamiento puede mejorar la solidez de la red, lo que da como resultado una mejor generalización y un aprendizaje más rápido:

• Los conjuntos de datos pequeños pueden hacer que el aprendizaje sea un desafío para las redes neuronales y los ejemplos se pueden memorizar.

• Agregar ruido durante el entrenamiento puede hacer que el proceso de entrenamiento sea más sólido y reducir el error de generalización.

• El ruido se agrega tradicionalmente a las entradas, pero también se puede agregar a pesos, gradientes e incluso funciones de activación.

Entrenar una red neuronal con un conjunto de datos pequeño puede hacer que la red memorice todos los ejemplos de entrenamiento, lo que a su vez conduce a un rendimiento deficiente en un conjunto de datos reservado. Un enfoque para hacer que el espacio de entrada sea más suave y fácil de aprender es agregar ruido a las entradas durante el entrenamiento.

En este tutorial, descubrirá que agregar ruido a una red neuronal durante el entrenamiento puede mejorar la solidez de la red, lo que da como resultado una mejor generalización y un aprendizaje más rápido:

• Los conjuntos de datos pequeños pueden hacer que el aprendizaje sea un desafío para las redes neuronales y los ejemplos se pueden memorizar.

• Agregar ruido durante el entrenamiento puede hacer que el proceso de entrenamiento sea más sólido y reducir el error de generalización.

• El ruido se agrega tradicionalmente a las entradas, pero también se puede agregar a pesos, gradientes e incluso funciones de activación.

Un desafío importante en el entrenamiento de redes neuronales es cuánto tiempo se deben entrenar. Muy poco entrenamiento significará que el modelo no se ajustará bien a train ni a test. Demasiado entrenamiento significará que el modelo se ajustará demasiado a train y tendrá un rendimiento deficiente en test.

El enfoque simple, efectivo y ampliamente utilizado para entrenar redes neuronales se llama parada temprana (Early Stopping).

• El desafío de entrenar una red neuronal el tiempo suficiente para aprender el mapeo, pero no tanto como para que sobreajuste los datos de entrenamiento.

• El rendimiento del modelo en un conjunto de datos de validación se puede monitorear durante el entrenamiento y detener el entrenamiento cuando el error de generalización comienza a aumentar.

• El uso de la detención anticipada requiere la selección de una medida de rendimiento para monitorear, un disparador para detener el entrenamiento y una selección de los pesos del modelo a usar.

Un desafío importante en el entrenamiento de redes neuronales es cuánto tiempo se deben entrenar. Muy poco entrenamiento significará que el modelo no se ajustará bien a train ni a test. Demasiado entrenamiento significará que el modelo se ajustará demasiado a train y tendrá un rendimiento deficiente en test.

El enfoque simple, efectivo y ampliamente utilizado para entrenar redes neuronales se llama parada temprana (Early Stopping).

• El desafío de entrenar una red neuronal el tiempo suficiente para aprender el mapeo, pero no tanto como para que sobreajuste los datos de entrenamiento.

• El rendimiento del modelo en un conjunto de datos de validación se puede monitorear durante el entrenamiento y detener el entrenamiento cuando el error de generalización comienza a aumentar.

• El uso de la detención anticipada requiere la selección de una medida de rendimiento para monitorear, un disparador para detener el entrenamiento y una selección de los pesos del modelo a usar.

Sección que dispondrá de una serie de recursos y enlaces interesantes para poder complementar eficazmente la formación del curso.

En esta unidad exploraremos técnicas avanzadas para mejorar la precisión y estabilidad de las predicciones en redes neuronales profundas mediante el ensamblado de modelos. Estas técnicas ayudan a reducir la varianza y mejorar la generalización del modelo.

Conceptos clave

• Cómo el ensamblado de modelos mejora la estabilidad y precisión de las predicciones.

• Importancia de la reducción de varianza en el rendimiento del modelo final.

Técnicas principales

• Promediado de modelos y combinación ponderada para mejorar la precisión.

• Apilamiento (stacking) para optimizar la combinación de predicciones.

• Bagging y Snapshot ensembles para generar diversidad en los modelos.

Optimización y aplicación

• Selección de modelos diversos para evitar errores correlacionados.

• Uso de técnicas como SGDR para mejorar el ensamblado.

• Implementación práctica en clasificación y predicción de series temporales.

Al finalizar, serás capaz de aplicar técnicas de ensamblado para mejorar la robustez y fiabilidad de tus modelos de redes neuronales.

En esta unidad exploraremos técnicas avanzadas para mejorar la precisión y estabilidad de las predicciones en redes neuronales profundas mediante el ensamblado de modelos. Estas técnicas ayudan a reducir la varianza y mejorar la generalización del modelo.

Conceptos clave

• Cómo el ensamblado de modelos mejora la estabilidad y precisión de las predicciones.

• Importancia de la reducción de varianza en el rendimiento del modelo final.

Técnicas principales

• Promediado de modelos y combinación ponderada para mejorar la precisión.

• Apilamiento (stacking) para optimizar la combinación de predicciones.

• Bagging y Snapshot ensembles para generar diversidad en los modelos.

Optimización y aplicación

• Selección de modelos diversos para evitar errores correlacionados.

• Uso de técnicas como SGDR para mejorar el ensamblado.

• Implementación práctica en clasificación y predicción de series temporales.

Al finalizar, serás capaz de aplicar técnicas de ensamblado para mejorar la robustez y fiabilidad de tus modelos de redes neuronales.

Una de las frustraciones en redes neuronales es la alta varianza de un modelo final. El mismo modelo de red neuronal entrenado en el mismo dataset puede encontrar una de las muchas soluciones posibles suficientemente buenas cada vez que se ejecuta. El promediado de modelos es una técnica de aprendizaje por conjuntos que reduce la varianza en un modelo final de red neuronal, sacrificando la dispersión (y posiblemente mejores puntuaciones) en el rendimiento del modelo por una confianza en el rendimiento que se puede esperar del modelo. En este tutorial,usted sabrá:

• El promediado de modelos es una técnica de aprendizaje de conjuntos que se puede utilizar para reducir la varianza.

• Cómo implementar el promedio de modelos en Keras para problemas de modelado predictivo de clasificación y regresión.

• Cómo trabajar a través de un problema de clasificación multiclase y utilizar el promediado de modelos para reducir la varianza del modelo final.

Una de las frustraciones en redes neuronales es la alta varianza de un modelo final. El mismo modelo de red neuronal entrenado en el mismo dataset puede encontrar una de las muchas soluciones posibles suficientemente buenas cada vez que se ejecuta. El promediado de modelos es una técnica de aprendizaje por conjuntos que reduce la varianza en un modelo final de red neuronal, sacrificando la dispersión (y posiblemente mejores puntuaciones) en el rendimiento del modelo por una confianza en el rendimiento que se puede esperar del modelo. En este tutorial,usted sabrá:

• El promediado de modelos es una técnica de aprendizaje de conjuntos que se puede utilizar para reducir la varianza.

• Cómo implementar el promedio de modelos en Keras para problemas de modelado predictivo de clasificación y regresión.

• Cómo trabajar a través de un problema de clasificación multiclase y utilizar el promediado de modelos para reducir la varianza del modelo final.

AA veces hay modelos muy buenos que deseamos que contribuyan más a una predicción y modelos menos hábiles que contribuyan menos. Un conjunto de promedio ponderado es un enfoque que permite que múltiples modelos contribuyan a una predicción en proporción a su confianza o rendimiento estimado.

Después de completar este tutorial, sabrás:

• Los conjuntos de promediación de modelos están limitados porque requieren que cada miembro del conjunto contribuya por igual a las predicciones.

• Los conjuntos de promedio ponderado permiten que la contribución de cada miembro se pondere proporcionalmente a la confianza o el rendimiento del miembro en test.

• Cómo implementar un conjunto de promedios ponderados en Keras y comparar los resultados con un conjunto de promedios de modelos independientes.

AA veces hay modelos muy buenos que deseamos que contribuyan más a una predicción y modelos menos hábiles que contribuyan menos. Un conjunto de promedio ponderado es un enfoque que permite que múltiples modelos contribuyan a una predicción en proporción a su confianza o rendimiento estimado.

Después de completar este tutorial, sabrás:

• Los conjuntos de promediación de modelos están limitados porque requieren que cada miembro del conjunto contribuya por igual a las predicciones.

• Los conjuntos de promedio ponderado permiten que la contribución de cada miembro se pondere proporcionalmente a la confianza o el rendimiento del miembro en test.

• Cómo implementar un conjunto de promedios ponderados en Keras y comparar los resultados con un conjunto de promedios de modelos independientes.

AA veces hay modelos muy buenos que deseamos que contribuyan más a una predicción y modelos menos hábiles que contribuyan menos. Un conjunto de promedio ponderado es un enfoque que permite que múltiples modelos contribuyan a una predicción en proporción a su confianza o rendimiento estimado.

Después de completar este tutorial, sabrás:

• Los conjuntos de promediación de modelos están limitados porque requieren que cada miembro del conjunto contribuya por igual a las predicciones.

• Los conjuntos de promedio ponderado permiten que la contribución de cada miembro se pondere proporcionalmente a la confianza o el rendimiento del miembro en test.

• Cómo implementar un conjunto de promedios ponderados en Keras y comparar los resultados con un conjunto de promedios de modelos independientes.

Una forma de lograr diferencias entre modelos es entrenar cada modelo en un subconjunto diferente de datos. Esto lo podemos hacer mediante el uso de métodos de remuestreo como la validación cruzada y bootstrap. Los modelos utilizados en este proceso de estimación se pueden combinar en lo que se conoce como conjunto basado en remuestreo. Después de completar este tutorial, sabrás:

• Cómo estimar el rendimiento del modelo mediante divisiones aleatorias y desarrollar un conjunto a partir de los modelos.

• Cómo estimar el rendimiento utilizando una validación cruzada de 10 veces y desarrollar un conjunto de validación cruzada.

• Cómo estimar el rendimiento usando el bootstrap y combinar modelos usando un conjunto de bagging.

Una forma de lograr diferencias entre modelos es entrenar cada modelo en un subconjunto diferente de datos. Esto lo podemos hacer mediante el uso de métodos de remuestreo como la validación cruzada y bootstrap. Los modelos utilizados en este proceso de estimación se pueden combinar en lo que se conoce como conjunto basado en remuestreo. Después de completar este tutorial, sabrás:

• Cómo estimar el rendimiento del modelo mediante divisiones aleatorias y desarrollar un conjunto a partir de los modelos.

• Cómo estimar el rendimiento utilizando una validación cruzada de 10 veces y desarrollar un conjunto de validación cruzada.

• Cómo estimar el rendimiento usando el bootstrap y combinar modelos usando un conjunto de bagging.

El conjunto de votación horizontal es un método simple para abordar el problema en el que los datos de train son muy escasos. Esta estrategia escoge una colección de modelos guardados durante épocas de entrenamiento y utilizan como un conjunto que da como resultado un rendimiento más estable.

Después de completar este tutorial, sabrás:

• Que es un desafío elegir un modelo de red neuronal final que tenga una gran varianza en train.

• Los conjuntos de votación horizontal proporcionan una forma de reducir la varianza y mejorar el rendimiento promedio.

• Cómo desarrollar un conjunto de votación horizontal para mejorar el rendimiento de un modelo final.

En esta clase vamos a entrenar múltiples instantáneas de modelos durante una sola ejecución de entrenamiento y combinar sus predicciones para hacer una predicción de conjunto. Una limitación de este enfoque es que los modelos guardados serán similares, lo que generará predicciones y errores de predicción similares y no ofrecerá muchos beneficios al combinar sus predicciones.

Un enfoque para promover una diversidad de modelos guardados durante una sola ejecución de entrenamiento es usar un programa de tasa de aprendizaje agresivo que fuerce grandes cambios en los pesos del modelo y, a su vez, la naturaleza del modelo guardado en cada instantánea.

Después de completar este tutorial, sabrás:

• Los conjuntos de instantáneas combinan las predicciones de varios modelos guardados durante una sola ejecución de entrenamiento.

• La diversidad en las instantáneas del modelo se puede lograr mediante el uso de ciclos agresivos de la tasa de aprendizaje.

• Cómo guardar instantáneas de modelos durante una sola ejecución y cargar modelos de instantáneas para hacer predicciones de conjuntos.

Crear modelos de conjunto lo podemos extender aún más entrenando un modelo completamente nuevo para aprender cómo combinar mejor las contribuciones de cada submodelo. Este enfoque se denomina generalización apilada (stacked generalization), o apilamiento (stacking), y puede dar como resultado un mejor rendimiento predictivo que cualquier modelo de contribución individual.

Después de completar este tutorial, sabrás:

• La generalización apilada es un método de conjunto en el que un nuevo modelo aprende a combinar mejor las predicciones de múltiples modelos existentes.

• Cómo desarrollar un modelo de apilamiento utilizando redes neuronales como submodelo y un clasificador scikit-learn como meta-modelo.

• Cómo desarrollar un modelo de apilamiento donde los submodelos de redes neuronales están integrados en un modelo de conjunto de apilamiento más grande para entrenamiento y predicción.

Crear modelos de conjunto lo podemos extender aún más entrenando un modelo completamente nuevo para aprender cómo combinar mejor las contribuciones de cada submodelo. Este enfoque se denomina generalización apilada (stacked generalization), o apilamiento (stacking), y puede dar como resultado un mejor rendimiento predictivo que cualquier modelo de contribución individual.

Después de completar este tutorial, sabrás:

• La generalización apilada es un método de conjunto en el que un nuevo modelo aprende a combinar mejor las predicciones de múltiples modelos existentes.

• Cómo desarrollar un modelo de apilamiento utilizando redes neuronales como submodelo y un clasificador scikit-learn como meta-modelo.

• Cómo desarrollar un modelo de apilamiento donde los submodelos de redes neuronales están integrados en un modelo de conjunto de apilamiento más grande para entrenamiento y predicción.

Sección que dispondrá de una serie de recursos y enlaces interesantes para poder complementar eficazmente la formación del curso.