Master en Azure Databricks & Spark para Data Engineers [A-Z]

¡Master en Azure Databricks & Spark para Data Engineers [A-Z]!

Este curso de Azure Databricks está diseñado para profesionales de datos, ingenieros y analistas que desean aprender a procesar, transformar y analizar grandes volúmenes de datos en la nube de Microsoft Azure. A lo largo del curso, los participantes explorarán la arquitectura de Databricks, su integración con otros servicios de Azure y las mejores prácticas para el manejo de datos a gran escala utilizando Apache Spark.

Durante el curso, los estudiantes aprenderán:

1. Introducción a Azure Databricks

   • Fundamentos de Apache Spark y su arquitectura distribuida.

   • Creación y configuración de clusters en Azure Databricks.

   • Uso de notebooks colaborativos con Python (PySpark), SQL, Scala y R.

2. Procesamiento y Almacenamiento de Datos con Delta Lake

   • Conceptos de Delta Lake y su importancia en la gestión de datos transaccionales.

   • Creación de tablas Delta para mejorar la confiabilidad y el rendimiento de las consultas.

   • Implementación de Time Travel y optimización con comandos como OPTIMIZE y VACUUM.

3. Gestión de Datos con Unity Catalog

   • Introducción a Unity Catalog para la gobernanza centralizada de datos.

   • Control de acceso basado en roles (RBAC) y auditoría de datos.

   • Organización y administración de metadatos en entornos multi-workspace.

4. Integración con Azure Storage Account y Azure Data Lake

   • Configuración de Azure Storage Account para almacenar y acceder a datos desde Databricks.

   • Integración con Azure Data Lake Gen2 para manejar grandes volúmenes de datos estructurados y no estructurados.

   • Implementación de estrategias de particionado y compresión para mejorar el rendimiento.

5. Orquestación de Pipelines con Azure Data Factory

   • Automatización de flujos de datos mediante Azure Data Factory (ADF).

   • Creación de pipelines para la ingesta, transformación y carga de datos en Databricks.

   • Uso de conectores para integrar Databricks con diversas fuentes de datos.

6. Optimización y Buenas Prácticas

   • Estrategias de optimización de código y ejecución en Databricks.

   • Uso de caché, particiones y distribución de datos en Spark.

   • Monitoreo y depuración de trabajos en Databricks.

Los temás que aprenderá en el curso son:

• Crear una cuenta en Azure

• Azure Databricks

• Databricks Cluster

• Databricks Notebooks

• Acceder a Azure Data Lake Storage desde Databricks

• Seguridad de Acceso a Azure Data Lake Storage

• Databricks File System(DBFS)

• Montaje de Contenedores Data Lakes en Databricks

• Explicación Proyecto “Movie”

• Apache Spark

• Trabajar con archivos CSV

• Trabajar con archivos JSON

• Trabajar con Múltiples Archivos

• Databricks Workflows

• Transformaciones de “Filter” y “Joins”

• Agregaciones(Aggregations)

• Vistas en Spark

• Spark SQL - Database / Table / View

• Spark SQL - Filter / Join / Aggregation

• Spark SQL - Analysis

• Incremental Load(Carga Incremental)

• Delta Lake

• Azure Data Factory(ADF)

• Conectar Databricks con PowerBI

• Subir Proyecto al Repositorio

• Introducción - Unity Catalog

• Proyecto - Unity Catalog

Este curso es práctico y aprenderás escribiendo código/comandos. Trabajaras con una variedad de Datos a los largo de todo el curso, también se vas a poder realizar cuestionarios para poder reforzas tus conocimientos que vas a ir adquieriendo a lo largo del curso y podrás realizar ejercicios que se plantean en cada sección.

Este curso es ideal para tí sin importar el conocimiento o perfil profesional que estes desarrollando, sin duda te ayudará a obtener nuevos conocimientos y crecer profesionalmente.

¡Así que te espero en este curso, un fuerte abrazo!