
En esta lección damos la bienvenida y la introducción al curso.
En esta lección daremos una breve introducción sobre Big Data.
En esta lección aprenderemos qué es Spark y cuáles son los componentes principales que lo conforman, incluyendo las revolucionarias características introducidas en esta nueva versión.
En esta lección veremos que es Databricks, una de las plataformas más importantes en el mundo del big data. Entenderás qué es, por qué es tan poderosa, y cómo te facilita trabajar con Apache Spark y Scala.
En esta lección aprenderemos a crear una cuenta en Databricks.
En esta lección explicaremos el ambiente de trabajo de Databricks.
En esta lección aprenderemos a crear un cluster en Databricks, comprender el propósito y los componentes clave, y escoger las opciones adecuadas según tus necesidades al trabajar con Spark y Scala.
En esta lección aprenderemos las diferentes maneras de crear un notebook en Databricks.
En esta lección aprenderemos a importar datos a Databricks.
En esta lección aprenderemos que es una sesión de Spark y como crearla.
En esta lección aprenderemos que es un RDD y cuáles son sus características principales.
En esta lección aprenderemos a crear un RDD de diferentes formas.
En esta lección aprenderemos sobre las transformaciones que podemos realizar sobre un RDD.
En esta lección estudiaremos la transformación map.
En esta lección estudiaremos la transformación flatMap.
En esta lección estudiaremos la transformación filter.
En esta lección estudiaremos la transformación coalesce.
En esta lección estudiaremos la transformación repartition.
En esta lección aprenderemos a trabajar con la función reduceByKey.
En esta lección aprenderemos sobre el funcionamiento de las acciones en los RDD.
En esta lección aprenderemos a trabajar con la función reduce.
En esta lección aprenderemos a trabajar con la función count.
En esta lección aprenderemos a trabajar con la función collect.
En esta lección aprenderemos a trabajar con las funciones, take, max y saveAsTextFile.
En esta lección aprenderemos a manejar el almacenamiento en memoria en Spark.
En esta lección aprenderemos sobre el particionado en Spark.
En esta lección aprenderemos sobre el shuffling en Spark.
En esta lección aprenderemos a trabajar con las variables broadcast y conoceremos de las ventajas que nos ofrece.
En esta lección aprenderemos qué son los acumuladores en Spark, cómo trabajar con ellos y algunos de sus usos.
En esta lectura daremos una introducción a Spark SQL.
En esta lección aprenderemos a crear un DataFrame a partir de un RDD.
En esta lección aprenderemos a crear DataFrames a partir de fuentes de datos.
En esta lección veremos en la práctica como crear un DataFrame desde diversas fuentes de datos.
En esta sección aprenderemos a trabajar con las columnas en Spark.
En esta lección aprenderemos a trabajar con las funciones select y selectExpr.
En esta lección aprenderemos a trabajar con las transformaciones filter y where.
En esta lección aprenderemos a trabajar con las transformaciones distinct y dropDuplicates.
En esta lección aprenderemos a trabajar con las funciones withColumn y withColumRenamed.
En esta lección aprenderemos a trabajar con las funciones drop, sample y randomSplit.
En esta lección aprenderemos a manejar los datos incorrectos o faltantes en Spark.
Esta lección cubre algunas de las acciones más comunes sobre un dataframe.
En esta lección veremos cómo podemos escribir los DataFrame en Spark y las diferentes opciones que tenemos para realizar este proceso.
En esta lección aprenderemos a persistir los DataFrames en Spark.
En esta lección hablaremos sobre las agregaciones en Spark.
En esta lección aprenderemos a trabajar con las funciones count, countDistinct y approx_count_distinct.
En esta lección aprenderemos a trabajar con las funciones min y max.
En esta lección aprenderemos a trabajar con las funciones sum, sum_distinct y avg.
En esta lección veremos la agregación con agrupación de una o más columnas.
En esta lección aprenderemos a realizar varias agregaciones por grupo.
En esta lección aprenderemos a realizar agregaciones con pivote.
En esta lección conoceremos sobre los joins en Spark.
En esta lección veremos las piezas de información que componen un join y los diferentes tipos de join que podemos realizar.
En esta lección aprenderemos a trabajar con el inner join en Spark.
En esta lección estudiaremos el left outer join en Spark.
En esta lección aprenderemos a trabajar con el right outer join en Spark.
En esta lección aprenderemos a trabajar con el full outer join en Spark.
En esta lección estudiaremos el left anti join en Spark.
En esta lección aprenderemos a trabajar con el left semi join en Spark.
En esta lección aprenderemos a trabajar con el cross join en Spark.
En esta lección aprenderemos a trabajar con nombres de columnas duplicados a la hora de realizar los diferentes tipos de join en Spark.
En esta lección aprenderemos sobre las dos estrategias que Spark emplea para realizar los join, Shuffle Hash Join y Broadcast Hash Join.
En esta lección aprenderemos a trabajar con funciones de fecha y hora en Spark.
En esta lección aprenderemos a trabajar con algunas funciones que Spark nos proporciona para manipular strings.
En esta lección veremos algunas funciones que nos permiten trabajar con colecciones en Spark.
En esta lección aprenderemos a trabajar con las funciones when, coalesce y lit.
En esta lección aprenderemos a crear funciones definidas por el usuario, UDF por sus siglas en inglés.
En esta lección aprenderemos a trabajar con las funciones de ventana en Spark.
En esta lección aprenderemos como Spark optimiza las consultas en las API de DataFrame y SQL para que estas se ejecuten de manera eficiente y rápida.
Bienvenidos al curso Spark y Scala en Databricks: Big Data e ingeniería de datos.
En este curso aprenderás a trabajar con Scala-Spark en Databricks.
Spark es esencialmente un sistema distribuido que fue diseñado para procesar un gran volumen de datos de manera eficiente y rápida. El objetivo de este curso es aprender a trabajar con las principales abstracciones de Spark, las cuales son los RDDs y los DataFrames.
El material que proponemos en el curso está pensado para todas las personas que bien deseen iniciarse en el trabajo con Spark, o que por otro lado, deseen consolidar los conocimientos que ya poseen sobre los temas que se abordarán. El curso está diseñado de una forma progresiva y gradual que le permitirá al estudiante entender y desarrollar las principales habilidades para el trabajo con RDDs y DataFrames en Spark. Además, se abordarán temas avanzados que le permitirán optimizar las aplicaciones de Spark que pueda construir en un futuro, o bien, mejorar aquellas que ya se tengan implementadas.
Empezamos el curso con una breve introducción al Big Data y a Spark. Posteriormente continuamos con una sección dedicada a explicar los aspectos fundamentales de Databricks que necesitaremos para el desarrollo del curso. Una vez hayan concluido esta sección, estarán en condiciones de ejecutar notebooks de Scala-Spark en Databricks. Las siguientes secciones del curso están pensadas para entender y aplicar en la práctica las principales cuestiones sobre los RDDs y los DataFrames.
El temario procura en todo momento analizar temas específicos por cada lección, permitiéndole así al estudiante localizar rápidamente cualquier contenido de una forma rápida. La mayoría de las lecciones están conformadas por una parte teórica y otra práctica.
Mi nombre es José Miguel Moya y me desempeño actualmente como Ingeniero de Datos. Como parte de mi trabajo diario utilizo Spark con Python y Scala para obtener y procesar enormes cantidades de datos.
Te invito a que veas el video de presentación del curso y las lecciones gratuitas.
Te espero en el curso, tenga usted un cordial saludo.