Hadoop Big Data desde cero
4.6 (979 ratings)
Course Ratings are calculated from individual students’ ratings and a variety of other signals, like age of rating and reliability, to ensure that they reflect course quality fairly and accurately.
3,845 students enrolled

Hadoop Big Data desde cero

Aprende a trabajar con Hadoop Big Data con MapReduce, YARN, HIVE, SQOOP, SPARK, HBASE, HUE, Zookeeper, etc....
4.6 (979 ratings)
Course Ratings are calculated from individual students’ ratings and a variety of other signals, like age of rating and reliability, to ensure that they reflect course quality fairly and accurately.
3,845 students enrolled
Created by Apasoft Training
Last updated 4/2020
Spanish
Current price: $11.99 Original price: $19.99 Discount: 40% off
1 day left at this price!
30-Day Money-Back Guarantee
This course includes
  • 13.5 hours on-demand video
  • 32 articles
  • 70 downloadable resources
  • Full lifetime access
  • Access on mobile and TV
  • Certificate of Completion
Training 5 or more people?

Get your team access to 4,000+ top Udemy courses anytime, anywhere.

Try Udemy for Business
What you'll learn
  • Instalar un entorno de Hadoop Big Data
  • Administrar y configurar los componentes de Hadoop
  • Instalar un cluster Hadoop con ambari
  • Aprender a manejar el sistema de ficheros HDFS
  • Entender los conceptos más importantes de MapReduce y YARN
  • Aprender a instalar y configurar productos asociados como HIVE, HUE, HBASE, SPARK, ETC....
Requirements
  • Se necesitan ciertos conocimientos de Linux, aunque no de un nivel avanzado
  • También sería deseable que supieras algo de Java, aunque no es obligatorio
  • Necesitas una máquina con al menos 8 Gigas de RAM, aunque para poder tener 3 nodos hadoop funcionando sería conveniente disponer de 12 Gigas
Description

Durante este curso vamos a aprender los conceptos y componentes que os permitirán trabajar con un entorno de BigData y Hadoop y montar un cluster con esta tecnología y veremos los productos y herramientas más habituales de este ecosistema

Válido para versiones 2 y 3 de Hadoop

¿Qué contenidos vamos a ver?

  • - Aprenderás los conceptos básicos de esta tecnología

  • - Verás como descargar e instalar Hadoop  manualmente 

  • - También aprenderás a instalar y configurar Hadoop con ambari

  • - Trabajarás con HDFS para entender la gestión de ficheros en Hadoop

  • - Instalarás y configuraras Map Reduce y YARN

  • - Aprenderás a instalar y configurar los productos y herramientas más usadas dentro del ecosistema Hadoop:

  •    HIVE

  •    SQOOP

  •    SPARK

  •    HUE

  •    ZooKeeper

  •    HBASE

  •   Otros productos que iré subiendo y actualizando

    • PIG

    • FLUME

    • ......

¡¡¡¡Con máquinas virtuales preparadas para el curso!!!!

- Una máquina básica en Linux Centos 6 con la que podrás hacer todas las prácticas desde el principio

- Tres máquinas virtuales en Linux Centos 7 con Hadoop ya instalado y configurado en modo Cluster con las que podrás empezar a trabajar con Hadoop sin necesidad de hacer la parte de instalación y configuración inicial

En resumen, este curso te capacitará para poder empezar a desarrollar y usar esta infraestructura en tu entorno laboral. 

El curso será sobre todo práctico, de forma que aprendas de forma amena, divertida y también productiva

Cualquier duda estamos a tu disposición. Pregunta sin problemas¡¡¡¡


Espero lo disfrutes¡¡¡¡¡


Who this course is for:
  • Este curso está dirigido a personas que necesiten instalar y administrar un entorno de Hadoop
  • También es interesante para aquellas personas que quieran mantenerse al día en conocimientos relacionados con BigData y Hadoop
  • Aquellas personas que quieran conocer los productos asociados a Hadoop
Course content
Expand all 145 lectures 13:26:25
+ Introducción a Big Data y Hadoop
7 lectures 33:12

Vemos todos los conceptos que se ven durante el curso

Preview 04:00
Nota sobre la valoración del curso
00:33

Esta primera lección hará un pequeño repaso de los conceptos de Big Data y Hadoop

Preview 04:56

En este capítulo vamos a aprender los conceptos básicos de Hadoop.

Preview 02:35

Seguimos con la introducción a Hadoop

Introducción a Hadoop
08:29

Realizamos un pequeño repaso de algunas de las herramientas y produtos más utilizados en el ecosistema Hadoop

Herramientas y productos asociados a Hadoop
07:16

En este capítulo vemos las empresas que se dedican a realizar distribuciones pre-construidas de Hadoop

Preview 05:23
+ Preparación de la Infraestructura (IMPORTANTE, SOLO NECESARIA SI NO LO TIENES)
9 lectures 42:18

Pequeña introducción para decidir que usar durante el curso


Introducción a la sección
01:18

Hacemos un repaso de todo lo que necesitamos para trabajar con hadoop

Preview 02:41
NOTA IMPORTANTE SOBRE VIRTUALBOX 6 Y CENTOS
00:19

Lo primero que necesitamos es Oracle Virtual Box para poder crear la máquina virtual

Preview 03:19

Lo siguiente que necesitamos es el Sistem Operativo Linux CentOS que será el que usaremos para todo el curso, ya que Hadoop no funciona bajo Windows

Preview 04:53

Vamos a a preparar la máquina virtual con la que vamos a trabajar

Preview 07:44

En este capítulo vamos a instalar CentOS en la máquina virtual

Instalación de CentOS
10:24

Durante este módulo vamos a añadir a la máquina virtual las Guest Additions, unas utilidades que nos permtitirán trabajar mejor con el entonro gráfico

Instalar las Guest Additions en la Máquina virtual
11:13

En este módulo puedes descargar una máquina virtual ya preparada, De ese modo puedes empezar a trabajar directamente con Hadoop, por si no quieres pasar por toda la preparación y configuración de la máquina virtual

MÁQUINAS VIRTUALES PREPARADAS y material adicional
00:26
+ Preparación de Hadoop
9 lectures 46:54

En este capítulo veremos como descargar Hadoop

Descarga de Hadoop
05:55

En este capítulo vamos a descomprimir y desplegar el software de hadoop

Preview 07:03

En este capítulo vamos a instalar un componente necesario para Hadoop: las JDK de Java

Instalar las JDK
06:20

Vamos a ver la estructura de directorios que tiene hadoop

Primer vistazo a Hadoop
03:55

Vamos a configurar las variables de entorno para poder trabajar bien

Configuración de variables de entorno
08:31

Vamos a comprobar que Hadoop funciona usando un pequeño ejemplo que viene con el producto

Preview 08:36

En el documento adjunto al capítulo tienes una guía detallada todos los pasos dados hasta ahora

Práctica-Guía paso a paso de lo realizado hasta ahora en la sección
00:06

En este capítulo vamos a configurar el acceso seguro a los nodos a través de SSH

Configurar SSH
06:25

En el documento adjunto vamos a ver con una guía práctica como configurar SSH

Práctica-Guía detallada de configuración SSH
00:02
+ Montar un cluster de un solo nodo. Aprender HDFS
18 lectures 01:07:55

En este capítulo vamos a ver un pequeño resumen de HDFS, el sistema de ficheros de Hadoop

Introducción a HDFS
04:15

Vamos a dar el primer paso para tener nuestro primer cluster. Necesitamos editar un fichero que se denomina core-site.xml para configurar el entorno

Lo tienes en el material necesario

Cluster Pseudistribuido (core-site.xml)
04:55

El siguiente paso para  creara un cluster hadoop es indicar donde se encuentran los datos. Se hace dentro del fichero hdfs-site.xml

Cluster Pseudodistribuido (hdfs-site.xml)
03:21

El tercer paso para crear nuestro primer cluster es formatear el sistema de ficheros HDFS

Cluster Pseudodistribuido (Formatear HDFS)
03:50

En este capítulo vamos a arrancar la primera parte de un cluster Hadoop, los datos.

Preview 05:27
Anexo: Cambio en el puerto WEB en la Versión 3 de Haddoop
00:26

HDFS dispone de una herramienta WEB que nos permite consultar y ver el estado del entorno

Web de Administración de HDFS
04:19

En el documento adjunto al capítulo tienes una guía con todo lo que hemos hecho en la configuración de HDFS

Práctica- Guía detallada de configuración HDFS
00:03

En este capítulo vamos a ver como HDFS gestiona los cambios dentro del sistema de ficheros

23-Trabajar con HDFS-fsimage y edits
07:17

Vamos a ver como funcionan estos ficheros

Práctica-Uso de Fsimage y Edits
00:03

En este capítulo vamos a ver como podemos trabajar con los ficheros de HDFS. Crear directorios, subir ficheros, ver directorios, etc....

Trabajar con ficheros
07:21

En este capítulo seguimos trabajando con ficheros y vemos más cosas sobre su almacenamiento


HDFS-Trabajar con ficheros Parte 2
08:37

Seguimos viendo comandos para trabajar con ficheros

HDFS-Trabajar con ficheros Parte 3
04:34

Una práctica para consolidar los conocimientos de HDFS

Práctica- Trabajar con HDFS
00:03

En este capítulo trabajamos con algunos comandos de administración de HDFS

Preview 04:38

Práctica con ejercicios para administrar HDFS

Práctica-Administración de HDFS
00:03

El último punto que vamos a ver en esta sección son los snapshots de HDFS

HDFS-Snapshots
08:39

Práctica para trabajar con Snapshots

Práctica-Snapshots
00:02
+ YARN-MapReduce
13 lectures 01:00:08

Vamos a ver una introducción a la parte de los procesos. Estudiaremos las dos opciones que existen en la actualidad: MapReduce v1 y MapReduce v2 (YARN)

Yarn y Map Reduce
05:49

En este capítulo vemos con más detalle el funcionamiento interno de YARN

Funcionamiento de YARN
03:56

Vamos a montar YARN en el cluster que hemos utilizado hasta ahora. Por tanto ya tenemos los dos niveles de Hadoop: datos y procesos

Configurar YARN en un cluster
07:39

En este capítulo vamos a aprender a manejar la Web desde la que podemos gestionar y comprobar todos los trabajos lanzados con YARN, así como ver los nodos y componentes implicados

Preview 05:50

Vamos a ver en esta práctica una Guía detallada para montar un cluster PseudoDistirbuido

Práctica-Guía detallada para montar un cluster PseudoDistirbuido
00:03

Cambio de configuración de yarn-site cuando se usa Hadoop 3

HADOOP 3:Modificación en YARN-SITE para Hadoop 3
00:18

Vamos a ver una introducción al modo de funcionamiento de Map Reduce

Funcionamiento de Map Reduce
05:34

Vamos a ver un ejemplo práctica del funcionamiento de un programa MapReduce

Un ejemplo con Map Reduce
08:51

Vamos a ver como usar Mapreduce y la Web de administración

Práctica-Trabajar con MapReduce
00:02

En este segundo ejemplo de Map Reduce vamos a crear nuestro propio programa de contar palabras en Java, lo compilaremos y lo lanzaremos contra Hadoop

Un ejemplo de Map Reduce desde código Java
14:21

Crear programas Map Reduce con Java

Práctica-Crear programas Map Reduce con Java
00:03

Además de Java podemos usar otros lenguajes de programación a través de la librería "streaming"

Un ejemplo de Map Reduce con streaming-Python
07:38

Vamos a ver como Crear un Map Reduce con Python y Streaming

Práctica-Crear un Map Reduce con Python y Streaming
00:03
+ Montar un Cluster real
19 lectures 01:05:27

A partir de la máquina que hemos usado durante todo el curso vamos a clonar el resto de máquinas que nos servirán para montar el cluster

Clonar el nodo Hadoop
04:11

Seguimos con el ejemplo para poder clonar otros nodos Hadoop a partir de la original

Clonar el nodo Hadoop Parte 2
02:56

En este capítulo aprendemos como cambiar el nombre a lo servidores clonados y como configurar la red correctamente para que se vean.

Configurar la red en los nodos
04:08

Como último paso de configuración debemos asegurarnos de que los nodos se ven a través de SSH

Configurar SSH entre los nodos
04:39
HADOOP 3- ​CAMBIO DE NOMBRE DEL FICHEROS DE NODOS ESCLAVOS
00:25

Antes de lanzar el cluster tenemos que cambiar los ficheros de configuración y modificar uno nuevo denominado "slaves"

Modificar los ficheros de configuración del Cluster
06:12

Por fin estamos preparados para arrancar el cluster real¡¡¡¡

Preview 03:40

Vamos a ver como podemos Montar un  cluster real y ejecutar algunos comandos de administración

Práctica- Montar un cluster real
00:04

Vamos a lanzar un proceso map reduce contra nuestro cluster

Probar un proceso Map Reduce contra el Cluster
10:38

Vamos a ver como podemos Lanzar un proceso MapReduce contra el cluster

Práctica-Lanzar un proceso MapReduce contra el cluster
00:03

Vamos a ver como podemos lanzar un  proceoso Streaming contra el cluster con comandos Shell de Linux

Práctica-Streaming con comandos Shell de Linux
00:05

Vamos a ver como podemos Lanzar un programa Python contra el cluster

Práctica-Lanzar un programa Python contra el cluster
00:03

Vamos a ver como podemos gestionar el cluster con el comando YARN

Comando YARN. Gestionar el cluster
07:14

Vamos a hacer algunas prácticas con el comando YARN

Práctica-Comando YARN
00:02

Vamos a ver que es el Scheduler (Planificador) de YARN y para que sirve

Yarn Scheduler. Introducción
04:21

Vamos a ver en este vídeo como comprobar el funcionamiento del Scheduler

Yarn Scheduler- Ver su funcionamiento
04:46

Vamos a ver como configurar el Scheduler y sus colas (queues)

Yarn-Scheduler. Configuración
08:55

Vamos a ver como lanzar procesos contra una determinada queue

Yarn Scheduler. Lanzar procesos MapReduce contra una cola
03:00

Vamos a hacer unas prácticas con el Yarn Scheduler

Práctica- Trabajar con el Yarn Scheduler
00:02
+ Productos asociados a Big Data
1 lecture 08:05

Descripción y alcance de lo que vamos a ver en las siguientes secciones

Introducción a las siguientes secciones
08:05
+ HIVE
14 lectures 01:30:23

Vamos a ver una pequeña introducción a Hive

Introducción a Hive
09:49

Vamos a ver como instalar y configurar HIVE

Instalación y configuración inicial
09:47

Vamos a realizar un pequeño repaso por los comandos más habituales de Hive

Preview 06:53
Configurar HDFS para usr HIVE
03:44

Vamos a ver los comandos más básicos de HIVE

Primeros pasos-Crear Bases de Datos y Tablas
09:20

Seguimos creando tablas y viendo como se guarda la información en HIVE

Hive-Primeros Pasos Parte2
03:58
Prácticas- Instalar, Configurar, Crear Bases de datos
00:06

Vamos a aprender como trabajar con tablas internas y como poder cargarlas con el comando LOAD

Tablas internas y LOAD
09:25

En este capítulo vemos las tablas externas

Tablas Externas
05:19
Prácticas- Crear tablas externas e internas con columnas complejas
00:04

Vamos a ver como podemos conectarnos en remoto contra hive

Conexiones remotas. HiveServer2 y Beeline
11:10

Vamos a hacer algunas consultas con datos descargados de la página WEB de la NASA

Llegaremos incluso a graficarlo con Excel

Preview 08:52
Ejemplo Real. Deslizamientos de Tierra. Parte 2. Hasta Excel
11:51
Recursos de la práctica anterior
00:04
+ HUE
6 lectures 39:04

¿qué es HUE?

Introducción a HUE
05:32

Vamos a ver como  podemos instalar hue, que pasa por compilarlo

Compilar e instalar HUE
07:51

Vamos a descargar, compilar e instalar HUE

Práctica-Compilar HUE
00:04

Vamos a ver como podemos configurar inicialmente HUE y arrancarlo

Configurar y arrancar HUE
12:27
Práctica- Configurar y arrancar HUE
00:03

Vamos a ver las capacidades y opciones de HUE

Preview 13:07
+ Sqoop
10 lectures 57:28

Breve introducción a Sqoop

Introducción a SQOOP
02:58

Vamos a descargar e instalar sqoop

Preview 07:13
Comandos SQOOP
04:57
Descargar Oracle Express 11g
03:26
Instalar Oracle Express 11g
06:41
Comprobar que Oracle funciona
06:24

Vamos a activar un usuario oracle llamado HR y vamos a pasar el fichero JDBC a sqoop

Configurar Oracle y JDBC
06:41
Importar datos de Oracle a HDFS
13:24
Práctica. Importar datos con Sqoop
00:03
Exportar datos de HDFS a Oracle
05:41