Udemy
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
Development
Web Development Data Science Mobile Development Programming Languages Game Development Database Design & Development Software Testing Software Engineering Development Tools No-Code Development
Business
Entrepreneurship Communications Management Sales Business Strategy Operations Project Management Business Law Business Analytics & Intelligence Human Resources Industry E-Commerce Media Real Estate Other Business
Finance & Accounting
Accounting & Bookkeeping Compliance Cryptocurrency & Blockchain Economics Finance Finance Cert & Exam Prep Financial Modeling & Analysis Investing & Trading Money Management Tools Taxes Other Finance & Accounting
IT & Software
IT Certification Network & Security Hardware Operating Systems Other IT & Software
Office Productivity
Microsoft Apple Google SAP Oracle Other Office Productivity
Personal Development
Personal Transformation Personal Productivity Leadership Career Development Parenting & Relationships Happiness Esoteric Practices Religion & Spirituality Personal Brand Building Creativity Influence Self Esteem & Confidence Stress Management Memory & Study Skills Motivation Other Personal Development
Design
Web Design Graphic Design & Illustration Design Tools User Experience Design Game Design Design Thinking 3D & Animation Fashion Design Architectural Design Interior Design Other Design
Marketing
Digital Marketing Search Engine Optimization Social Media Marketing Branding Marketing Fundamentals Marketing Analytics & Automation Public Relations Advertising Video & Mobile Marketing Content Marketing Growth Hacking Affiliate Marketing Product Marketing Other Marketing
Lifestyle
Arts & Crafts Beauty & Makeup Esoteric Practices Food & Beverage Gaming Home Improvement Pet Care & Training Travel Other Lifestyle
Photography & Video
Digital Photography Photography Portrait Photography Photography Tools Commercial Photography Video Design Other Photography & Video
Health & Fitness
Fitness General Health Sports Nutrition Yoga Mental Health Dieting Self Defense Safety & First Aid Dance Meditation Other Health & Fitness
Music
Instruments Music Production Music Fundamentals Vocal Music Techniques Music Software Other Music
Teaching & Academics
Engineering Humanities Math Science Online Education Social Science Language Teacher Training Test Prep Other Teaching & Academics
AWS Certification Microsoft Certification AWS Certified Solutions Architect - Associate AWS Certified Cloud Practitioner CompTIA A+ Cisco CCNA Amazon AWS CompTIA Security+ Microsoft AZ-900
Graphic Design Photoshop Adobe Illustrator Drawing Digital Painting InDesign Character Design Canva Figure Drawing
Life Coach Training Neuro-Linguistic Programming Personal Development Mindfulness Personal Transformation Life Purpose Meditation CBT Emotional Intelligence
Web Development JavaScript React CSS Angular PHP Node.Js WordPress Vue JS
Google Flutter Android Development iOS Development React Native Swift Dart Programming Language Mobile Development Kotlin SwiftUI
Digital Marketing Google Ads (Adwords) Social Media Marketing Google Ads (AdWords) Certification Marketing Strategy Internet Marketing YouTube Marketing Email Marketing Retargeting
Microsoft Power BI SQL Tableau Business Analysis Data Modeling Business Intelligence MySQL Data Analysis Blockchain
Business Fundamentals Entrepreneurship Fundamentals Business Strategy Business Plan Startup Online Business Freelancing Blogging Home Business
Unity Game Development Fundamentals Unreal Engine C# 3D Game Development C++ 2D Game Development Unreal Engine Blueprints Blender
30-Day Money-Back Guarantee
Development Software Engineering Apache Airflow

Apache Airflow

Aprende a utilizar Airflow para tus procesos ELT o ETL desde cero mediante ejemplos prácticos
Rating: 4.5 out of 54.5 (86 ratings)
515 students
Created by Javier López Tomás
Last updated 3/2021
Spanish
Spanish [Auto]
30-Day Money-Back Guarantee

What you'll learn

  • Instalar y configurar Apache Airflow, en la nube u on premise
  • Desarrollar tus propios flujos de trabajo en Airflow
  • Adaptar Airflow a las necesidades particulares de tu entorno profesional creando Plugins
  • Crear procesos ETL con los orígenes y destinos más comunes
  • Componentes principales de Airflow: Dags, Operators, Tasks, Executors...
  • Aspectos algo más avanzados de Airflow: XCom, Hooks...

Course content

10 sections • 59 lectures • 4h 46m total length

  • Preview01:01
  • Objetivos del curso
    01:03
  • Requisitos
    01:46

  • Introducción
    01:21
  • ¿Qué es Airflow?
    03:30
  • ¿Por qué elegir Airflow?
    05:28
  • Instalación en Mac/Ubuntu con Virtual Environment
    07:53
  • Instalación con Docker
    05:38
  • ¿Qué hago si no puedo utilizar Docker?Poner LocalExecutor y Postgres manualmente
    08:14
  • A ver si has estao atento...
    3 questions

  • Introducción
    00:52
  • ¿Qué es un DAG?
    02:30
  • ¿Qué es un Operator?
    02:33
  • Tour por la interfaz gráfica de Airflow I
    07:31
  • Tour por la interfaz gráfica II: El retorno de los DAGs
    07:35
  • Tour UI 3
    11:08
  • Afianzando conocimientos
    3 questions

  • Introducción
    01:32
  • Preview08:42
  • Configurando nuestro ambiente de desarrollo con PyCharm
    03:49
  • Preview12:33
  • T1: Escribe tú segundo DAG
    1 question
  • Conexiones
    08:31
  • Clásicas preguntas de repaso
    3 questions

  • Introducción
    00:46
  • Hooks: ¿qué son? ¿para que sirven?
    01:35
  • Hooks: utilización
    05:31
  • T2: Programar utilizando Hooks y conexiones
    3 questions
  • Como utilizar scripts externos en tus operators
    02:57
  • Variables I: como crearlas
    08:09
  • Variables II: como utilizarlas
    05:44
  • Compartir información entre tareas: XCom
    09:53
  • Plantillas Jinja y Macros
    06:05
  • T3: Practica Variables, XCom y plantillas
    4 questions
  • T3 P1: XCom con plantillas
    07:10
  • T3 P2: Plantillas con atributos de la tarea que la renderiza en nuevos campos
    06:00
  • T3 P3: Marcas temporales en plantillas
    09:15
  • T3 P4: Utilizar variables con macros y plantillas
    04:20

  • Establecer prioridades de ejecución con Pools
    01:53
  • Meter un DAG dentro de otro: SubDAGs
    06:04
  • Bifurcaciones en Airflow
    02:11
  • PythonBranchOperator en acción, con llamada a API incluida
    09:54
  • Creando tareas de forma dinámica
    05:51
  • Crear DAGs de forma dinámica
    06:39

  • Introducción
    00:47
  • ¿Qué tipo de deploy necesito?
    07:14
  • Configuracion en el archivo airflow.cfg
    06:59
  • Guardar logs en la nube (S3)
    03:26
  • Enviar emails con SMTP
    02:35

  • Introducción
    00:32
  • Cómo crear un plugin
    04:54
  • Parar el webserver y el scheduler (parar-lanzar para reiniciar)
    02:32
  • Creando un Hook como plugin: GoogleDriveHook
    02:05
  • Nuestro primer Operator personalizado: GoogleDriveToS3Operator
    05:24
  • Cómo utilizar nuestro GoogleDrivePlugin
    02:13
  • Añadir un BaseOperatorLink (enlace a internet para todos los operators)
    06:19
  • Macro personalizado para utilizar en plantillas Jinja
    04:22

  • Configurando una Fernet Key para poder encriptar elementos
    05:57
  • Encriptación y ocultación de variables
    02:28
  • Interfaz gráfica RBAC
    07:41
  • Cosillas a configurar en airflow.cfg
    03:12

  • Como modificar valores de un DAG al ejecutarlos manualmente
    05:07
  • Docker: como añadir un Dockerfile
    02:29
  • Docker: instalar una librería de Python
    04:06
  • Docker: instalar un archivo requirements.txt
    02:57

Requirements

  • Conocimientos básicos de Python
  • Recomendable conocimientos básicos de shell en unix
  • Recomendable conocimientos básicos de Docker

Description

Apache Airflow es la herramienta de moda para crear procesos ELT/ETL y todo tipo de flujos de trabajo automatizados. Pero no es una de esas modas tontas y pasajeras, no. Airflow se ha ganado el puesto a pulso, ya que nos ofrece una escalabilidad, personalización y robustez difíciles de igualar por cualquier otra herramienta. Y lo mejor de todo: ¡es open source! (que no cuesta un duro, vamos). Gracias a eso tiene una grandísima comunidad y está siempre en constante mejora y expansión.

En este curso aprenderás a usar Airflow desde 0 y adquirirás conocimientos suficientes para poder utilizarlo en producción en tu empresa. Conocerás todos los conceptos necesarios para entender bien el funcionamiento de la herramienta, y podrás deleitar a tus compis de curro con unas pipelines chulísimas. Y eso lo aprenderás sin apenas darte cuenta, ya que mis vídeos son concisos y van al grano.

Todo esto aderezado con tests para que repases, ejercicios de programación donde yo os aportaré una solución posible y constantes actualizaciones y mejoras del curso, para que nunca pares de aprender y mejorar.

No te lo pienses más y adentrate en el maravilloso mundo de Apache Airflow.

Who this course is for:

  • Profesionales informáticos (principalmente relacionados con el mundo de los datos) con conocimientos de Python, que deseen una herramienta para implementar procesos de ETL/ELT o workflows en general
  • Estudiantes con interés en trabajar en una posición de Data Engineer o Data Scientist

Instructor

Javier López Tomás
Data Engineer
Javier López Tomás
  • 4.5 Instructor Rating
  • 86 Reviews
  • 515 Students
  • 1 Course

Buenas! Me llamo Javier, estudié ingeniería industrial y un máster en estadística aplicada. He sido siempre un entusiasta de los datos y las estadísticas y desde el inicio de mi vida laboral he trabajado en el mundo de los datos, habiéndo podido liderar la migración a Airflow en dos empresas. Ahora mismo trabajo como Data Engineer en una empresa del sector salud.

  • Udemy for Business
  • Teach on Udemy
  • Get the app
  • About us
  • Contact us
  • Careers
  • Blog
  • Help and Support
  • Affiliate
  • Impressum Kontakt
  • Terms
  • Privacy policy
  • Cookie settings
  • Sitemap
  • Featured courses
Udemy
© 2021 Udemy, Inc.