Udemy
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
Development
Web Development Data Science Mobile Development Programming Languages Game Development Database Design & Development Software Testing Software Engineering Development Tools No-Code Development
Business
Entrepreneurship Communications Management Sales Business Strategy Operations Project Management Business Law Business Analytics & Intelligence Human Resources Industry E-Commerce Media Real Estate Other Business
Finance & Accounting
Accounting & Bookkeeping Compliance Cryptocurrency & Blockchain Economics Finance Finance Cert & Exam Prep Financial Modeling & Analysis Investing & Trading Money Management Tools Taxes Other Finance & Accounting
IT & Software
IT Certification Network & Security Hardware Operating Systems Other IT & Software
Office Productivity
Microsoft Apple Google SAP Oracle Other Office Productivity
Personal Development
Personal Transformation Personal Productivity Leadership Career Development Parenting & Relationships Happiness Esoteric Practices Religion & Spirituality Personal Brand Building Creativity Influence Self Esteem & Confidence Stress Management Memory & Study Skills Motivation Other Personal Development
Design
Web Design Graphic Design & Illustration Design Tools User Experience Design Game Design Design Thinking 3D & Animation Fashion Design Architectural Design Interior Design Other Design
Marketing
Digital Marketing Search Engine Optimization Social Media Marketing Branding Marketing Fundamentals Marketing Analytics & Automation Public Relations Advertising Video & Mobile Marketing Content Marketing Growth Hacking Affiliate Marketing Product Marketing Other Marketing
Lifestyle
Arts & Crafts Beauty & Makeup Esoteric Practices Food & Beverage Gaming Home Improvement Pet Care & Training Travel Other Lifestyle
Photography & Video
Digital Photography Photography Portrait Photography Photography Tools Commercial Photography Video Design Other Photography & Video
Health & Fitness
Fitness General Health Sports Nutrition Yoga Mental Health Dieting Self Defense Safety & First Aid Dance Meditation Other Health & Fitness
Music
Instruments Music Production Music Fundamentals Vocal Music Techniques Music Software Other Music
Teaching & Academics
Engineering Humanities Math Science Online Education Social Science Language Teacher Training Test Prep Other Teaching & Academics
AWS Certification Microsoft Certification AWS Certified Solutions Architect - Associate AWS Certified Cloud Practitioner CompTIA A+ Cisco CCNA Amazon AWS CompTIA Security+ Microsoft AZ-900
Graphic Design Photoshop Adobe Illustrator Drawing Digital Painting InDesign Character Design Canva Figure Drawing
Life Coach Training Neuro-Linguistic Programming Personal Development Mindfulness Personal Transformation Life Purpose Meditation CBT Emotional Intelligence
Web Development JavaScript React CSS Angular PHP Node.Js WordPress Vue JS
Google Flutter Android Development iOS Development React Native Swift Dart Programming Language Mobile Development Kotlin SwiftUI
Digital Marketing Google Ads (Adwords) Social Media Marketing Google Ads (AdWords) Certification Marketing Strategy Internet Marketing YouTube Marketing Email Marketing Retargeting
Microsoft Power BI SQL Tableau Business Analysis Data Modeling Business Intelligence MySQL Data Analysis Blockchain
Business Fundamentals Entrepreneurship Fundamentals Business Strategy Business Plan Startup Online Business Freelancing Blogging Home Business
Unity Game Development Fundamentals Unreal Engine C# 3D Game Development C++ 2D Game Development Unreal Engine Blueprints Blender
2021-03-17 18:24:15
30-Day Money-Back Guarantee
Development Programming Languages Big Data

Big Data, Hadoop oraz MapReduce w języku Python

Opanuj budowanie MapReduce Jobs używając biblioteki MRJob oraz usługi Amazon Elastic MapReduce!
Rating: 4.8 out of 54.8 (31 ratings)
263 students
Created by Paweł Krakowiak
Last updated 4/2021
Polish
30-Day Money-Back Guarantee

What you'll learn

  • Paradygmat programowania MapReduce do rozwiązań Big Data
  • Omówienie podstawowych elementów ekosystemu Hadoop
  • Budowanie MapReduce Jobs w oparciu o bibliotekę MRJob
  • Debugging MapReduce Jobs
  • Uruchomienie programów MapReduce lokalnie
  • Uruchomienie programów MapReduce z wykorzystaniem chmury - Amazon Web Services (AWS)
  • Usługa Amazon Elastic MapReduce
  • Analiza zawartości tekstowej Iliady
  • Analiza danych dotyczących linii lotniczych
  • Analiza danych dotyczących ruchu taksówek
  • Analiza danych dotyczących recenzji produktów na sklepie internetowym Amazon
  • Przykład użycia Big Data oraz technik NLP w przetwarzaniu języka

Course content

14 sections • 70 lectures • 7h 48m total length

  • Preview03:49
  • Wymagania
    00:14
  • Big Data - początki i historia
    04:14
  • The 5 V's of Big Data
    04:06
  • Big Data - przykłady zastosowań
    11:22

  • Ekosystem Big Data
    05:58
  • Apache Hadoop
    00:59
  • Ekosystem Apache Hadoop
    04:59
  • Klaster obliczeniowy - on-premise vs. cloud
    02:07

  • HDFS - Hadoop Distributed File System
    01:46
  • Preview06:40
  • Test
    3 questions

  • Algorytm MapReduce - Map + Reduce
    06:43
  • Algorytm MapReduce - Map + Combine + Reduce
    05:14
  • Algorytm MapReduce - spojrzenie wysokopoziomowe
    05:01

  • Narzędzia wykorzystywane podczas kursu
    01:56
  • PyCharm Community Edition
    00:08
  • Utworzenie repozytorium kursu na GitHub + synchronizacja z PyCharm
    04:41

  • Pierwszy MapReduce Job w języku Python
    12:26
  • Pierwszy MapReduce Job w języku Python - kilka uwag
    03:13
  • MapReduce: SMS Spam Collection
    05:37
  • MapReduce: SMS Spam Collection - podstawowe statystyki
    04:37
  • MapReduce: Kontrola kroków (map, reduce)
    04:15

  • MapReduce: Iliada - word count cz. 1
    08:53
  • MapReduce: Iliada - word count + regex cz. 2
    04:07
  • MapReduce: Iliada - najczęściej występujące słowo
    11:45

  • MapReduce: Map + Combine + Reduce
    09:27
  • MapReduce: Map + Combine + Reduce cz. 2
    04:44

  • MapReduce: airplane dataset + MapReduce Job
    12:33
  • MapReduce: Wstępne przetworzenie danych - preprocessing
    09:23
  • MapReduce: Średnia odległość lotu
    17:35
  • MapReduce: Średnie opóźnienie odlotu i przylotu w rozbiciu na miesiąc
    12:13
  • MapReduce: Średnie opóźnienie odlotu i przylotu w rozbiciu na miesiąc cz. 2
    09:29
  • JupyterNotebook: Eksploracja wyników (Plotly)
    17:32
  • Zadanie: Średnie opóźnienie odlotu i przylotu w rozbiciu na linie lotnicze
    01:18
  • Rozwiązanie: Średnie opóźnienie odlotu i przylotu w rozbiciu na linie lotnicze
    06:46
  • Średnie opóźnienie odlotu i przylotu w rozbiciu na linie lotnicze + pełne nazwy
    11:38
  • JupyterNotbook: Ekspolracja wyników (Plotly)
    04:42
  • Zadanie: Wskaźnik odwołań lotów w rozbiciu na linie lotnicze
    01:07
  • Rozwiązanie: Wskaźnik odwołań lotów w rozbiciu na linie lotnicze
    09:31
  • JupyterNotebook: Ekspolracja wyników (Plotly)
    04:11
  • Zadanie: Wskaźnik dokładności rozkładu w rozbiciu na linie lotnicze
    03:16
  • Rozwiązanie: Wskaźnik dokładności rozkładu w rozbiciu na linie lotnicze
    09:27

  • Średnia całkowita kwota rachunku w rozbiciu na dostawców
    08:22
  • Zadanie: Znaleźć rozkład liczby pasażerów na przejazd
    01:08
  • JupyterNotbook: Ekspolracja wyników (Plotly)
    04:54
  • MapReduce: Najbardziej popularna lokalizacja odbioru
    14:13
  • Preview03:39

Requirements

  • ukończony kurs Programowanie w języku Python - od A do Z
  • ukończony kurs 200+ Ćwiczeń - Programowanie w języku Python
  • ukończonyy kurs 210+ Ćwiczeń - Python - Moduły wbudowane
  • ukończony kurs Programowanie obiektowe w języku Python - OOP - od A do Z
  • ukończony kurs 150+ Ćwiczeń - Programowanie obiektowe w języku Python - OOP
  • ukończony kurs Wprowadzenie do data science w języku Python - Pandas
  • ukończony kurs Interaktywne wizualizacje danych w języku Python - Plotly

Description

---------------------------------------------------------

REKOMENDOWANE ŚCIEŻKI UCZENIA

---------------------------------------------------------

PYTHON DEVELOPER:

  • Programowanie w języku Python - od A do Z

  • 200+ Ćwiczeń - Programowanie w języku Python - od A do Z

  • 210+ Ćwiczeń - Python - Moduły wbudowane - od A do Z

  • Programowanie obiektowe w języku Python - OOP - od A do Z

  • 150+ Ćwiczeń - Programowanie obiektowe w języku Python - OOP

  • Testy jednostkowe w języku Python - framework unittest

  • 100+ Ćwiczeń - Testy jednostkowe w języku Python - unittest


SQL DEVELOPER:

  • SQL Bootcamp - Bazy danych SQLite - Part I

  • SQL Bootcamp - Bazy danych SQLite - Part II

  • SQL Bootcamp - Bazy danych SQLite - Part III - Ćwiczenia

  • SQL Bootcamp - Bazy danych SQLite - Part IV - Ćwiczenia

  • Big Data: Analiza danych przy użyciu SQL oraz BigQuery


DATA SCIENTIST / MACHINE LEARNING ENGINEER:

  • Programowanie w języku Python - od A do Z

  • 200+ Ćwiczeń - Programowanie w języku Python - od A do Z

  • 210+ Ćwiczeń - Python - Moduły wbudowane - od A do Z

  • Programowanie obiektowe w języku Python - OOP - od A do Z

  • 150+ Ćwiczeń - Programowanie obiektowe w języku Python - OOP

  • Testy jednostkowe w języku Python - framework unittest

  • 100+ Ćwiczeń - Testy jednostkowe w języku Python - unittest

  • Wprowadzenie do data science w języku Python - Pandas

  • Interaktywne wizualizacje danych w języku Python - Plotly

  • Data Science Bootcamp w języku Python - od A do Z

  • 250+ Ćwiczeń - Data Science Bootcamp w języku Python

  • SQL Bootcamp - Bazy danych SQLite - Part I

  • SQL Bootcamp - Bazy danych SQLite - Part II

  • SQL Bootcamp - Bazy danych SQLite - Part III - Ćwiczenia

  • SQL Bootcamp - Bazy danych SQLite - Part IV - Ćwiczenia

  • Machine Learning Bootcamp w języku Python cz.I - od A do Z

  • Machine Learning Bootcamp w języku Python cz.II - od A do Z

  • Machine Learning Bootcamp w języku Python cz.III - Ćwiczenia


DATA SCIENTIST / DEEP LEARNING ENGINEER

  • Programowanie w języku Python - od A do Z

  • 200+ Ćwiczeń - Programowanie w języku Python - od A do Z

  • 210+ Ćwiczeń - Python - Moduły wbudowane - od A do Z

  • Programowanie obiektowe w języku Python - OOP - od A do Z

  • 150+ Ćwiczeń - Programowanie obiektowe w języku Python - OOP

  • Testy jednostkowe w języku Python - framework unittest

  • 100+ Ćwiczeń - Testy jednostkowe w języku Python - unittest

  • Wprowadzenie do data science w języku Python - Pandas

  • Interaktywne wizualizacje danych w języku Python - Plotly

  • Data Science Bootcamp w języku Python - od A do Z

  • 250+ Ćwiczeń - Data Science Bootcamp w języku Python

  • SQL Bootcamp - Bazy danych SQLite - Part I

  • SQL Bootcamp - Bazy danych SQLite - Part II

  • SQL Bootcamp - Bazy danych SQLite - Part III - Ćwiczenia

  • SQL Bootcamp - Bazy danych SQLite - Part IV - Ćwiczenia

  • Machine Learning Bootcamp w języku Python cz.I - od A do Z

  • Machine Learning Bootcamp w języku Python cz.II - od A do Z

  • Machine Learning Bootcamp w języku Python cz.III - Ćwiczenia

  • Wprowadzenie do sieci neuronowych - Tensorflow 2.0 + Keras

  • Deep Learning w języku Python - Konwolucyjne Sieci Neuronowe

  • Artificial Intelligence – Computer Vision w języku Python


BI ANALYST / DATA ANALYST:

  • Programowanie w języku Python - od A do Z

  • 200+ Ćwiczeń - Programowanie w języku Python - od A do Z

  • 210+ Ćwiczeń - Python - Moduły wbudowane - od A do Z

  • Programowanie obiektowe w języku Python - OOP - od A do Z

  • 150+ Ćwiczeń - Programowanie obiektowe w języku Python - OOP

  • Testy jednostkowe w języku Python - framework unittest

  • 100+ Ćwiczeń - Testy jednostkowe w języku Python - unittest

  • Wprowadzenie do data science w języku Python - Pandas

  • Interaktywne wizualizacje danych w języku Python - Plotly

  • Twórz nowoczesne aplikacje webowe w Pythonie - Dash, Plotly

  • Data Science Bootcamp w języku Python - od A do Z

  • 250+ Ćwiczeń - Data Science Bootcamp w języku Python

  • SQL Bootcamp - Bazy danych SQLite - Part I

  • SQL Bootcamp - Bazy danych SQLite - Part II

  • SQL Bootcamp - Bazy danych SQLite - Part III - Ćwiczenia

  • SQL Bootcamp - Bazy danych SQLite - Part IV - Ćwiczenia


BIG DATA ANALYST:

  • Programowanie w języku Python - od A do Z

  • 200+ Ćwiczeń - Programowanie w języku Python - od A do Z

  • 210+ Ćwiczeń - Python - Moduły wbudowane - od A do Z

  • Programowanie obiektowe w języku Python - OOP - od A do Z

  • 150+ Ćwiczeń - Programowanie obiektowe w języku Python - OOP

  • Testy jednostkowe w języku Python - framework unittest

  • 100+ Ćwiczeń - Testy jednostkowe w języku Python - unittest

  • Wprowadzenie do data science w języku Python - Pandas

  • Interaktywne wizualizacje danych w języku Python - Plotly

  • Big Data, Hadoop oraz MapReduce w języku Python

  • Big Data: Analiza danych przy użyciu SQL oraz BigQuery


ENG:

  • 200+ Exercises - Programming in Python - from A to Z

  • 210+ Exercises - Python Standard Libraries - from A to Z

  • 150+ Exercises - Object Oriented Programming in Python - OOP

  • 100+ Exercises - Unit tests in Python - unittest framework

  • 100+ Exercises - Python Programming - Data Science - NumPy

  • 100+ Exercises - Python Programming - Data Science - Pandas

  • 100+ Exercises - Python - Data Science - scikit-learn

  • 250+ Exercises - Data Science Bootcamp in Python

  • SQL Bootcamp - Hands-On Exercises - SQLite - Part I

  • SQL Bootcamp - Hands-On Exercises - SQLite - Part II


-------------------
OPIS KURSU
-------------------

Umiejętność analizowania dużych zbiorów danych (Big Data) jest niezwykle gorącym tematem i zarazem jedną z najbardziej poszukiwanych umiejętności na rynku.  Ponieważ cały ekosystem rozwiązań Big Data jest ogromny w tym kursie skupimy się głównie na paradygmacie programowania MapReduce, który jest podwaliną analiz Big Data.

Zbudujemy kilkanaście MapReduce Jobów, m. in. przeanalizujemy ruch lotniczy nad Stanami Zjednoczonymi, czy ruch taksówek w Nowym Jorku. Znajdziemy średni dystans pokonywamy przez połączenia lotnicze, czy chociażby najbardziej popularny punkt odbioru nowojorskich taksówek.

W celu uruchomienia naszych Jobów postawimy klaster Hadoopowy w chmurze Amazona wykorzystując usługę EMR - Elastic MapReduce.

Who this course is for:

  • wszystkie osoby, które chcą zgłębić swoją wiedzę na temat Big Data
  • programistów języka Python
  • analityków danych
  • data scientistów
  • inżynierów uczenia maszynowego

Instructor

Paweł Krakowiak
Data Scientist, Securities Broker
Paweł Krakowiak
  • 4.6 Instructor Rating
  • 1,430 Reviews
  • 42,090 Students
  • 37 Courses

EN

Data Scientist/Python Developer/Securities Broker

Founder at e-smartdata[.]org.

A big fan of new technologies, especially in the areas of artificial intelligence, big data and cloud solutions.

A graduate of postgraduate studies at the Polish-Japanese Academy of Information Technology in the field of Computer Science in the Big Data specialization.

A graduate of Master's Degree in Financial and Actuarial Mathematics at the Faculty of Mathematics and Computer Science of the University of Lodz.

Stockbroker license holder with experience in teaching at a university.

Lecturer at the GPW Foundation (technical analysis, behavioral finance and portfolio management).

The main areas of interest are artificial intelligence, machine learning, deep learning and financial markets.

PL

Data Scientist, Securities Broker

Założyciel platformy e-smartdata[.]org

Miłośnik nowych technologii, szczególnie w obszarze sztucznej inteligencji, big data oraz rozwiązań chmurowych.

Absolwent podyplomowych studiów na Polsko-Japońskiej Akademii Technik Komputerowych na kierunku Informatyka, spec. Big Data.

Absolwent studiów magisterskich z matematyki finansowej i aktuarialnej na wydziale Matematyki i Informatyki Uniwersytetu Łódzkiego.

Od 2015 roku posiadacz licencji maklera papierów wartościowych z uprawnieniami do czynności doradztwa inwestycyjnego.

Wykładowca w Fundacji GPW prowadzący szkolenia dla inwestorów z zakresu analizy technicznej, finansów behawioralnych i zasad zarządzania portfelem instrumentów finansowych.

Z doświadczeniem w prowadzeniu zajęć dydaktycznych na wyższej uczelni z przedmiotów związanych z rachunkiem prawdopodobieństwa i statystyką.

Główne obszary zainteresowań to sztuczna inteligencja, uczenie maszynowe, uczenie głębokie i rynki finansowe.

  • Udemy for Business
  • Teach on Udemy
  • Get the app
  • About us
  • Contact us
  • Careers
  • Blog
  • Help and Support
  • Affiliate
  • Impressum Kontakt
  • Terms
  • Privacy policy
  • Cookie settings
  • Sitemap
  • Featured courses
Udemy
© 2021 Udemy, Inc.