Big Data, Hadoop oraz MapReduce w języku Python
What you'll learn
- Paradygmat programowania MapReduce do rozwiązań Big Data
- Omówienie podstawowych elementów ekosystemu Hadoop
- Budowanie MapReduce Jobs w oparciu o bibliotekę MRJob
- Debugging MapReduce Jobs
- Uruchomienie programów MapReduce lokalnie
- Uruchomienie programów MapReduce z wykorzystaniem chmury - Amazon Web Services (AWS)
- Usługa Amazon Elastic MapReduce
- Analiza zawartości tekstowej Iliady
- Analiza danych dotyczących linii lotniczych
- Analiza danych dotyczących ruchu taksówek
- Analiza danych dotyczących recenzji produktów na sklepie internetowym Amazon
- Przykład użycia Big Data oraz technik NLP w przetwarzaniu języka
Course content
- Preview03:49
- 00:14Wymagania
- 04:14Big Data - początki i historia
- 04:06The 5 V's of Big Data
- 11:22Big Data - przykłady zastosowań
Requirements
- ukończony kurs Programowanie w języku Python - od A do Z
- ukończony kurs 200+ Ćwiczeń - Programowanie w języku Python
- ukończonyy kurs 210+ Ćwiczeń - Python - Moduły wbudowane
- ukończony kurs Programowanie obiektowe w języku Python - OOP - od A do Z
- ukończony kurs 150+ Ćwiczeń - Programowanie obiektowe w języku Python - OOP
- ukończony kurs Wprowadzenie do data science w języku Python - Pandas
- ukończony kurs Interaktywne wizualizacje danych w języku Python - Plotly
Description
---------------------------------------------------------
REKOMENDOWANE ŚCIEŻKI UCZENIA
---------------------------------------------------------
PYTHON DEVELOPER:
Programowanie w języku Python - od A do Z
200+ Ćwiczeń - Programowanie w języku Python - od A do Z
210+ Ćwiczeń - Python - Moduły wbudowane - od A do Z
Programowanie obiektowe w języku Python - OOP - od A do Z
150+ Ćwiczeń - Programowanie obiektowe w języku Python - OOP
Testy jednostkowe w języku Python - framework unittest
100+ Ćwiczeń - Testy jednostkowe w języku Python - unittest
SQL DEVELOPER:
SQL Bootcamp - Bazy danych SQLite - Part I
SQL Bootcamp - Bazy danych SQLite - Part II
SQL Bootcamp - Bazy danych SQLite - Part III - Ćwiczenia
SQL Bootcamp - Bazy danych SQLite - Part IV - Ćwiczenia
Big Data: Analiza danych przy użyciu SQL oraz BigQuery
DATA SCIENTIST / MACHINE LEARNING ENGINEER:
Programowanie w języku Python - od A do Z
200+ Ćwiczeń - Programowanie w języku Python - od A do Z
210+ Ćwiczeń - Python - Moduły wbudowane - od A do Z
Programowanie obiektowe w języku Python - OOP - od A do Z
150+ Ćwiczeń - Programowanie obiektowe w języku Python - OOP
Testy jednostkowe w języku Python - framework unittest
100+ Ćwiczeń - Testy jednostkowe w języku Python - unittest
Wprowadzenie do data science w języku Python - Pandas
Interaktywne wizualizacje danych w języku Python - Plotly
Data Science Bootcamp w języku Python - od A do Z
250+ Ćwiczeń - Data Science Bootcamp w języku Python
SQL Bootcamp - Bazy danych SQLite - Part I
SQL Bootcamp - Bazy danych SQLite - Part II
SQL Bootcamp - Bazy danych SQLite - Part III - Ćwiczenia
SQL Bootcamp - Bazy danych SQLite - Part IV - Ćwiczenia
Machine Learning Bootcamp w języku Python cz.I - od A do Z
Machine Learning Bootcamp w języku Python cz.II - od A do Z
Machine Learning Bootcamp w języku Python cz.III - Ćwiczenia
DATA SCIENTIST / DEEP LEARNING ENGINEER
Programowanie w języku Python - od A do Z
200+ Ćwiczeń - Programowanie w języku Python - od A do Z
210+ Ćwiczeń - Python - Moduły wbudowane - od A do Z
Programowanie obiektowe w języku Python - OOP - od A do Z
150+ Ćwiczeń - Programowanie obiektowe w języku Python - OOP
Testy jednostkowe w języku Python - framework unittest
100+ Ćwiczeń - Testy jednostkowe w języku Python - unittest
Wprowadzenie do data science w języku Python - Pandas
Interaktywne wizualizacje danych w języku Python - Plotly
Data Science Bootcamp w języku Python - od A do Z
250+ Ćwiczeń - Data Science Bootcamp w języku Python
SQL Bootcamp - Bazy danych SQLite - Part I
SQL Bootcamp - Bazy danych SQLite - Part II
SQL Bootcamp - Bazy danych SQLite - Part III - Ćwiczenia
SQL Bootcamp - Bazy danych SQLite - Part IV - Ćwiczenia
Machine Learning Bootcamp w języku Python cz.I - od A do Z
Machine Learning Bootcamp w języku Python cz.II - od A do Z
Machine Learning Bootcamp w języku Python cz.III - Ćwiczenia
Wprowadzenie do sieci neuronowych - Tensorflow 2.0 + Keras
Deep Learning w języku Python - Konwolucyjne Sieci Neuronowe
Artificial Intelligence – Computer Vision w języku Python
BI ANALYST / DATA ANALYST:
Programowanie w języku Python - od A do Z
200+ Ćwiczeń - Programowanie w języku Python - od A do Z
210+ Ćwiczeń - Python - Moduły wbudowane - od A do Z
Programowanie obiektowe w języku Python - OOP - od A do Z
150+ Ćwiczeń - Programowanie obiektowe w języku Python - OOP
Testy jednostkowe w języku Python - framework unittest
100+ Ćwiczeń - Testy jednostkowe w języku Python - unittest
Wprowadzenie do data science w języku Python - Pandas
Interaktywne wizualizacje danych w języku Python - Plotly
Twórz nowoczesne aplikacje webowe w Pythonie - Dash, Plotly
Data Science Bootcamp w języku Python - od A do Z
250+ Ćwiczeń - Data Science Bootcamp w języku Python
SQL Bootcamp - Bazy danych SQLite - Part I
SQL Bootcamp - Bazy danych SQLite - Part II
SQL Bootcamp - Bazy danych SQLite - Part III - Ćwiczenia
SQL Bootcamp - Bazy danych SQLite - Part IV - Ćwiczenia
BIG DATA ANALYST:
Programowanie w języku Python - od A do Z
200+ Ćwiczeń - Programowanie w języku Python - od A do Z
210+ Ćwiczeń - Python - Moduły wbudowane - od A do Z
Programowanie obiektowe w języku Python - OOP - od A do Z
150+ Ćwiczeń - Programowanie obiektowe w języku Python - OOP
Testy jednostkowe w języku Python - framework unittest
100+ Ćwiczeń - Testy jednostkowe w języku Python - unittest
Wprowadzenie do data science w języku Python - Pandas
Interaktywne wizualizacje danych w języku Python - Plotly
Big Data, Hadoop oraz MapReduce w języku Python
Big Data: Analiza danych przy użyciu SQL oraz BigQuery
ENG:
200+ Exercises - Programming in Python - from A to Z
210+ Exercises - Python Standard Libraries - from A to Z
150+ Exercises - Object Oriented Programming in Python - OOP
100+ Exercises - Unit tests in Python - unittest framework
100+ Exercises - Python Programming - Data Science - NumPy
100+ Exercises - Python Programming - Data Science - Pandas
100+ Exercises - Python - Data Science - scikit-learn
250+ Exercises - Data Science Bootcamp in Python
SQL Bootcamp - Hands-On Exercises - SQLite - Part I
SQL Bootcamp - Hands-On Exercises - SQLite - Part II
-------------------
OPIS KURSU
-------------------
Umiejętność analizowania dużych zbiorów danych (Big Data) jest niezwykle gorącym tematem i zarazem jedną z najbardziej poszukiwanych umiejętności na rynku. Ponieważ cały ekosystem rozwiązań Big Data jest ogromny w tym kursie skupimy się głównie na paradygmacie programowania MapReduce, który jest podwaliną analiz Big Data.
Zbudujemy kilkanaście MapReduce Jobów, m. in. przeanalizujemy ruch lotniczy nad Stanami Zjednoczonymi, czy ruch taksówek w Nowym Jorku. Znajdziemy średni dystans pokonywamy przez połączenia lotnicze, czy chociażby najbardziej popularny punkt odbioru nowojorskich taksówek.
W celu uruchomienia naszych Jobów postawimy klaster Hadoopowy w chmurze Amazona wykorzystując usługę EMR - Elastic MapReduce.
Who this course is for:
- wszystkie osoby, które chcą zgłębić swoją wiedzę na temat Big Data
- programistów języka Python
- analityków danych
- data scientistów
- inżynierów uczenia maszynowego
Instructor
![Paweł Krakowiak](data:image/svg+xml,%3Csvg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 64 64"%3E%3C/svg%3E){kind=avatar}
- 4.6 Instructor Rating
- 1,946 Reviews
- 96,128 Students
- 44 Courses
EN
Python Developer/Data Scientist/Stockbroker
Founder at e-smartdata[.]org.
Big fan of new technologies!
Graduate of postgraduate studies at the Polish-Japanese Academy of Information Technology in the field of Computer Science and Big Data specialization.
Graduate of MA studies in Financial and Actuarial Mathematics at the Faculty of Mathematics and Computer Science at the University of Lodz. Former PhD student at the faculty of mathematics.
Stockbroker license holder (no 3073).
Lecturer at the GPW Foundation (technical analysis, behavioral finance and portfolio management).
PL
Data Scientist, Securities Broker
Założyciel platformy e-smartdata[.]org
Miłośnik nowych technologii, szczególnie w obszarze sztucznej inteligencji, języka Python oraz rozwiązań chmurowych.
Absolwent podyplomowych studiów na Polsko-Japońskiej Akademii Technik Komputerowych na kierunku Informatyka, spec. Big Data.
Absolwent studiów magisterskich z matematyki finansowej i aktuarialnej na wydziale Matematyki i Informatyki Uniwersytetu Łódzkiego.
Od 2015 roku posiadacz licencji Maklera Papierów Wartościowych z uprawnieniami do czynności doradztwa inwestycyjnego (nr 3073).
Wykładowca w Fundacji GPW prowadzący szkolenia dla inwestorów z zakresu analizy technicznej, finansów behawioralnych i zasad zarządzania portfelem instrumentów finansowych.
Z doświadczeniem w prowadzeniu zajęć dydaktycznych na wyższej uczelni z przedmiotów związanych z rachunkiem prawdopodobieństwa i statystyką.
Główne obszary zainteresowań to język Python, sztuczna inteligencja, web development oraz rynki finansowe.