Udemy
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
Development
Web Development Data Science Mobile Development Programming Languages Game Development Database Design & Development Software Testing Software Engineering Software Development Tools No-Code Development
Business
Entrepreneurship Communication Management Sales Business Strategy Operations Project Management Business Law Business Analytics & Intelligence Human Resources Industry E-Commerce Media Real Estate Other Business
Finance & Accounting
Accounting & Bookkeeping Compliance Cryptocurrency & Blockchain Economics Finance Finance Cert & Exam Prep Financial Modeling & Analysis Investing & Trading Money Management Tools Taxes Other Finance & Accounting
IT & Software
IT Certifications Network & Security Hardware Operating Systems & Servers Other IT & Software
Office Productivity
Microsoft Apple Google SAP Oracle Other Office Productivity
Personal Development
Personal Transformation Personal Productivity Leadership Career Development Parenting & Relationships Happiness Esoteric Practices Religion & Spirituality Personal Brand Building Creativity Influence Self Esteem & Confidence Stress Management Memory & Study Skills Motivation Other Personal Development
Design
Web Design Graphic Design & Illustration Design Tools User Experience Design Game Design 3D & Animation Fashion Design Architectural Design Interior Design Other Design
Marketing
Digital Marketing Search Engine Optimization Social Media Marketing Branding Marketing Fundamentals Marketing Analytics & Automation Public Relations Paid Advertising Video & Mobile Marketing Content Marketing Growth Hacking Affiliate Marketing Product Marketing Other Marketing
Lifestyle
Arts & Crafts Beauty & Makeup Esoteric Practices Food & Beverage Gaming Home Improvement & Gardening Pet Care & Training Travel Other Lifestyle
Photography & Video
Digital Photography Photography Portrait Photography Photography Tools Commercial Photography Video Design Other Photography & Video
Health & Fitness
Fitness General Health Sports Nutrition & Diet Yoga Mental Health Martial Arts & Self Defense Safety & First Aid Dance Meditation Other Health & Fitness
Music
Instruments Music Production Music Fundamentals Vocal Music Techniques Music Software Other Music
Teaching & Academics
Engineering Humanities Math Science Online Education Social Science Language Learning Teacher Training Test Prep Other Teaching & Academics
Web Development JavaScript React Angular CSS Node.Js Typescript HTML5 PHP
AWS Certification Microsoft Certification AWS Certified Solutions Architect - Associate AWS Certified Cloud Practitioner CompTIA A+ Amazon AWS Cisco CCNA CompTIA Security+ Microsoft AZ-900
Microsoft Power BI SQL Tableau Data Modeling Business Analysis Data Analysis Data Warehouse Blockchain Business Intelligence
Unity Unreal Engine Game Development Fundamentals C# 3D Game Development C++ Unreal Engine Blueprints 2D Game Development Mobile Game Development
Google Flutter iOS Development Android Development Swift React Native Dart (programming language) Kotlin SwiftUI Mobile App Development
Graphic Design Photoshop Adobe Illustrator Drawing Canva Digital Painting InDesign Design Theory Procreate Digital Illustration App
Life Coach Training Neuro-Linguistic Programming Personal Development Personal Transformation Life Purpose Mindfulness Sound Therapy Emotional Intelligence Coaching
Business Fundamentals Entrepreneurship Fundamentals Freelancing Business Strategy Online Business Startup Business Plan Blogging Amazon Kindle Direct Publishing (KDP)
Digital Marketing Social Media Marketing Marketing Strategy Internet Marketing Copywriting Google Analytics Email Marketing Startup Advertising Strategy

DevelopmentProgramming LanguagesBig Data

Big Data, Hadoop oraz MapReduce w języku Python

Opanuj budowanie MapReduce Jobs używając biblioteki MRJob oraz usługi Amazon Elastic MapReduce!
Rating: 4.7 out of 54.7 (45 ratings)
443 students
Created by Paweł Krakowiak
Last updated 7/2022
Polish

What you'll learn

  • Paradygmat programowania MapReduce do rozwiązań Big Data
  • Omówienie podstawowych elementów ekosystemu Hadoop
  • Budowanie MapReduce Jobs w oparciu o bibliotekę MRJob
  • Debugging MapReduce Jobs
  • Uruchomienie programów MapReduce lokalnie
  • Uruchomienie programów MapReduce z wykorzystaniem chmury - Amazon Web Services (AWS)
  • Usługa Amazon Elastic MapReduce
  • Analiza zawartości tekstowej Iliady
  • Analiza danych dotyczących linii lotniczych
  • Analiza danych dotyczących ruchu taksówek
  • Analiza danych dotyczących recenzji produktów na sklepie internetowym Amazon
  • Przykład użycia Big Data oraz technik NLP w przetwarzaniu języka

Requirements

  • ukończone kursy ze ścieżki Python Developer
  • ukończone kursy ze ścieżki Data Scientist
  • posiadam kursy, które mogą pomóc w zdobyciu wszystkich niezbędnych umiejętności wymaganych do tego kursu
  • wolny czas i chęci do podjęcia kroku w big data

Description

Umiejętność analizowania dużych zbiorów danych (Big Data) jest niezwykle gorącym tematem i zarazem jedną z najbardziej poszukiwanych umiejętności na rynku.  Ponieważ cały ekosystem rozwiązań Big Data jest ogromny w tym kursie skupimy się głównie na paradygmacie programowania MapReduce, który jest podwaliną analiz Big Data.

Zbudujemy kilkanaście MapReduce Jobów, m. in. przeanalizujemy ruch lotniczy nad Stanami Zjednoczonymi, czy ruch taksówek w Nowym Jorku. Znajdziemy średni dystans pokonywamy przez połączenia lotnicze, czy chociażby najbardziej popularny punkt odbioru nowojorskich taksówek.

W celu uruchomienia naszych Jobów postawimy klaster Hadoopowy w chmurze Amazona wykorzystując usługę EMR - Elastic MapReduce.

Apache Hadoop

Biblioteka oprogramowania Apache Hadoop to framework, który pozwala na rozproszone przetwarzanie dużych zbiorów danych w klastrach komputerów przy użyciu prostych modeli programowania. Jest przeznaczony do skalowania od pojedynczych serwerów do tysięcy maszyn, z których każda oferuje pewną moc obliczeniową i pamięć masową. Zamiast polegać na sprzęcie w celu zapewnienia wysokiej dostępności, sama biblioteka jest zaprojektowana do wykrywania i obsługi awarii w warstwie aplikacji, zapewniając w ten sposób wysoce dostępny klaster obliczeniowy.

mrjob

mrjob pozwala na tworzenie zadań MapReduce w języku Python i uruchamianie ich na kilku platformach. Dzięki mrjob możesz:

  • utworzyć wieloetapowe zadania MapReduce w czystym Pythonie

  • przetestować zadanie na swoim lokalnym komputerze

  • uruchomić zadanie na klastrze Hadoop

  • uruchomić zadanie w chmurze za pomocą Amazon Elastic MapReduce (EMR)

  • uruchomić zadanie w chmurze za pomocą Google Cloud Dataproc (Dataproc)

  • uruchomić zadania Spark w EMR lub własnym klastrze Hadoop

Stack Overflow Developer Survey

Według Stack Overflow Developer Survey 2021 język Python jest najchętniej wybieranym językiem do nauki programowania.

Who this course is for:

  • dla programistów języka Python, którzy chcą poznać ekosystem big data
  • dla osób, które chcą zgłębić swoją wiedzę na temat big data, map reduce oraz Hadoop
  • dla data scientistów
  • dla analityków danych
  • dla inżynierów uczenia maszynowego
  • dla osób zainteresowanych big data

Instructor

Paweł Krakowiak
Python Developer/Data Scientist/Stockbroker
Paweł Krakowiak
  • 4.6 Instructor Rating
  • 4,546 Reviews
  • 201,322 Students
  • 75 Courses

EN

Python Developer/Data Scientist/Stockbroker

Founder at e-smartdata[.]org.

Big fan of new technologies!

Graduate of postgraduate studies at the Polish-Japanese Academy of Information Technology in the field of Computer Science and Big Data specialization.

Graduate of MA studies in Financial and Actuarial Mathematics at the Faculty of Mathematics and Computer Science at the University of Lodz. Former PhD student at the faculty of mathematics.

Stockbroker license holder (no 3073).

Lecturer at the GPW Foundation (technical analysis, behavioral finance and portfolio management).

PL

Data Scientist, Securities Broker

Założyciel platformy e-smartdata[.]org

Miłośnik nowych technologii, szczególnie w obszarze sztucznej inteligencji, języka Python oraz rozwiązań chmurowych.

Absolwent podyplomowych studiów na Polsko-Japońskiej Akademii Technik Komputerowych na kierunku Informatyka, spec. Big Data.

Absolwent studiów magisterskich z matematyki finansowej i aktuarialnej na wydziale Matematyki i Informatyki Uniwersytetu Łódzkiego.

Od 2015 roku posiadacz licencji Maklera Papierów Wartościowych z uprawnieniami do czynności doradztwa inwestycyjnego (nr 3073).

Wykładowca w Fundacji GPW prowadzący szkolenia dla inwestorów z zakresu analizy technicznej, finansów behawioralnych i zasad zarządzania portfelem instrumentów finansowych.

Z doświadczeniem w prowadzeniu zajęć dydaktycznych na wyższej uczelni z przedmiotów związanych z rachunkiem prawdopodobieństwa i statystyką.

Główne obszary zainteresowań to język Python, sztuczna inteligencja, web development oraz rynki finansowe.


IG: e_smartdata

Top companies choose Udemy Business to build in-demand career skills.
NasdaqVolkswagenBoxNetAppEventbrite
  • Udemy Business
  • Teach on Udemy
  • Get the app
  • About us
  • Contact us
  • Careers
  • Blog
  • Help and Support
  • Affiliate
  • Investors
  • Terms
  • Privacy policy
  • Sitemap
  • Accessibility statement
Udemy
© 2022 Udemy, Inc.