【한글자막】 Apache Spark 와 Python으로 빅 데이터 다루기
What you'll learn
- Spark 3에서 DataFrames 및 구조적 스트리밍 사용하기
- 빅데이터 분석 문제를 Spark 문제로 프레임화
- Amazon의 Elastic MapReduce 서비스를 사용하여 Hadoop YARN이 있는 클러스터에서 작업 실행하기
- 데스크톱 컴퓨터 또는 클러스터에 Apache Spark 설치 및 실행하기
- Spark의 Resilient Distributed Datasets를 사용하여 많은 CPU에서 대규모 데이터 세트 처리 및 분석하기
- Spark를 사용하여 너비 우선 검색과 같은 반복 알고리즘 구현하기
- MLLib 머신 러닝 라이브러리를 사용하여 일반적인 데이터 마이닝 질문에 답하기
- Spark SQL을 사용하여 구조화된 데이터로 작업하는 방법 이해하기
- Spark Streaming을 통해 실시간으로 연속적인 데이터 스트림을 처리하는 방법 이해하기
- 클러스터에서 실행되는 대규모 작업 조정 및 문제 해결하기
- 브로드캐스트 변수와 어큐뮬레이터를 사용하여 Spark 클러스터의 노드 간에 정보 공유하기
- GraphX 라이브러리가 네트워크 분석 문제에 어떻게 도움이 되는지 이해하기
Requirements
- 이 강의는 개인용 컴퓨터 사용이 가능 해야 하며, Windows를 사용하지만 샘플 코드는 Linux에서도 작동 합니다.
- 일부 사전 프로그래밍 또는 스크립팅 경험이 필요합니다. (Python 기초 강의 선행을 추천드립니다)
- Python 경험은 많은 도움이 되지만 이 강의를 진행 하면서 배워 가도 충분합니다.
Description
Spark와 Python을 함께 배우는 강의!
20개 이상의 실제 예시 포함!
Spark의 기초부터 시작하여 다양한 응용까지 All in one!
Amazon 및 IMDb의 전 엔지니어이자 선임 관리자로부터 배우는 실습 위주 수업!
*프로그래밍을 처음 접한다면 수업을 진행하기 어려울 수 있습니다. Python 기초 강의를 먼저 수강하시는 것을 추천합니다*
Apache Spark 와 Python으로 빅 데이터 다루기 강의를 선택해야 하는 이유
데이터 분석 문제를 Spark로 프레이밍 하는 기술을 배우고, 20개 이상의 실습 예제를 통해서 완벽히 마스터 할 수 있습니다.
수강 후에는 몇 분만에 클라우드에서 GB 크기의 정보를 분석하는 코드를 실행 할 수 있게 됩니다.
이 강의는 친숙한 Python 프로그래밍 언어를 사용합니다.
(만약 Spark에서 최고의 성능을 얻기 위해 Scala를 사용하고 싶다면 다른 강의가 더 적합 할 수 있습니다.)
이 강의에는 재미있는 실습이 포함 되어 있습니다. Spark를 사용하여 영화 등급 데이터와 책의 텍스트를 분석하는 몇 가지 간단한 예로 시작해서 기본기를 배운 후에는, 더 복잡하고 흥미로운 작업을 진행합니다. 백만개의 영화 등급을 사용하여 서로 유사한 영화를 찾을 것이고, 이 과정에서 여러분들이 좋아할 만한 새로운 영화를 발견할 수도 있을 것입니다! 여러분은 슈퍼히어로의 사회적 그래프를 분석하고 가장 "인기 있는" 슈퍼히어로가 누구인지 배우고 슈퍼히어로 사이의 "Degree of Separation"를 찾는 시스템을 개발할 것입니다. 모든 마블 슈퍼히어로들은 스파이더맨과 얼마나 연결되어 있을까요?
이 강의를 통해 그 답을 찾을 수 있습니다.
또한, 이 강의는 실습 위주의 강의입니다. Amazon의 Elastic MapReduce 서비스를 사용하여 자체 시스템과 클라우드 모두에서 실제 코드를 함께 작성, 분석 및 실행할 때 강사와 함께 대부분의 시간을 보내게 됩니다. 7시간 분량의 영상 내용이 포함되어 있으며, 20개 이상의 실제 예시는 복잡성이 증가함에 따라 스스로 구축하고 실행하고 연구할 수 있습니다.
Apache Spark 와 Python으로 빅 데이터 다루기 세부 커리큘럼
Spark 3에서 DataFrames 및 구조적 스트리밍 사용하기
빅데이터 분석 문제를 Spark 문제로 프레임화
Amazon의 Elastic MapReduce 서비스를 사용하여 Hadoop YARN이 있는 클러스터에서 작업 실행하기
데스크톱 컴퓨터 또는 클러스터에 Apache Spark 설치 및 실행하기
Spark의 Resilient Distributed Datasets를 사용하여 많은 CPU에서 대규모 데이터 세트 처리 및 분석하기
Spark를 사용하여 너비 우선 검색과 같은 반복 알고리즘 구현하기
MLLib 머신 러닝 라이브러리를 사용하여 일반적인 데이터 마이닝 질문에 답하기
Spark SQL을 사용하여 구조화된 데이터로 작업하는 방법 이해하기
Spark Streaming을 통해 실시간으로 연속적인 데이터 스트림을 처리하는 방법 이해하기
클러스터에서 실행되는 대규모 작업 조정 및 문제 해결하기
브로드캐스트 변수와 어큐뮬레이터를 사용하여 Spark 클러스터의 노드 간에 정보 공유하기
GraphX 라이브러리가 네트워크 분석 문제에 어떻게 도움이 되는지 이해하기
Amazon 및 IMDb의 전 엔지니어이자 선임 관리자 Frank Kane 강사의 한마디!
완전히 업데이트 된 새로운 강의로 출시되었습니다!
Spark 3, 더 많은 실습, DataFrames 및 Structured Streaming에 대해 더 중점적으로 업데이트되었습니다.
Spark SQL, Spark Streaming과 같은 최신 Spark 기술과 Gradient Boosted Trees와 같은 고급 모델도 다룰 것입니다.
"빅 데이터" 분석은 아주 인기있고 매우 가치 있는 기술입니다. 이 강의는 빅 데이터에서 가장 인기 있는 기술을 알려줍니다. 바로 Apache Spark 입니다. 아마존, 이베이, NASA JPL 및 Yahoo를 포함한 고용주는 모두 Spark를 사용하여 내결함성 Hadoop 클러스터 전반에 걸쳐 방대한 데이터 세트에서 의미를 빠르게 추출합니다. 여러분은 앉은 자리에서 Windows 시스템을 사용하여 동일한 기술을 배우게 될 것인데, 이는 생각보다 어렵지 않습니다.
여러분의 일정에 따라 여러분의 속도로 진행하세요. 이 강의는 Spark SQL, Spark Streaming, GraphX를 비롯한 다른 Spark 기반 기술에 대한 개요로 마무리됩니다.
강의를 들으시고 강의와 관련하여 궁금하신 점은 무엇이든 Q&A에 남기실 수 있지만, 꼭 영어로 남겨주세요. 그래야 답변을 드릴 수 있습니다. :)
Apache Spark로 빅 데이터를 처리하는 것은 오늘날의 기술 세계에서 중요한 기술입니다. 지금 등록하고 이 강의를 즐겨보시기를 바랍니다!
-Frank
P.S. 제 강의에 대한 한 수강생의 리뷰를 소개해 드립니다:
" Frank Kane과 함께 "Apache Spark 및 Python으로 빅 데이터 다루기"를 공부 했습니다. 제 회사에서 서비스를 위한 빅 데이터 플랫폼을 구축하는데 큰 도움이 되었으며, 이 강의를 추천합니다! " - Cleuton Sampaio De Melo Jr.
Who this course is for:
- 빅 데이터 분석에서 가장 인기 있는 기술을 배우고자 하는 프로그래머
- Spark를 사용하여 거대한 데이터 세트를 구축하고 의미를 추출하는 방법을 배우고 싶은 분
- 소프트웨어 개발 작업에 대량의 데이터 처리가 필요한 분
- 데이터공학이나 빅 데이터 분야에서 새로운 커리어를 쌓고 싶은 분
Instructors
![Sundog Education by Frank Kane](data:image/svg+xml,%3Csvg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 64 64"%3E%3C/svg%3E){kind=avatar}
- 4.5 Instructor Rating
- 143,983 Reviews
- 698,222 Students
- 33 Courses
Sundog Education's mission is to make highly valuable career skills in big data, data science, and machine learning accessible to everyone in the world. Our consortium of expert instructors shares our knowledge in these emerging fields with you, at prices anyone can afford.
Sundog Education is led by Frank Kane and owned by Frank's company, Sundog Software LLC. Frank spent 9 years at Amazon and IMDb, developing and managing the technology that automatically delivers product and movie recommendations to hundreds of millions of customers, all the time. Frank holds 17 issued patents in the fields of distributed computing, data mining, and machine learning. In 2012, Frank left to start his own successful company, Sundog Software, which focuses on virtual reality environment technology, and teaching others about big data analysis.
- 4.5 Instructor Rating
- 137,548 Reviews
- 646,771 Students
- 26 Courses
Frank spent 9 years at Amazon and IMDb, developing and managing the technology that automatically delivers product and movie recommendations to hundreds of millions of customers, all the time. Frank holds 17 issued patents in the fields of distributed computing, data mining, and machine learning. In 2012, Frank left to start his own successful company, Sundog Software, which focuses on virtual reality environment technology, and teaching others about big data analysis.
Due to our volume of students, I am unable to respond to private messages; please post your questions within the Q&A of your course. Thanks for understanding.
- 4.7 Instructor Rating
- 17,108 Reviews
- 49,212 Students
- 248 Courses
1980년 도서출판 '헤임인터내셔널'이라는 이름으로 설립된 웅진씽크빅은 '헤임고교학습', '어린이마음', '웅진위인전기', 등을 잇따라 성공적으로 선보이며 교육업계를 이끌어왔습니다.
유아에서 성인을 아우르는 다양한 교육문화 콘텐츠를 개발, 제공하며 40년간 끊임없이 발전하는 교육기업입니다.
2021년 3월, 웅진씽크빅은 Udemy와 Strategic Alliance를 체결하였으며,
다양한 Udemy의 글로벌 Bestseller 강의들을 한국 수강생들에게 소개하고 있습니다.
영어를 어려워하는 수강생을 위해 글로벌 인기 강의에 한국어 자막도 제공하고 있으며, 국내에서 학습 수요가 높은 IT, 비즈니스, 직무개발, 어학 분야 등의 유명 강의도 모두 들을 수 있도록 다양한 콘텐츠 공급사와 제휴를 맺어 E-Learning 사업을 지속적으로 확대해나가고 있습니다.