【한글자막】 Apache Spark 와 Python으로 빅 데이터 다루기
What you'll learn
- Spark 3에서 DataFrames 및 구조적 스트리밍 사용하기
- 빅데이터 분석 문제를 Spark 문제로 프레임화
- Amazon의 Elastic MapReduce 서비스를 사용하여 Hadoop YARN이 있는 클러스터에서 작업 실행하기
- 데스크톱 컴퓨터 또는 클러스터에 Apache Spark 설치 및 실행하기
- Spark의 Resilient Distributed Datasets를 사용하여 많은 CPU에서 대규모 데이터 세트 처리 및 분석하기
- Spark를 사용하여 너비 우선 검색과 같은 반복 알고리즘 구현하기
- MLLib 머신 러닝 라이브러리를 사용하여 일반적인 데이터 마이닝 질문에 답하기
- Spark SQL을 사용하여 구조화된 데이터로 작업하는 방법 이해하기
- Spark Streaming을 통해 실시간으로 연속적인 데이터 스트림을 처리하는 방법 이해하기
- 클러스터에서 실행되는 대규모 작업 조정 및 문제 해결하기
- 브로드캐스트 변수와 어큐뮬레이터를 사용하여 Spark 클러스터의 노드 간에 정보 공유하기
- GraphX 라이브러리가 네트워크 분석 문제에 어떻게 도움이 되는지 이해하기
Requirements
- 이 강의는 개인용 컴퓨터 사용이 가능 해야 하며, Windows를 사용하지만 샘플 코드는 Linux에서도 작동 합니다.
- 일부 사전 프로그래밍 또는 스크립팅 경험이 필요합니다. (Python 기초 강의 선행을 추천드립니다)
- Python 경험은 많은 도움이 되지만 이 강의를 진행 하면서 배워 가도 충분합니다.
Description
Spark와 Python을 함께 배우는 강의!
20개 이상의 실제 예시 포함!
Spark의 기초부터 시작하여 다양한 응용까지 All in one!
Amazon 및 IMDb의 전 엔지니어이자 선임 관리자로부터 배우는 실습 위주 수업!
*프로그래밍을 처음 접한다면 수업을 진행하기 어려울 수 있습니다. Python 기초 강의를 먼저 수강하시는 것을 추천합니다*
Apache Spark 와 Python으로 빅 데이터 다루기 강의를 선택해야 하는 이유
데이터 분석 문제를 Spark로 프레이밍 하는 기술을 배우고, 20개 이상의 실습 예제를 통해서 완벽히 마스터 할 수 있습니다.
수강 후에는 몇 분만에 클라우드에서 GB 크기의 정보를 분석하는 코드를 실행 할 수 있게 됩니다.
이 강의는 친숙한 Python 프로그래밍 언어를 사용합니다.
(만약 Spark에서 최고의 성능을 얻기 위해 Scala를 사용하고 싶다면 다른 강의가 더 적합 할 수 있습니다.)
이 강의에는 재미있는 실습이 포함 되어 있습니다. Spark를 사용하여 영화 등급 데이터와 책의 텍스트를 분석하는 몇 가지 간단한 예로 시작해서 기본기를 배운 후에는, 더 복잡하고 흥미로운 작업을 진행합니다. 백만개의 영화 등급을 사용하여 서로 유사한 영화를 찾을 것이고, 이 과정에서 여러분들이 좋아할 만한 새로운 영화를 발견할 수도 있을 것입니다! 여러분은 슈퍼히어로의 사회적 그래프를 분석하고 가장 "인기 있는" 슈퍼히어로가 누구인지 배우고 슈퍼히어로 사이의 "Degree of Separation"를 찾는 시스템을 개발할 것입니다. 모든 마블 슈퍼히어로들은 스파이더맨과 얼마나 연결되어 있을까요?
이 강의를 통해 그 답을 찾을 수 있습니다.
또한, 이 강의는 실습 위주의 강의입니다. Amazon의 Elastic MapReduce 서비스를 사용하여 자체 시스템과 클라우드 모두에서 실제 코드를 함께 작성, 분석 및 실행할 때 강사와 함께 대부분의 시간을 보내게 됩니다. 7시간 분량의 영상 내용이 포함되어 있으며, 20개 이상의 실제 예시는 복잡성이 증가함에 따라 스스로 구축하고 실행하고 연구할 수 있습니다.
Apache Spark 와 Python으로 빅 데이터 다루기 세부 커리큘럼
Spark 3에서 DataFrames 및 구조적 스트리밍 사용하기
빅데이터 분석 문제를 Spark 문제로 프레임화
Amazon의 Elastic MapReduce 서비스를 사용하여 Hadoop YARN이 있는 클러스터에서 작업 실행하기
데스크톱 컴퓨터 또는 클러스터에 Apache Spark 설치 및 실행하기
Spark의 Resilient Distributed Datasets를 사용하여 많은 CPU에서 대규모 데이터 세트 처리 및 분석하기
Spark를 사용하여 너비 우선 검색과 같은 반복 알고리즘 구현하기
MLLib 머신 러닝 라이브러리를 사용하여 일반적인 데이터 마이닝 질문에 답하기
Spark SQL을 사용하여 구조화된 데이터로 작업하는 방법 이해하기
Spark Streaming을 통해 실시간으로 연속적인 데이터 스트림을 처리하는 방법 이해하기
클러스터에서 실행되는 대규모 작업 조정 및 문제 해결하기
브로드캐스트 변수와 어큐뮬레이터를 사용하여 Spark 클러스터의 노드 간에 정보 공유하기
GraphX 라이브러리가 네트워크 분석 문제에 어떻게 도움이 되는지 이해하기
Amazon 및 IMDb의 전 엔지니어이자 선임 관리자 Frank Kane 강사의 한마디!
완전히 업데이트 된 새로운 강의로 출시되었습니다!
Spark 3, 더 많은 실습, DataFrames 및 Structured Streaming에 대해 더 중점적으로 업데이트되었습니다.
Spark SQL, Spark Streaming과 같은 최신 Spark 기술과 Gradient Boosted Trees와 같은 고급 모델도 다룰 것입니다.
"빅 데이터" 분석은 아주 인기있고 매우 가치 있는 기술입니다. 이 강의는 빅 데이터에서 가장 인기 있는 기술을 알려줍니다. 바로 Apache Spark 입니다. 아마존, 이베이, NASA JPL 및 Yahoo를 포함한 고용주는 모두 Spark를 사용하여 내결함성 Hadoop 클러스터 전반에 걸쳐 방대한 데이터 세트에서 의미를 빠르게 추출합니다. 여러분은 앉은 자리에서 Windows 시스템을 사용하여 동일한 기술을 배우게 될 것인데, 이는 생각보다 어렵지 않습니다.
여러분의 일정에 따라 여러분의 속도로 진행하세요. 이 강의는 Spark SQL, Spark Streaming, GraphX를 비롯한 다른 Spark 기반 기술에 대한 개요로 마무리됩니다.
강의를 들으시고 강의와 관련하여 궁금하신 점은 무엇이든 Q&A에 남기실 수 있지만, 꼭 영어로 남겨주세요. 그래야 답변을 드릴 수 있습니다. :)
Apache Spark로 빅 데이터를 처리하는 것은 오늘날의 기술 세계에서 중요한 기술입니다. 지금 등록하고 이 강의를 즐겨보시기를 바랍니다!
-Frank
P.S. 제 강의에 대한 한 수강생의 리뷰를 소개해 드립니다:
" Frank Kane과 함께 "Apache Spark 및 Python으로 빅 데이터 다루기"를 공부 했습니다. 제 회사에서 서비스를 위한 빅 데이터 플랫폼을 구축하는데 큰 도움이 되었으며, 이 강의를 추천합니다! " - Cleuton Sampaio De Melo Jr.
Who this course is for:
- 빅 데이터 분석에서 가장 인기 있는 기술을 배우고자 하는 프로그래머
- Spark를 사용하여 거대한 데이터 세트를 구축하고 의미를 추출하는 방법을 배우고 싶은 분
- 소프트웨어 개발 작업에 대량의 데이터 처리가 필요한 분
- 데이터공학이나 빅 데이터 분야에서 새로운 커리어를 쌓고 싶은 분
Instructors
- 4.6 Instructor Rating
- 175,248 Reviews
- 1,001,912 Students
- 36 Courses
Sundog Education's mission is to make highly valuable career skills in data engineering, data science, generative AI, AWS, and machine learning accessible to everyone in the world. Our consortium of expert instructors shares our knowledge in these emerging fields with you, at prices anyone can afford.
Sundog Education is led by Frank Kane and owned by Frank's company, Sundog Software LLC. Frank spent 9 years at Amazon and IMDb, developing and managing the technology that automatically delivers product and movie recommendations to hundreds of millions of customers, all the time. As an Amazon “bar raiser,” he held veto authority over hiring decisions across the company, interviewed over 1,000 candidates, and hired and managed hundreds. He holds 26 issued patents in the fields of distributed computing, data mining, and machine learning. In 2012, Frank left to start his own company, Sundog Software, which has taught over one million students around the world about machine learning, data engineering, and managing engineers.
- 4.6 Instructor Rating
- 164,137 Reviews
- 940,673 Students
- 27 Courses
Frank spent 9 years at Amazon and IMDb, developing and managing the technology that automatically delivers product and movie recommendations to hundreds of millions of customers, all the time. As an Amazon “bar raiser,” he held veto authority over hiring decisions across the company, interviewed over 1,000 candidates, and hired and managed hundreds. He holds 17 issued patents in the fields of distributed computing, data mining, and machine learning. In 2012, Frank left to start his own company, Sundog Software, which has taught over one million students around the world about machine learning, data engineering, and managing engineers.
Due to our volume of students, I am unable to respond to private messages; please post your questions within the Q&A of your course. Thanks for understanding.
- 4.6 Instructor Rating
- 49,454 Reviews
- 1,281,409 Students
- 278 Courses
웅진씽크빅은 2021년 글로벌 온라인교육 플랫폼 Udemy와의 파트너십을 통해 양질의 다양한 교육문화 콘텐츠를 제공합니다.
웅진씽크빅이 Udemy를 통해 제공하는 학습 수요가 높은 개발, IT/SW, 디자인 등 최신 기술의 강의를 빠르게 만나보세요!
웅진씽크빅이 운영하는 Udemy Curation에서는 Udemy 수강 효율을 높여주는 학습 로드맵을 제공하고, 기업 연계 프로젝트/포트폴리오 제작/현직자 네트워킹 등 다양한 교육 이벤트에 참여하실 수 있습니다.
정기적으로 '취업 부트캠프'를 운영하여 IT, 데이터 등 인기 직무의 취업을 꿈꾸는 청년들을 지원하고 있습니다.
배움을 통한 무한한 꿈의 도전에 웅진씽크빅과 Udemy가 함께 하겠습니다.