【한글자막】 스파크 스트리밍과 Scala 로 빅 데이터 스트리밍하기 (실전편)
What you'll learn
- 스파크스트리밍을 사용하여 실시간 대용량 데이터를 스트림 처리합니다
- 카프카, 플룸, 키네시스와 같은 데이터 소스를 스파크스트리밍을 이용하여 통합합니다
- 구조화된 스파크 2의 스트리밍 응용 프로그램 인터페이스를 사용합니다
- 스칼라 프로그래밍 언어를 사용하여 스파크 응용 프로그램을 만듭니다
- 출력된 결과는 실시간 데이터를 카산드라 또는 파일 시스템으로 변환시킨 것을 배웁니다
- 스파크 스트리밍을 스파크 구조화 질의어와 통합하여 실시간으로 스트리밍 데이터를 질문합니다
- 스트리밍 데이터를 사용하여 실시간 교육에 사용하고 머신러닝 모델을 가르쳐서 실시간 예측에 이용합니다
- 아파치 로그 액세스 데이터를 수집하고 스트림을 변환합니다
- 실시간 트위터 피드 스트림을 수용합니다
- 연속적인 입력 데이터 스트림을 거쳐 네트워크 연결 상태를 추적할 수 있는 데이터를 유지합니다
- 윈도우 시간 경과에 따른 스트리밍 데이터를 질문합니다
Requirements
- 개인용 컴퓨터가 필요합니다(설치 과정 등은 windows OS를 사용하였으며, 리눅스나 MAC OS에서도 설치가 가능합니다)
- 스파크에 대해 소개하고 있으나, 사전 지식이 필요하지 않습니다
- 스칼라 프로그래밍 경험은 수강에 도움이 됩니다 (사전 지식이 없어도 관련 강의가 포함되어 있어 수강이 가능합니다)
Description
스파크 스트리밍과 스칼라로 빅데이터 스트리밍!
대량의 데이터 세트를 해결하세요!
실무에 바로 적용할 수 있습니다!
스파크 스트리밍과 스칼라로 빅 데이터 스트리밍하기 (실전편) 강의를 선택해야 하는 이유
현재 IntelliJ 통합개발환경에 맞춰 업데이트 됐습니다!
“빅 데이터” 분석은 인기있고 대단히 가치있는 능력입니다. 중요한 건 “빅 데이터”의 흐름이 멈추지 않는다는 것입니다! 스파크 스트리밍은 대량의 데이터 세트를 생성할 때 처리하기 위한 새롭고 신속하게 개발되는 기술입니다 - 항상 실시간으로 분석 업데이트를 할 수 있는데 밤마다 분석을 해야할까요? 대형 웹사이트의 방문 사이트 동향 데이터, 대규모 “사물 인터넷” 배포의 센서 데이터, 재무 데이터 등 그 어떤 것이든 스파크 스트리밍은 데이터가 생성될 때 항상 데이터를 변환하고 분석할 수 있는 강력한 기술입니다.
여러분은 아마존과 IMDb 선임 매니저와 전 엔지니어분으로부터 해당 내용을 배우게 될 것입니다.
이 코스 과정에서는 실제 라이브 트위터 데이터, 아파치 액세스 로그의 시뮬레이션 동향, 그리고 심지어 머신러닝 모델을 훈련하는 곳에 사용되는 데이터까지 접해볼 수 있습니다! 직접 집에서 컴퓨터로 스파크 스트리밍 작업을 작성하고 실행해 볼 수 있습니다. 그리고 과정이 끝날 때쯤 여러분에게 실제 하둡 클러스터로 이러한 작업을 가져와서 생산 환경에서도 실행하는 방법을 보여줄 것입니다.
이 교육과정은 매우 실용적이고 바로 수행 가능한 활동으로 구성되어 여러분의 교육을 강화하는 데 도움이 됩니다. 강의가 끝날 무렵, 여러분은 스파크 스트리밍 스크립트를 스칼라를 활용하여 자신있게 작성할 줄 알게되며, 완전히 새로운 방식으로 거대한 양의 데이터를 해결하는데 준비가 되어있을 것입니다. 스파크 스트리밍이 이 모든 걸 가능하게 했다는 사실에 매우 놀랄 것입니다!
스파크 스트리밍과 스칼라로 빅 데이터 스트리밍하기 (실전편) 강의에서는 아래의 내용을 배울 수 있습니다:
스칼라 프로그래밍 언어로 된 집중 훈련을 수강하세요
아파치 스파크가 클러스터에서 어떻게 운영되는지 알아보세요
스파크 스트리밍으로 불연속의 스트림을 설정하고 데이터가 수신되면 변환할 수 있습니다
실시간으로 구조화된 스트리밍을 이용하여 데이터 프레임으로 스트리밍합니다
슬라이딩 윈도우에서 시간 경과에 따른 스트리밍 데이터 분석
여러 데이터 스트림 전반에 걸쳐 상태 정보 유지하게 됩니다
카프카, 플룸, 및 키네시스와 같은 확장성이 뛰어난 데이터 소스와 스파크 스트리밍을 연결하는 방법을 습득합니다
카산드라와 같은 구조화 질의어만을 사용하지 않는 데이터베이스에 실시간으로 데이터 스트림을 폐기하는 방법
스트리밍 된 데이터에 실시간으로 구조화 질의어 쿼리를 실행합니다
스트리밍 데이터로 머신러닝 모델을 실시간으로 훈련하고, 이 모델을 사용하여 시간이 지남에 따라 계속 향상되는 예측을 할 수 있습니다
아마존의 빅데이터 프레임워크 실행을 간소화하는 관리형 클러스터 플랫폼을 사용하여 자체적으로 내장된 스파크 스트리밍 코드를 실제 하둡 클러스터에 패키징, 배포 및 실행하는 방법을 배웁니다.
강의를 들으시고 강의와 관련하여 궁금하신 점은 무엇이든 Q&A에 남기실 수 있지만, 꼭 영어로 남겨주세요. 그래야 답변을 드릴 수 있습니다. :)
강의에서 만나요!
Who this course is for:
- 프로그래밍 사전 지식이나 스크립팅 능력이 있는 학생
- “빅 데이터”가 지속적으로 생성되는 회사에서 근무하고 있거나 해당 기업에서 근무하고 싶은 관련 종사자
- 이전 소프트웨어 공학이나 프로그래밍 경험이 없는 학생들은 먼저 프로그래밍 입문 과정을 수강해야 합니다
Instructors
- 4.6 Instructor Rating
- 153,349 Reviews
- 751,310 Students
- 35 Courses
Sundog Education's mission is to make highly valuable career skills in big data, data science, and machine learning accessible to everyone in the world. Our consortium of expert instructors shares our knowledge in these emerging fields with you, at prices anyone can afford.
Sundog Education is led by Frank Kane and owned by Frank's company, Sundog Software LLC. Frank spent 9 years at Amazon and IMDb, developing and managing the technology that automatically delivers product and movie recommendations to hundreds of millions of customers, all the time. Frank holds 17 issued patents in the fields of distributed computing, data mining, and machine learning. In 2012, Frank left to start his own successful company, Sundog Software, which focuses on virtual reality environment technology, and teaching others about big data analysis.
- 4.6 Instructor Rating
- 145,963 Reviews
- 697,698 Students
- 27 Courses
Frank spent 9 years at Amazon and IMDb, developing and managing the technology that automatically delivers product and movie recommendations to hundreds of millions of customers, all the time. Frank holds 17 issued patents in the fields of distributed computing, data mining, and machine learning. In 2012, Frank left to start his own successful company, Sundog Software, which focuses on virtual reality environment technology, and teaching others about big data analysis.
Due to our volume of students, I am unable to respond to private messages; please post your questions within the Q&A of your course. Thanks for understanding.
- 4.6 Instructor Rating
- 145,393 Reviews
- 692,028 Students
- 22 Courses
Our mission is to make highly valuable skills in machine learning, big data, AI, and data science accessible at prices anyone in the world can afford. Our current online courses have reached over 500,000 students worldwide. Sundog Education CEO, Frank Kane, spent 9 years at Amazon and IMDb, developing and managing the technology that automatically delivers product and movie recommendations to hundreds of millions of customers, all the time. Frank holds 17 issued patents in the fields of distributed computing, data mining, and machine learning. In 2012, Frank left to start his own successful company, Sundog Software, which focuses on virtual reality environment technology and teaching others about big data analysis.
- 4.6 Instructor Rating
- 25,196 Reviews
- 1,058,002 Students
- 261 Courses
웅진씽크빅은 2021년 글로벌 온라인교육 플랫폼 Udemy와의 파트너십을 통해 양질의 다양한 교육문화 콘텐츠를 제공합니다.
웅진씽크빅이 Udemy를 통해 제공하는 학습 수요가 높은 개발, IT/SW, 디자인 등 최신 기술의 강의를 빠르게 만나보세요!
웅진씽크빅이 운영하는 Udemy Curation에서는 Udemy 수강 효율을 높여주는 학습 로드맵을 제공하고, 기업 연계 프로젝트/포트폴리오 제작/현직자 네트워킹 등 다양한 교육 이벤트에 참여하실 수 있습니다.
정기적으로 '취업 부트캠프'를 운영하여 IT, 데이터 등 인기 직무의 취업을 꿈꾸는 청년들을 지원하고 있습니다.
배움을 통한 무한한 꿈의 도전에 웅진씽크빅과 Udemy가 함께 하겠습니다.