
Pre-requisites for this Kafka Connect course
Learn about the course objectives:
- Learn about Kafka Connect concepts
- Install Docker and launch our Kafka cluster and Kafka Connect Cluster
- Deploy your first Source connectors
- Deploy your first Sink connectors
Learn about the course structure
Learn a bit about your instructor
Understand what is Kafka Connect, the problems it solves in the Kafka world
Learn about the typical Kafka Connect Architecture in your enterprise
Deeper dive into Kafka Connect concepts, learn about Connectors, Configurations, Tasks and Workers
Learn about the two modes to launch Kafka Connect, Standalone mode and Distributed Mode, and their pros and cons
Visit the Kafka Connect distributed architecture and concepts in details
Install Docker on the more recent Mac versions
Install Docker Toolbox on the less recent Mac versions
Install Docker on Linux
Install Docker on Windows 10 64bit
Install Docker Toolbox on the other Windows versions
Note for Docker Toolbox users
Instructions to start our Kafka connect cluster using the Docker installation we have just created
Steps to troubleshoot an error
Where to view the Kafka Connect logs
How to ask a question in the Q&A
Looking at the Connect Source Architecture design that we will go over in this section
Running our first source connector in standalone mode!
This goes over the setup of the worker and the setup of the standalone connector
Running our first source connector in standalone mode!
This goes over the deployment of that connector
Learn how to run our file source connector in distributed mode
Overview of the list of available connectors online, and the list of connectors available on our docker image
Look at the configuration for the Twitter Source Connector
Deploy and analyse the output of the Twitter Source Connector on our Kafka Connect Cluster
Summary of what we have learned for the Section on Kafka Connect Source Connectors
Architecture discussion for the sink connectors in distributed mode
Launching our first Sink Connector in Distributed mode, to put data into ElasticSearch
Learn about the Kafka Connect REST API, so you can speed up and automate your connector deployments and monitoring
Learn about the JDBC Sink Connector, that we will launch in distributed mode. The data will go directly into PostgreSQL
Overview of the Source Kafka Connector, the GitHubSourceConnector
Where to download the code
Description of the GitHub API
Using the Maven Archetype to create your source and sink connectors
Creating our first Config Definition and define all the parameters needed for our application
Analysis of the Source Connector Class
Writing our different schemas that will be used for keys and values
Creating the Plain Old Java Objects for our data
Writing the GitHub API HTTP Client
Learn what Source Partition and Source Offsets are used for
Source Tasks analysis
Learn how to use Maven to build and run our connector
Learn how to deploy the jars onto the Connect Cluster
Links to more resources available online to write your own connectors
Learn how to start your own Kafka Connect Cluster
Learn how to start your second Connect Worker and the Kafka Connect UI
Next steps in your learning of Kafka Connect
Congratulations!
Check out my other courses and keep on learning! Coupons inside :)
[꼭 읽어주세요] 한글 AI 자막 강의란?
유데미의 한국어 [자동] AI 자막 서비스로 제공되는 강의입니다.
강의에 대한 질문사항은 Stephane 강사님이 확인하실 수 있도록 Q&A 게시판에 영어로 남겨주시기 바랍니다.
실습 교육이 포함된 포괄적이고 새로운 Apache Kafka Connect 프레임워크 학습 과정 - (2017년 4월 런칭)
Kafka Connect 는 Apache Kafka 와 다른 데이터 시스템 간의 확장 가능하고 안정적인 데이터 스트리밍을 위한 도구입니다. Apache Kafka Connect 는 Apache Kafka 생산자와 소비자를 위한 공통 프레임워크입니다.
Apache Kafka Connect 는 개발자가 실시간으로 대규모 데이터 세트를 Apache Kafka 안팎으로 이동하는 커넥터를 정의할 수 있도록 API, 런타임 및 REST 서비스를 제공합니다. Apache Kafka 의 확장판이기 때문에 내결함성 및 탄력성과 같은 강력한 특성들을 그대로 계승합니다. Kafka Connect 는 전체 데이터베이스를 수집하고, 메트릭을 수집하고, 모든 애플리케이션 서버의 로그를 Apache Kafka 토픽 으로 수집하여 짧은 지연 시간으로 데이터를 스트리밍 처리할 수 있도록 합니다.
Kafka Connect 는 다른 데이터 시스템과 Apache Kafka 의 통합을 표준화하여 커넥터 개발, 배포 및 관리를 단순화합니다.
이 강의에서는 실습을 통해 Kafka Connector 배포, 구성 및 관리 방법을 배웁니다. 또한 전체 조직을 지원하는 대규모 중앙 관리 서비스로 확장하거나 개발, 테스트 및 소규모 프로덕션 배포로 축소할 수 있는 분산 및 독립 실행형 모드도 살펴볼 것입니다. 사용하기 쉬운 REST API 를 통해 Kafka Connect 클러스터에 커넥터를 제출하고 관리할 수 있는 REST 인터페이스도 살펴볼 것입니다.
다른 수강생들이 이 강의를 좋아했습니다 - 수강생들이 강의를 별 5개로 평가했습니다!
Tin Pavlinic : "이 강의는 Apache Kafka-Connect 를 처음 시작하는 분들에게 훌륭한 강의입니다. Stephane 강사님은 개념을 매우 명확하게 설명하고 많은 실용적인 예제를 제공합니다. 셋업도 매우 간단합니다. 자신의 컴퓨터에서 예제를 따라 해보고 더 실험해볼 수 있습니다. 이 Apache Kafka 강의를 강력히 추천합니다."
Alan V: "이 강의는 매우 훌륭합니다: 1. 선생님이 Kafka 스트리밍 솔루션 아키텍처에서 Kafka 커넥터의 역할에 대해 명확하게 설명해 주십니다. 2. 이 강의는 학습자가 실습 환경을 빠르게 구축할 수 있도록 docker-compose.yml 을 사용합니다. 3. 이 강의는 카프카 커넥터의 이면에 있는 아이디어를 이해하기 쉽게 잘 정리되어 있습니다. 강사님이 도구 사용법을 단계별로 안내합니다. 4. 제공되는 셸 명령은 모두 잘 설명되어 있고 단계별로 사용자를 안내합니다. 강의가 끝난 후 셸 스크립트 파일의 코멘트를 읽으면 강사님이 방금 동영상에서 가르친 내용이 복습됩니다. 5. 강사님은 학습자의 질문에 매우 책임감 있게 답변을 해주시고 이는 매우 도움이 됩니다. 전문적인 개발자라면 이 강의를 수강하는 것을 강력 추천합니다."
Sagar Joshi: "매우 매력적이고 흥미로운 강의였습니다. Apache Kafka 강의를 꼭 수강할 것을 추천합니다. Stephane 강사님은 필요한 모든 세부 사항을 제공했으며 제목과 같이 진짜 실습을 통한 강의가 맞네요. 감사합니다!"
= = = = = = = = = = = = = = = = = = = = = = = =
강사 소개
저는 이 강의의 강사인 Stephane Maarek 입니다. 저는 학생들의 전문성을 향상시키는 것에 항상 초점을 맞춰 Apache Kafka, Kafka ecosystem 및 Kafka 자격증에 대해 가르치고 있습니다. 또한 누구나 Kafka 를 사용할 수 있도록 돕는 엔터프라이즈 Apache Kafka 플랫폼 & UI인 Conduktor의 공동 창립자이기도 합니다.
이러한 자격증과 교육 과정을 설계하고 제공하면서 이미 1,000,000명 이상의 학생들을 가르쳤고 35만 개 이상의 리뷰를 받았습니다!
이제 Apache Kafka 가 단순한 유행어 이상의 의미를 갖게 되면서, 저는 학생들이 Kafka 전문가가 되는 방법을 제대로 배워야 할 때라고 생각했습니다. 그럼 이제 강의를 시작하겠습니다! 여러분은 좋은 강의로 잘 찾아오셨습니다!
= = = = = = = = = = = = = = = = = = = = = = = =
이 강의에는 다음이 함께 제공됩니다:
향후 모든 업데이트에 대한 평생 액세스
Q&A 게시판의 친절한 답변
흥미로운 기사 링크 및 여러분이 다음에 구축할 애플리케이션의 기반이 될 좋은 코드들
Udemy 수료증 다운로드
여러분의 커리어를 향상시킬 수 있는 과정입니다!
Apache Kafka 는 수요가 많은 기술이며 모든 해당 직무를 채울 수 있는 사람이 충분하지 않습니다. 연봉을 늘리고 새로운 역할과 재미있는 도전을 할 수 있습니다. 많은 수강생이 현재 각 회사에서 카프카 전문가로 활동하고 있습니다! 여러분도 그 다음 주인공이 될 수 있습니다!
이 강의에서 꼭 여러분과 만나뵙기를 바랍니다!
= = = = = = = = = = = = = = = = = = = = = = = =
참고: 더 고급의 Kafka 강의를 찾고 계신가요? Apache Kafka 시리즈에는 다른 강의들도 많이 있습니다:
【한글자막】 Apache Kafka 시리즈 – 초보자를 위한 아파치 카프카 강의 v3
【AI 자막】 Apache Kafka 시리즈 - Kafka Connect 실습으로 마스터하기!
【AI 자막】 Apache Kafka 시리즈 - 데이터 처리를 위한 Kafka Streams 마스터하기!
KSQL on ksqlDB - Hands On!
【AI 자막】 Apache Kafka 시리즈 - Kafka 클러스터 셋업 및 관리 마스터하기!
Confluent Schema Registry & Kafka REST Proxy
Kafka Security (SSL SASL ACL)
Kafka Monitoring and Operations
즐거운 학습 되세요!