
前提条件
- DockerのインストールはOSにより異なりますので、自ら検索お願いします。
- Kafka CLIはこのリンクからダウンロードします。ダウンロード行った後に$PATHに~/Documents/confluent-7.6.0/binを追加するとディレクトリ関係なく実行可能になります。
https://docs.confluent.io/platform/current/installation/installing_cp/zip-tar.html#get-the-software
Dockerイメージ
- cp-kafkaの最新版のタグはこちらから参照できます。https://hub.docker.com/r/confluentinc/cp-kafka/tags
cp-kafkaに関して
https://docs.confluent.io/platform/current/installation/docker/image-reference.html#ak-images
コマンド一覧
ブローカーとクラフトの起動
docker-compose -f <ファイル名> up -d
プロセスの参照
docker ps
プロエスのログの参照
docker logs -f kafka
トピックの一覧を参照
kafka-topics --bootstrap-server localhost:9092 --list
cp-kafkaイメージに関して
https://docs.confluent.io/platform/current/installation/docker/image-reference.html#ak-images
Kafka Streamsのレポジトリ -https://github.com/apache/kafka/blob/trunk/streams/src/main/java/org/apache/kafka/streams
KsqlDBのレポジトリ - https://github.com/confluentinc/ksql
このApache Kafka入門コースでは、データ処理の世界で驚異的な変化をもたらすApache Kafkaの基礎を学びます。本コースは、データストリーム処理の理解を深め、リアルタイムでのデータの収集、処理、および配信を可能にするApache Kafkaのエコシステムに焦点を当てます。
学習者は、以下のようなトピックをカバーします:
Kafkaの基本的な概念とアーキテクチャの理解
Kafkaのインストールとセットアップ方法
トピックの作成、管理、およびパーティションの理解
プロデューサーとコンシューマーの役割とデータの送受信方法
Apache Kafkaは、データ駆動のアプリケーションやサービスの構築において不可欠なツールとなっています。このコースを修了することで、データ処理の新しい次元に飛び込み、リアルタイムデータ処理のスキルを身につけることができます。データの流れを理解し、ビジネスにおける革新的なソリューションを実現するための第一歩を踏み出しましょう。