
【実戦で学ぶデータ分析基盤構築講座】ローカル端末で1から始めるデータ分析基盤の構築とデータ活動
についての紹介です。
本コースでは、多くのユーザが同時にデータ分析を行うことを想定した基盤である「データ分析基盤(データ基盤と呼ばれる時もある)」の構築をDockerコンテナでご自身の端末で学んでみます。
本コースでは、ローカル端末とDockerコンテナを使って
「データ分析基盤構築ってどう作るの?」
「データ分析基盤構築ってそもそも何?」
「データ分析基盤構築はどんな要素を含んでいるの?」
「データ分析基盤構築を使ってどのような活動をするの?」
そんな疑問を解決するコースです。
講師の自己紹介
本コース含めた学習ロードマップの紹介です
レビューについてのお願いです
今回構築するデータ分析基盤の全体像を説明します。
データソース
プロセシングレイヤー
ストレージレイヤー
アクセスレイヤー
dockerによる環境の立ち上げを行います。
今回は多くのツールを利用します。
動作の確認も含め一度整理を行います。
データを参照するためのMetabaseの接続設定を行いましょう。
バッチ処理におけるデータの流れを紹介します。
digdagとembulkの組み合わせについて学びます
digdagとsparkを使ってETLを行う方法について学びます
Embulkを使ってデータをPotgresへロードする方法を学びます。
Potgresにロードしたデータを参照してみます。
ストリーミング処理におけるデータの流れを紹介します。
Kafkaのトピック作成と、データ送信元であるWeb画面の操作について学びます
kafkaとspark streamingを利用してデータをメモリへ保存する方法を通して、一度データを確認してみましょう
kafkaとspark streamingを利用してデータをディスクへ保存する方法を学びます
digdagとsparkを使ってETLを行う方法について学びます
Embulkを使ってデータをPotgresへロードする方法を学びます。
Potgresにロードしたストリーミングデータを参照してみます。
コース概要:
データの民主化に伴い、エンジニアだけでなくアナリスト職のなどデータ活用を行う環境はここ数年で様変わりしました。
現代では、従来の特定の人物だけの利用を想定したデータ分析環境では立ち行かなくなっています。
本コースでは、多くのユーザが同時にデータ分析を行うことを想定した基盤である「データ分析基盤(データ基盤と呼ばれる時もある)」の構築をDockerコンテナでご自身の端末で学んでみます。
データ分析基盤は関係するコンポーネントが非常に多く整理がつけづらい事も特徴です。本コースを通して効率よくデータ分析機構築のエッセンスを学んでいきましょう。
コース内では、クラウドだとどのような代替サービスがあるのか?についても言及しておりますので、本コースを通して学んだことをクラウド上の開発で活用していたくことも可能です。
本コースでは、ローカル端末とDockerコンテナを使って
「データ分析基盤構築ってどう作るの?」
「データ分析基盤構築ってそもそも何?」
「データ分析基盤構築はどんな要素を含んでいるの?」
「データ分析基盤構築を使ってどのような活動をするの?」
そんな疑問を解決するコースです。
どんな人向け?
「データ分析基盤構築に興味のある開発者」
「データ分析基盤におけるデータの流れとデータを利用した活動を知りたい方」
「データ分析基盤を作りたいけど整理ができていない方」
登場する技術スタック:
Embulk
digdag
Apache Kafka
Apache Spark
postges
BIツール(metabase)