データエンジニアリングのためのPySpark入門

【本講座の概要】

本講座は、データサイエンティストがAIシステムの前処理、ETLパイプラインを実装する上で必要不可欠となるPySparkの入門講座です。

本講座を受講する事で、分散処理の基礎（MapReduce／Spark）を押さえたうえで、PySparkのスキルを実務レベルで習得します。実装パートでは、実データ（M5データセット）を取り扱う為、実践的な前処理、ETLパイプライン構築、ビッグデータ分析スキルを一気通貫で学べます。

データサイエンティストの中には統計分析や機械学習によるモデリングに長けた人は多いと思います。

一方でこんな悩みはありませんか？

• PySparkを使ってみたいが、教材が少なくどう始めればよいのか分からない

• ビッグデータの分析は全てSQLベースの手法に依存している

• パイプラインは全てデータエンジニア任せで自分でETLパイプラインを実装したことが無い

  
  

本講座は、こうした課題を持つデータサイエンティストの「データエンジニアリング力」を短期間で底上げするために設計されています。

【この講座で学べること】

この講座は分散処理の理論とHandsOn形式のPySparkの実装を通じて、理論と実践をバランスよく学習します。

また実践PySparkのパートではビッグデータ分析を想定した演習と課題を用意しています。

これらの演習・課題に取り組むことで座学で学んだ知識の定着が図れます。

■ 分散処理とSparkの基礎

• 分散処理の考え方／MapReduceの要点

• Sparkの基本コンポーネントと実行の流れ（DataFrame/SQLの位置づけ）

■ PySparkの基礎

• セッション：SparkSession

• 列操作：select / withColumn / withColumnRenamed / drop / cast / when

• 絞り込み・整列：filter / orderBy / unique（重複排除）

• 結合：join（キー重複・列名衝突の扱い）

• 欠測値処理：fillna / isnull / dropna

• 集約：groupBy

• 高度な集計：Window関数（順位付け、移動平均）

• ユーザー定義関数：UDF

• Spark SQL

• toPandas

■ 実践PySpark

• 講師と共にM5を用いたビッグデータ分析に挑戦

  （売上集計・Top Selling itemの分析など）

• 課題：3つの課題に自身で取り組み、講座で学んだことを定着

【対象者とゴール】

対象者

• Python中級者でデータエンジニアリングについて学びたい方

• 大規模データの集計・結合・欠測処理を学びたいデータ分析者

• ETLパイプラインをPySparkを使って実装していきたいデータサイエンティスト

前提スキル

• Pythonでの分析（pandas/NumPy など）の基本操作

• 基本的なSQLの知識があると学習がスムーズです

• 受講環境：Google Colab

本コースのゴール

• 分散処理の基礎知識(MapReduce / PySpark)を身に付ける

• PySparkの基礎を一通り学習する

• 実践PySparkを通して、実務におけるPySparkの使い方を身に付ける

【人事・マネージャーの方へ】

Sparkを使う事でデータ量が増えてもスケールする堅牢なAIシステムを構築する事ができます。

社内のDX推進部門やデータサイエンティスト、データエンジニアが受講する事で、実践的なETLパイプラインを実装し、AIソリューションのシステム全体がより効率的、堅牢になります。