
本コースの紹介を行います。
本コースでは、データからモデルを作成し作成したモデルを継続的に利用する機械学習基盤の構築をDockerコンテナでご自身の端末でミニマムに学んでみます。
「機械学習基盤ってどう作るの?」
「機械学習基盤ってそもそも何?」
「機械学習基盤はどんな要素を含んでいるの?」
「機械学習基盤を使ってどのような活動をするの?」
「モデルを作成したけどどのように利用して良いかわからない」
「ワンショット(一回限り)のモデルしか作成したことがないので継続的に適用していくイメージが湧かない」
そんな疑問を解決するコースです
本コースの概要
本コースの特徴
本コースはどんな人向け?
について紹介します。
講師の自己紹介
学習ロードマップの紹介
大変お手数ですがレビューを頂けますと今後の励みになります。
ぜひよろしく、お願いいたします。
コースで利用するシステムの全体像を紹介します
データアプリケーションについて解説を行います。
データ分析基盤についての解説を行います
機械学習とAIについての解説を行います
今回のコースで利用する技術スタックについて説明を行います。
Spark ML
MongoDB
Nodejs
Metabase(BIツール)
MLOpsについて解説を行います
まずは作成する機械学習のモデルを決定するために仮説を立ててみましょう。
今回作成する環境について解説を行います
今回はデータの取得としてWeb画面からのデータの取得を行なっていきます。
取得したデータをSparkを利用して読み込みや操作を簡単に行なってみます
Spark MLを利用して機械学習のモデルを作成してみます。
モデルによる予測結果はデータベース(KVS)に保存されることが多いです。
作成したモデルによる結果をSparkを用いてmongodbへ保存していきます。
前セクションで保存したモデルの算出結果をデータアプリケーションから取得してみます
より良いモデルを作るには、継続的なモニタリングが大事です。
今回定めたKPIを達成することはできたのでしょうか?
データを追加して、モデルを再学習してみましょう
作成したモデルもデプロイしなければ意味がありません。
CI/CDのループに乗せ作業を自動化していきましょう
コース概要:
データの民主化に伴い、エンジニアだけでなくアナリスト職のなどデータ活用を行う環境はここ数年で様変わりしました。
現代では、従来の特定の人物だけの利用を想定したデータ分析環境では立ち行かなくなっています。
本コースでは、データからモデルを作成し作成したモデルを継続的に利用する機械学習基盤の構築をDockerコンテナでご自身の端末で学んでみます。
機械学習のモデルは一度作成しただけでは終わりではありません。刻々と変化するデータに応じて再学習を行いその結果をシームレスにシステムに反映させていくことが現代では求められています。それらを実現するのが機械学習基盤の役割でありMLOpsの考え方でもあります。本コースは、モデルを量産するコースではありませんが、一つのシンプルなモデルを通して効率よく機械学習モデルの実利用についてのエッセンスを学んでいきましょう。
コース内では、クラウドだとどのような代替サービスがあるのか?についても言及しておりますので、本コースを通して学んだことをクラウド上の開発で活用していたくことも可能です。
また、混同を避けるためにデータ分析基盤との関係についても本コース内で言及します。
本コースでは、ローカル端末とDockerコンテナを使って
「機械学習基盤ってどう作るの?」
「機械学習基盤ってそもそも何?」
「機械学習基盤はどんな要素を含んでいるの?」
「機械学習基盤を使ってどのような活動をするの?」
「モデルを作成したけどどのように利用して良いかわからない」
「ワンショット(一回限り)のモデルしか作成したことがないので継続的に適用していくイメージが湧かない」
そんな疑問を解決するコースです。
どんな人向け?
「機械学習基盤に興味のある開発者」
「モデルを作成後のモデル利用の流れとデータを利用した活動をイメージしたい方」
「データ分析基盤と機械学習基盤の関係について知りたい方」
登場する技術スタック:
Mongodb
Apache Spark
Apache SparkML
NodeJs
(Embulk)