データサイエンス実戦講座［第６回］機械学習の全貌と総合演習『源氏物語』作者複数説の分析

データサイエンスの基礎編では統計学の基本概念から仮説検定まで土台を積み上げてきました。応用偏では機械学習の多種多様な分析手法を横並びにして全体の概要を掴みます。

基礎編では統計学の基本概念、基本定理、仮説検定を学びました。応用編では機械学習の集約・分類・要約・予測の4つのカテゴリについて分析のプロセスを把握します。

専門図書27冊から機械学習の分析手法33種類を抽出し、多変量解析とニューラルネットワークに分類した全体像を示す一覧表を提供します。

機械学習の集約・分類・要約・予測の4つのカテゴリについて、この分野でよく使われるアイリスデータセットを例にして分析のプロセスを解説します。

機械学習の33種類の分析手法を4つのカテゴリに分けて、集約が6種類、分類が12種類、要約が7種類、予測が8種類の手法リストにまとめました。

機械学習の手法を、分析モデル、学習方法、学習ステップの観点から分析し、多変量解析とニューラルネットワークの学習のアルゴリズムの違いを浮き彫りにします。

多変量解析の学習は、自然現象や社会現象を模擬する統計数理モデルにデータフィッティングすることで、モデルのパラメータから現象の内部メカニズムを推定することができます。

ニューラルネットワークの学習は、ヒトの脳神経細胞網の電気化学的な情報伝達を模擬するディープラーニングによって複雑な課題に対応できますが、モデルのパラメータは膨大な数になるのでブラックボックスとしての利用となります。

特定の訓練データの挙動を過度に学習することで、新たなデータに適用できなくなった状態を過学習と言います。例題を通して過学習の状態を理解し、これを防ぐ方法について学びます。

集約またはクラスタリングと呼ばれる6種類の教師なし学習法について、各1枚のイメージ図でアルゴリズムの概要を把握します。代表例としてファジイ-C平均法をアイリスデータに適用する演習で理解を深めます。

分類または識別と呼ばれる12種類の教師あり学習法について、各1枚のイメージ図でアルゴリズムの概要を把握します。代表例として線形判別分析法をアイリスデータに適用する演習で理解を深めます。

要約または次元削減と呼ばれる7種類の教師なし学習法について、各1枚のイメージ図でアルゴリズムの概要を把握します。代表例として主成分分析法をアイリスデータに適用する演習で理解を深めます。

予測または回帰と呼ばれる8種類の教師あり学習法について、各1枚のイメージ図でアルゴリズムの概要を把握します。代表例として線形回帰法をアイリスデータに適用する演習で理解を深めます。

ヒトの脳神経細胞網の電気化学的な情報伝達の仕組みと、これを模擬する非線形モデルのニューラルネットワークによる教師あり学習のアルゴリズムを学びます。

アイリスデータにニューラルネットワークの分類と予測の手法を適用する演習により、ディープラーニングの理解を深めます。

『源氏物語』の1～33帖は紫式部、34帖～54帖は娘の藤原賢子の作という説と、文体を分析するための5つの変数のデータセットを準備し、演習問題と分析へのアプローチ方法を習得します。

集約のファジイC-平均法、分類の線形判別分析法、要約の主成分分析を適用し、データ空間に二人の作者を識別する境界を設定して、作者複数説を支持する根拠を探求するプロセスを学びます。

ニューラルネットワークの分類の手法を適用し、ネットワークの構築から訓練データによる学習とテストデータによる検証のプロセスを学びます。

データサイエンスの応用編では多種多様な分析手法を横並びに学びます。機械学習は多変量解析とニューラルネットワークの2つの分野の手法群で構成されています。『源氏物語』作者複数説に機械学習の手法を適用して、複雑な課題を分析するプロセスを習得しました。