やさしい実用統計 Pythonによるデータ分析入門

データ分析は，何らかの業務目的のための行われます．業務目的のために行われるプロジェクトとしてデータ分析を位置付けます．

データ分析には，求解的分析と探索的分析があります．これらの違いについて理解します．

データ分析プロジェクトの各フェーズとスキルについて説明します．

データ分析を始める前にデータを知るために行うデータプロファイリングについて説明します．

データを電子化する際のルールの説明とこの講座の中で使用するデータセットについての説明です．

ここから5つのレクチャーで，Pythonの基本的なデータ型について説明します．

• 1. 基本データ型

• 2. 配列

• 3. range関数

• 4. set関数

• 5. 列挙型

この5つのレクチャーの参考としてpdf資料を添付しています．

さらに，これらPythonのプログラムを実施するためのJupyter notebookのファイルをZIPにしたものを添付していますので，ダウンロードしてご利用ください．

Pythonの基本的な配列構造について説明します．

• リスト配列

• タプル配列

• 辞書配列

配列を生成するrange関数とlist関数について説明します．

set関数と集合型の配列について説明します．

列挙型データ enum について説明します．

データ処理に必須のテクニックであるリスト内包表記について学習します．

辞書，集合，タプルについての内包表記を学習します．

Pythonのライブラリーを利用するための搬入について説明します．

pandasのデータフレームを何もないところから作成する単純な方法について学習します．

CSVファイルからデータを取り込んでデータフレームを作成する方法について学習します．

データフレームの中身を編集する方法について学習します．

正規表現で必要になるraw文字および数字の正規表現について説明します．

また，後続のレクチャーで説明する正規表現関数についての説明文書をpdfファイルで添付しています．

正規表現パターンに一致する文字列を全て抽出する findall 関数について学習します．

正規表現パターンと最初に一致する文字列を抽出する search 関数について学習します．

正規表現パターンと文章の先頭から一致することを検証する match 関数について学習します．

正規表現パターンと文章が完全に一致するかを検証する fullmatch 関数について学習します．

正規表現のパターンの要点について学習します．さらに，整数および小数点付数のパターンを作成します．

正規表現パターンをコンパイルして使用する方法について学習します．

正規表現を使用する課題です．少し時間をかけて試行錯誤してみましょう．

正規表現についての演習課題の解答例です．なお，正解は一つではありません．

テストを繰り返してプログラムを完成させていくプロセスを身に付けてください．

正規表現を使用した文字列の置換について学習します．

ハイフン記号やダッシュ記号などマイナス記号に似た記号があり，負の数を入力するときにそれらの記号を誤って使用されるケースがあります．そのようなデータにおいて，マイナス記号を統一するためのクレンジングについて学習します．

データクレンジングは地味な作業ですが，作業量も多く，データ分析にとっては欠かせない部分です．このレクチャーでは，クレンジングの必要性を再認識します．

血液型データを例にとって，カテゴリーデータのクレンジング方法を学習します．

年齢データを例にとって，文字列から整数を得るときのクレンジング方法を学習します．

文字列で記載された温度データを例にして，小数点付数のクレンジング方法を学習します．

データフレームにおけるクレンジングを実施する前提として，CSVファイルを読み込んでデータフレームを構成するまでの準備を学習します．

データフレームのクレンジングに活用するツールの準備について学習します．

データフレーム内の変量 height のクレンジングを実際に実施します．

データフレームン内の変量 weight のクレンジングを実際に実施します．

データフレームン内の変量 age のクレンジングを実際に実施します．

データフレーム内の変量 gender のクレンジングを実際に実施します．

データフレーム内の変量 blood のクレンジングを実際に実施します．

データフレームの各変量のクレンジングを統合した処理プロセスを紹介します．

この結果として得られたクレンジング済みデータはCSVファイルに保管します．

記述統計の全体像を把握します．

データ分析で最初に実施する度数分布表とヒストグラムについて学習します．

Pythonのデータフレームにおいて，度数分布表とヒストグラムを求める方法を学習します．

平均値，中央値，最頻値などを統計では代表値と言います．これらの定義について学習します．

代表値である平均値，中央値，最頻値をデータフレームの変量について求めます．

主な代表値である平均値，中央値，最頻値の特徴について説明します．

算術平均，幾何平均，調和平均の違いについて，説明します．

四分位数，パーセンタイル等の分位数について，その定義式を説明します．

四分位数をPythonで求める二種類の方法を説明します．

データの最小値側と最大値側のデータを除いた平均であるトリム平均について説明します．

データのバラツキ度合いを表す散布度について説明します．

最も重要な散布度である分散と標準偏差について，データ件数で割る式とデータ件数-1で割る式を説明します．

平均偏差と中央値絶対偏差について説明します．

四分位範囲と四分位偏差について説明します．

統計処理で除外される可能性のある外れ値について説明します．

Pythonのライブラリーを使用した分散と標準偏差の計算方法について学習します．

標準化変量，偏差値，正規化など，データのスケール変換について説明します．

四分位数に基づく箱ひげ図について説明します．

確率について，有限事象に限定して理解します．

なお，添付のpdfファイルは，確率の定義，条件付確率，独立事象を含めた解説です．

確率の定義および加法定理について説明します．

条件付確率および乗法定理について説明します．

独立事象について，具体的な例を用いて説明します．

ベイズの定理は，情報を与える事によって確率の精度を向上させる方法です．

期待値の定義について説明します．

なお，添付したpdfファイルには，後続のレクチャー「期待値の公式」，「確率における分散」，「独立事象の共分散」についての説明が記載されています．

期待値の公式について説明します．

確率のおける分散の定義および公式について説明します．

独立事象の共分散がゼロになることを説明します．

不偏推定量の期待値について説明します．

添付したpdfフィルは，後続のレクチャー：不偏平均，不偏分散の説明も含まれています．

不偏平均について説明します．

不偏分散の計算式において分母が n-1 であることを証明します．