
今回の講座の概要を解説しています。
udemyで初めて講座を受講される方向けへ簡単な使い方を解説しています。
講座で扱っている資料をまとめています。必要に応じてダウンロードください。
ChatGPTの概要について解説しています。
Advanced Data Analysis (高度データ分析)(旧 Code Interpreter)の概要: Pythonのバージョン、含まれるライブラリ、制限事項、利用できるファイルなどについて解説しています。
IPAと経済産業省が公開しているDXリテラシー標準((DSS-L)、DX推進スキル標準(DSS-P)とITSS+について、データサイエンティストやデータ活用の項目を抜粋して紹介しています。
ChatGPTの登録方法を解説しています。
ChatGPT登録後、有料プランの登録方法と、有料プラン登録後のAdvanced Data Analysis (高度データ分析)(旧 Code Interpreter)設定方法を解説しています。
データ分析の意義・目的について解説しています。
データ分析に必要なデータをダミーでつくる方法を実演しています。
前レクチャーで作成したダミーデータを使って簡単なデータ分析を実行してみます。
Code Interpreterの環境には日本語フォントが含まれていないので、日本語フォントをアップロードし日本語ラベルを表示する実演をしています。
データ分析プロセスのフレームワークであるCRISP-DMと、より簡易的な流れを紹介しています。
データ分析の手法を目的別、データタイプ別、変数の数別、使用技術・アプローチという視点で分類した図を紹介しています。
記述統計・推測統計・機械学習の大まかな分類、手法の紹介をし、それらを踏まえたデータ分析のレベル分けをご紹介しています。
マーケティング手法と対応するデータ分析方法をまとめてリストアップする方法を実演しています。
データと変数について解説し、変数の種類(量的変数とカテゴリー変数)の違いを解説しています。
データ分析の前に必要な前処理の内容を解説し、実際にプロンプトを実行した例も解説しています。
データを可視化して確認するために様々なグラフがあります。グラフの種類・使い分けについて解説しています。
記述統計で用いられる基本統計量について解説しています(平均、中央値、最頻値、分散、標準偏差、四分位数など) 正規分布、標準正規分布 もあわせてご紹介しています。
独立行政法人 統計センターが公開しているデータセットを用いて基本統計量を計算する方法を解説しています。
データセットの中から変数を指定してより詳細にデータ分析する方法を解説しています。
データ分析や機械学習で有名なKaggleの紹介とサンプルデータセットを紹介しています。
データを確認しながら分析する手法である「探索的データ分析」の実施方法をご紹介しています。
顧客や商品をカテゴリ別に分ける手法 (ABC分析・デシル分析・RFM分析)をまとめて解説しています。
RFM分析は少し複雑ですので考え方やプロンプトについて追加説明をしています。
2変数(カテゴリー変数)の組みあわせて表示するクロス集計について解説しています。
2変数の関係を調べる相関分析について詳しく紹介しています。
このセクションのまとめになります。(概要を把握するためのデータ分析)
全てのデータが取れない状態で全体を推測する推測統計について、簡単な概要・年表を紹介しています。
まずは推測統計でできる事をコードインタープリターに聞いてみるという入力・出力例を解説しています。
推測統計でよく使われる正規分布・中心極限定理・信頼区間について解説しています。
点推定・区間推定の概要と実行例を解説しています。
説明変数(原因)と目的変数(結果)の解説と、それぞれの組み合わせで分析方法が変わるため、簡易表の解説をしています。
仮設検定の概要・進め方、専門用語(帰無仮説、対立仮説、有意水準、p値)をご紹介しています。
まずはどんな検定方法があるのかCode Interpreterに聞いてみるという実演をしています。
対応ありなし、正規性、等分散性について参考までにご紹介しています。
2群の変数を判定するためのt検定を解説しています。
3群以上の変数を比較するための分散分析(ANOVA)を解説しています。
2群のカテゴリー変数を判定するためのカイ二乗検定を解説しています。
分析したいデータと目的を指定して、検定方法はChatGPT側に考えてもらうというパターンで解説をしています。
実際にデータを集める時のサンプリング方法としていくつか種類があるのでまとめて解説しています。
実際にテストする時の考え方である実験計画法について表でまとめたものを紹介しています。
実験計画法の1つに似ているABテストについてプロンプト例・出力例を紹介しています。
複数の組み合わせの中から効率のいい組み合わせを抽出できる直交表についてご紹介しています。
このセクションのまとめになります。
データ分析でとてもよく使われる回帰分析について概要を解説しています。
説明変数が1つとして計算する単回帰分析のデモンストレーションになります。あわせてモデルという用語の解説もしています。
説明変数が複数の場合に使える重回帰分析の実行例を解説しています。
重回帰分析を実施する上で知っておきたい問題をいくつか紹介しています。
出力結果がYesかNoの2択いずれかになる、ロジスティック回帰について扱っています。
このセクションのまとめになります。
ある変数が他の変数にどう影響するかを判定する因果分析の実行例を解説しています。
製品やサービスの属性が、消費者の好みにどれくらい影響を及ぼすかを評価するための、コンジョイント分析について解説しています。
新規に獲得したユーザーが、どのくらいの頻度で製品、サービスを使用し続けるかを分析する手法であるリテンション分析について実行例を用いて解説しています。
時間の経過に伴うデータの変動やパターンを分析する方法である時系列分析を解説しつつ、これまでの傾向から未来予測をするARIMAについても実行例を解説しています。
このセクションのまとめになります。
ボーナスレクチャーはudemy講座内で唯一 宣伝を行っていい場所になっております。
2023年7月。
ChatGPTに「高度データ分析 (Advanced Data Analysis ) の機能が追加されました。
※ 2024年8月現在 無料版でも高度データ分析を実行できるようになっています。(回数制限あり)
ChatGPT上でプログラミング言語Pythonを実行できる環境が整い、
ファイルのアップロード・ダウンロードができるようになりました。
これまで「データ分析」というと、
高度な数学の知識、専門知識、コーディングの知識が必要だったのですが、
「高度データ分析」の機能を使う事で、
日本語で、手軽に、誰でもが、
高度なデータ分析を実行できる環境が整ってきました。
この講座では、
データ分析に必要な知識がないビジネスマンを対象に、
できるだけ難しい用語を外し、わかりやすく、
データ分析ができるようになるための方法を解説しています。
本当に高精度なデータ分析に関してはプロのデータサイエンティストに頼るとして、
実務で使えるデータ分析を使いこなす方法をできるだけわかりやすく解説しています。
講座内で紹介しているプロンプト(指示方法)を真似するだけで、
下記のような分析をあっという間に実行する事ができるようになります。
## 紹介しているマーケティング的なデータ分析の種類・方法
探索的データ分析(EDA)、ABC分析、デシル分析、RFM分析、クロス集計、ABテスト、
単回帰分析、重回帰分析、ロジスティック回帰分析、因果分析、コンジョイント分析、
リテンション分析、時系列分析(ARIMA)
## 紹介している用語、統計的解析方法
変数、基本統計量(分散、標準偏差 etc)、正規分布、標準正規分布、相関分析、
点推定、区間推定、t検定、ANOVA(分散分析)、カイ二乗検定、実験計画法(直交表)
## IPAスキルセットとの対応
DX推進スキル標準(DSS-P) データサイエンティストの一部
ITSS+ データサイエンスの一部
- データ理解 (意味合いの抽出、洞察、統計情報への正しい理解、データ確認)
- データの可視化
- 予測(回帰・分類、評価)、推定・検定、グルーピング
- 性質・関係性の把握 (性質・関係性の把握、因果推論)
- データ加工 (データクレンジング、データ加工)
- 意味合いの抽出・洞察
- データ可視化 (軸出し、データ加工、表現・実装技法)
- 時系列分析、パターン発見、最適化
2022年11月に『データサイエンティスト検定・リテラシーレベル』に合格しております。
検定の範囲なども含めて講座作成しております。
お知らせ
Advanced Data Analysis (高度データ分析)の出力に時間がかかる事があるため、編集でカットしている箇所が複数あります。
解説資料内にAdvanced Data Analysis (高度データ分析)の出力例を複数添付しておりますが、
相手がAIという事で毎回同じように結果が返ってくるとは限りませんので
あらかじめご了承ください。
※撮影当時はCode Interpreter(コードインタープリタ)という機能名でしたので、
Code Interpreter(コードインタープリタ)として紹介・解説しております。