データをキレイにする技術
3.8 (6 ratings)
Course Ratings are calculated from individual students’ ratings and a variety of other signals, like age of rating and reliability, to ensure that they reflect course quality fairly and accurately.
66 students enrolled

データをキレイにする技術

無料ツールOpen Refineを利用したデータクレンジングの実践をどなたにでも
3.8 (6 ratings)
Course Ratings are calculated from individual students’ ratings and a variety of other signals, like age of rating and reliability, to ensure that they reflect course quality fairly and accurately.
66 students enrolled
Created by 裕一 矢崎
Last updated 7/2020
Japanese
Price: $19.99
30-Day Money-Back Guarantee
This course includes
  • 6 hours on-demand video
  • 1 article
  • Full lifetime access
  • Access on mobile and TV
  • Certificate of Completion
Training 5 or more people?

Get your team access to 4,000+ top Udemy courses anytime, anywhere.

Try Udemy for Business
What you'll learn
  • データ取得とデータ可視化・分析の間にある、これまでなかなか一般向けに言語化されてこなかった、データをキレイにする行為。
  • データ可視化をするための最低限の条件であるデータの状態とは何であるかが学べます。
  • 無料ツールOpen Refineを用いたデータをキレイにするための実際のやり方を学びます。
  • 実際公開されている公的なデータを用いて、クレンジングや整形をハンズオンで画面を見ながらやり方を学べます。
Requirements
  • Excelを使ったことがある方。
  • パソコンをお持ちの方。
Description

【本コースは、どんな内容か】

・Open Refineというオープンソースで無料のウェブアプリケーションを使用して「データをキレイにする」ための方法論と具体的な手法をご紹介します。

・全般的にマウスでの操作になりますが、一部、スクリプトとよばれる一行単位で完結するような短めのプログラミング言語を使う場面もあります。

・データがキレイになった結果として、可視化や分析に用いるツールの幅を広げ、打ち手を増やしていくことが可能になります。

・「データをキレイにする」ことがテーマであり、データ取得やデータ可視化については扱っていません(話の流れで登場している箇所はあります)。それらについては今後別のコースとしてリリースしていきます。


【本コースの特徴】

・本コースでは、作業全体を、クレンジングと整形、列と行にわけ、この4マスに作業を分類し、具体的な作業内容について、共有しています。

・ほかの書籍やツールなどで紹介されているクレンジング方法は、抽出/集約/結合などといったデータベースの操作をベースとしているため、一般の方には少し分かりづらいかなと思います。

・無料のツールを用いて、データ活用の専門家でない、一般の方がどなたでもデータを活用いただけるような体系化を試みています。


【本コースの受講順序】

・A...セクション1〜3:原理原則の紹介

・B...セクション4〜10:ツール操作方法の紹介

・C...セクション11〜13:サンプルデータを用いた演習

・D...セクション14:まとめ

という構成になっております。


※すべての動画を最初から最後までこの順序で見なければならない、ということはありません。

たとえば、

・A→C→B(基礎と実践をできるだけ最短で)

・C→B→A(座学は後回しでいいので、まずはサンプルを言われたとおりに操作しながら慣れたい)

といった順序でご覧いただいてもいいでしょう。


【本コースで対象とするデータ】

・リスト形式の表データを対象にしています。

・複雑な階層のファイル、ネットワークデータ、自然言語の文章や画像/音声/動画ファイルといったメディアファイルは対象にしません。


【本コースで対象としていない処理】

・機械学習のための前処理は対象にしていません。

・データの匿名化は対象にしていません。

Who this course is for:
  • プログラマーでなくデータ分析の専門でもない一般の方。
  • 効率よくデータを活用したい方。
  • 普段Excelを使っていて、他のツールも使ってステップアップしたい方。
Course content
Expand all 63 lectures 05:56:07
+ データをキレイにするとは?
7 lectures 26:12
参考URL
02:45
ディメンションとメジャー
05:19
「キタナイ」データの例
08:42
OpenRefineの特徴
05:30
+ 扱うことができるデータ
7 lectures 17:26
扱うことのできるデータ
01:09
データ構造
03:42
データ型
00:49
ファイル形式
06:38
文字コード・改行コード
00:53
データの取得元
02:09
用語説明
02:06
+ ワークフロー
2 lectures 07:21
ワークフローはどう変わる?
05:03
ワークフローを構造化しよう
02:18
+ データ構造のクレンジング
3 lectures 21:32
OpenRefineで読み込む前の判断
09:43
データ構造のクレンジング(2)
05:23
+ 列へのクレンジング
9 lectures 01:04:35
列へのクレンジングとは
01:10
数値型にするための準備
11:43
数値型への変換
01:48
日付時刻型とは
05:07
日付時刻型への変換
05:56
テキスト型としてのチェックポイント(1)
12:47
テキスト型としてのチェックポイント(2)
13:26
テキスト型としてのチェックポイント(3)
10:18
テキスト型への変換
02:20
+ 行へのクレンジング
3 lectures 08:10
行へのクレンジング
01:30
行へのクレンジングのチェックポイント
03:42
行へのクレンジングの実行
02:58
+ 列への整形
9 lectures 01:01:35
列への整形とは
00:39
データ値の変換
01:39
データ値の変換:数値型
08:00
データ値の変換:日付時刻型(1)
04:43
データ値の変換:日付時刻型(2)
17:49
データ値の変換:テキスト型
03:29
列の結合と分割
09:35
データ値によるデータ値の追加:別プロジェクト
02:41
データ値によるデータ値の追加:Web API
13:00
+ 行への整形
2 lectures 03:36
行への整形とは
00:44
行への整形の実行
02:52
+ 出力
4 lectures 06:21
出力する
00:36
データの出力
01:13
操作履歴の出力
02:43
プロジェクトの出力
01:49