빅데이터 분석 | 시각화 | 머신 러닝 | 통계 검정 - Visual Python 활용

파이썬 소개 및 구동 시스템 설명

파이썬의 데이터 타입 소개

파이썬의 연산자

파이썬의 함수 구성 및 활용

파이썬의 클래스 활용

파이썬 패키지 Numpy 활용

파이썬 패키지 Pandas 자료 구조 소개

시각화 패키지 Matplotlib 소개

데이터 분석을 위한 Visual Python 패키지 설치

1. Import - python 패키지 가져오기

  -  numpy, pandas, matplotlib 등

2. Load files - 다양한 확장자의 파일 불러오기

  - csv, excel, txt, pickle 등

3. Write files - 파일 저장하기/내보내기

Data Info

1. General

   • Info

   • Describe

   • Head

   • Tail

2. Status

   • Null count

   • Duplicated

   • Unique

   • Value counts

3. Statistics

   • count, min, max, quantile, sum, mean, median, var, std, skew, kurtosis

   • cumsum

4. Correlation

   • Correlation table

   • Correlation matrix

5. Distribution

   • Histogram

   • Scatter matrix

   • Box plot

   • Count plot

Frame

1. Edit

   • Add column / row

   • Delete

   • Rename

   • As type

   • To Datetime

   • Replace

   • Discritize

2. Transform

   • Set index

   • Reset index

   • Data shift

3. Sort

   • Sort index

   • Sort values

4. Encoding

   • Label Encoding

   • One-Hot-Encoding

5. Data cleaning

   • Fill NA

   • Drop NA

   • Fill Outlier

   • Drop Outlier

   • Drop Duplicates

Frame

1. Edit

   • Add column / row

   • Delete

   • Rename

   • As type

   • To Datetime

   • Replace

   • Discritize

2. Transform

   • Set index

   • Reset index

   • Data shift

3. Sort

   • Sort index

   • Sort values

4. Encoding

   • Label Encoding

   • One-Hot-Encoding

5. Data cleaning

   • Fill NA

   • Drop NA

   • Fill Outlier

   • Drop Outlier

   • Drop Duplicates

원하는 조건으로 특정한 행과 열을 추출

데이터 추출 방식

1. subset

2. loc

3. iloc

4. query

조건 선택 방식

1. Indexing

2. Slicing

3. Condition

1. 기준 컬럼을 중심으로 그룹핑

2. 집계할 컬럼 선택

3. 선택된 컬럼의 집계 데이터(합계, 평균, 분산 등)를 각 그룹별로 산출

Merge

1. 컬럼을 기준으로 2개의 데이터를 병합

2. 인덱스를 기준으로 2개의 데이터를 병합

3. 데이터 병합 방식

   - inner join

   - outer join

   - left join

   - right join

Concat

1. 2개 이상의 데이터를 병합

2. 축 따라 이어 붙이기(가로축 병합, 세로축 병합)

3. 데이터 병합 방식

   - inner join

   - outer join

1. Pivot

  - Long format data --> Wide format data

2. Melt

  - Wide format data --> Long format data

3 Pivot_table

  - 부분 집계

데이터 시각화

1. Pandas plot

2. Matplotlib

3. Seaborn

예제 데이터를 이용한 데이터 분석 실습

  - 고객 이탈률 데이터 분석

예제 데이터를 이용한 데이터 분석 실습

  - 타이타닉  데이터 분석

예제 데이터를 이용한 데이터 분석 실습

  - 세탁기 로그 데이터 분석

예제 데이터를 이용한 데이터 분석 실습

  - 고객 이탈률 데이터 분석

예제 데이터를 이용한 데이터 분석 실습

  - 문화 역세권 데이터 분석

머신 러닝 기본 개념 소개

머신 러닝 패키지 소개

  - scikit-learn

Data Scaling

• Feature(X값): 수치형 데이터

1. Standard Scaling

2. MinMax Scaling

3. Robust Scaling

4. Normalization Scaling

5. Log Scaling

6. Exponential Scaling

Data Encoding

• Feature(X값): 범주형 데이터

1. Label Encoding

2. Ordinal Encoding

3. One-hot Encoding

4. Mean Encoding

1. Linear Regression

2. Ridge

3. Lasso

4. Elastic net

5. Logistic Regression

Decision Tree

• Gini Index

• Entroy Index

• Information Gain

1. Random Forest

2. GBM - Gradient Boosting Machine

3. XGBoost

4. LightGBM

5. CatBoost

PCA(Principal Component Analysis) - 주성분 분석

• 피처 선택(Feature selection)

• 피처 추출(Feature extraction)

1. K-Means

2. 병합군집(Agglomerative Clustering)

3. GMM(Gaussian Mixture Model)

4. DBSCAN

예제 데이터를 이용한 분류 실습

  - 물고기 종류 예측

예제 데이터를 이용한 분류 실습

  - 타이타닉 생존자 예측

예제 데이터를 이용한 분류 실습

  - 직원 이직률 예측

예제 데이터를 이용한 분류 실습

  - 고객 성별 예측

예제 데이터를 이용한 수치 예측 실습

  - 중고차 판매 가격 예측

예제 데이터를 이용한 수치 예측 실습

  - 자전거 대여 수요 예측

확률 분포 및 기술 통계

Normality test

1. Shapiro-Wilk test

2. Anderson-Darling test

3. Kolmogorov-Smirnov test

4. D'Agostino and Pearson's test

5. Jarque-Bera test

Equal Variance test

1. Bartlett's test

2. Levene's test

3. Fligner's test

Correlation Analysis

1. Pearson

2. Spearman

3. Kendall's Tau

Reliability Analysis

• Cronbach's α

Chi-square test of independence

• Cramer's V

Student's t-test

1. One-sample t-test

2. Independent two-sample t-test

3. Paired samples t-test

ANOVA - Analysis of variance

1. One-way ANOVA

2. Two-way ANOVA

3. ANCOVA - Analysis of covariance

Factor Analysis

1. KMO(Kaiser-Meyer-Olkin)

2. Bartlett's test of sphericity(구형성 검정)

3. Communalities(공통성)

4. Total variance explained

Regression

1. Simple linear regression

2. Multiple linear regression

   • Enter

   • Stepwise

   • Backward

   • Forward

3. Hierarchical linear regression

4. Moderated linear regression

5. Mediated linear regression

6. Dummy variable linear regression

Logistic Regression