What you'll learn
- 集合,行列,ベクトルなどの線形代数の基礎
- 連立方程式の解釈と一般化逆行列による解法
- 微分の基礎と勾配ベクトル,ヘッセ行列,ヤコビ行列などの行列
- 3つの微分の実装方法:数式微分,数値微分,自動微分
- 制約なし最適化問題と最急降下法,ニュートン法などの代表的な反復法
- 線形回帰と連立方程式の解法
- 正則化を用いたリッジ回帰,lassoなどの解法
- 制約付き最適化問題と制約条件の考え方
- 疑似逆行列の導出:リッジ回帰,最小ノルム解
- 凸最適化の基礎
- 近接作用素,近接法,近接勾配法,射影勾配法
- 双対上昇法,拡張ラグランジュ法,ADMM
- 超平面による識別の考え方と損失関数
- パーセプトロン,ロジスティック回帰
- サポートベクトルマシンと制約付き最適化問題としての定式化
- 2クラス識別問題と多クラス識別問題
- ニューラルネットワークとロジスティック回帰の関係
- 多層ニューラルネットワークと畳込みネットワーク
Requirements
- 線形代数の基礎知識
- 微分の基礎知識
- jupyter notebookを実行できるスキルと環境
- 必要なpythonモジュールをインストールできるスキル
Description
このレクチャーでは,コンピュータビジョンやパターン認識,画像処理などで使われる数式や考え方,数学的手法を学びます.基礎的な連立方程式の解き方とその解釈,微分と最適化,回帰とスパースモデリング,制約付き最適化問題と凸最適化,識別などの基本的な考え方を,数式を通して理解し,いくつかの問題についてはPythonコードを使って理解を深めます.特に連立方程式Ax=bというよく見かける数式を題材に,顔画像の近似問題としていろいろな手法が定式化できること,また解き方があることを学びます.
Who this course is for:
- 線形代数と微分の応用例を知りたいエンジニア
- 連立方程式の様々な解法を理解したい学生
- 機械学習の専門書の数式に取り組みたいと思っている開発者
Instructor
コンピュータビジョン,画像認識,機械学習などを研究
コンピュータビジョン,画像認識,パターン認識,動画像処理,医用画像処理などを専門とする.電子情報通信学会和文誌D編集委員,PRMU委員,MI委員.情報処理学会CVIM委員,GCAD委員など歴任.2001年新潟大学助手,2005年広島大学准教授.2020年名古屋工業大学教授.翻訳書に「コンピュータビジョン ―アルゴリズムと応用―」「統計的学習の基礎」「スパースモデリング」(共立出版)「Pythonで体験するベイズ推論」(森北出版).電子情報通信学会シニア会員.情報処理学会,IEEE,IEEE Computer Society等会員.