AI基礎講座 第7話 機械学習のパイプライン（線形識別を例に）

株式会社Ridge-i内の2019年度インターンシッププログラムで行った基礎講座。

第7話は、今回公開する第10話までで一番数式的な部分ですが、高校までのベクトルの知識でも分かる内容です。機械学習の線形モデルは「特徴量とパラメータの内積」で表現されますが、これって何をやっているのか？そして、機械学習といえば分類と回帰、となりがちですが、あえてその両方の性質をもつ面白い課題としてのランク学習を紹介します。

対応する動画が https://youtu.be/NjAPXtOLK70 にアップロードされておりますので、ご興味があればご覧ください。

Transcript

1. Ridge-i インターンシッププログラム
   人工知能・機械学習（AI/ML）基礎講座
   第7話 機械学習のパイプライン（線形識別を例に）
   Chief Research Officer
   牛久 祥孝
   

   View Slide

2. 機械学習のパイプライン
   • 特徴量計算（人が設計）＋識別器学習（機械が学習）
   • 本章では以降つぎのトピックについて解説する
   – 特徴量抽出理論
   – 機械学習のその他の展開
   = ()
   Cat
   Camera
   特徴量
   計算
   識別器
   学習
   Cat
   Camera
   
   
   

   View Slide

3. 線形識別＝超平面
   カメラとネコを分類するAI
   →（一例として）教師あり学習による線形識別
   • 線形分類とも呼ばれる
   • カメラの特徴量とネコの特徴量の間の超平面（2次元空間上では直
   線）を見つける
   3
   = ()
   Cat
   Camera
   特徴量
   計算
   識別器
   学習
   Cat
   Camera
   
   
   

   View Slide

4. 線形識別＝超平面
   4
   Cat
   Camera
   
   
   この線分の符号つき長さ：
   
   
   ⋅
   原点と直線の符号つき距離：とおく
   

   View Slide

5. 線形識別＝超平面
   5
   Cat
   Camera
   
   
   この線分の符号つき長さ：
   
   
   ⋅
   原点と直線の符号つき距離：とおく
   ピンクの線分が原点と直線の距離より大きい→ネコ
   それ以外→カメラ
   （ちょうど同じときの判断は設計の自由）
   

   View Slide

6. 線形識別＝超平面
   6
   Cat
   Camera
   
   
   この線分の符号つき長さ：
   
   
   ⋅
   原点と直線の符号つき距離：とおく
   ピンクの線分が原点と直線の距離より大きい→ネコ
   それ以外→カメラ
   （ちょうど同じときの判断は設計の自由）
   
   
   ⋅
   > ′
   = − なるを置くと
   ⋅
   + > 0
   つまり
   = = ⋅ +
   

   View Slide

7. を消す
   = = ⋅ + = ′ ⋅ ′
   ただし′ =
   
   
   、′ =
   
   1
   識別則がパラメータと特徴量の内積だけ！シンプル！
   …でもを′に変えるのはどういう意味？
   7
   

   View Slide

8. を消す
   = = ⋅ + = ′ ⋅ ′
   ただし′ =
   
   
   、′ =
   
   1
   8
   
   
   

   View Slide

9. を消す
   = = ⋅ + = ′ ⋅ ′
   ただし′ =
   
   
   、′ =
   
   1
   9
   𝒙
   

   View Slide

10. を消す
    = = ⋅ + = ′ ⋅ ′
    ただし′ =
    
    
    、′ =
    
    1
    10
    1
    𝒙
    

    View Slide

11. を消す
    = = ⋅ + = ′ ⋅ ′
    ただし′ =
    
    
    、′ =
    
    1
    11
    1
    𝒙
    𝒘
    

    View Slide

12. を消す
    = = ⋅ + = ′ ⋅ ′
    ただし′ =
    
    
    、′ =
    
    1
    12
    1
    𝒙
    𝒘
    を「浮かせた」′は…
    原点を通る超平面𝒘で
    分けられる様になる！
    

    View Slide

13. （線形な）機械学習＝超平面/直線の冒険
    分類：クラスが異なる特徴量を分けられる超平面※を探す
    13
    Cat
    Camera
    ※直線なのは特徴量空間が2次元の場合
    

    View Slide

14. （線形な）機械学習＝超平面/直線の冒険
    回帰：直線上での座標が指定された値になる直線を探す
    14
    体重
    身長
    体重＝ ⋅ 身長 + 定数
    

    View Slide

15. （線形な）機械学習＝超平面/直線の冒険
    ランク学習：直線上での座標の大小関係が指定された関係に
    なる直線を探す
    15
    ネコの毛の長さと毛の密度から
    ネコのモフモフ度を推定させたい！
    回帰として学習できる？
    →「モフモフ度」を絶対評価で採点しなければならない
    それぞれのモフモフ度は何点？
    絶対評価が困難でも…
    相対評価なら可能なのでは？
    

    View Slide

16. （線形な）機械学習＝超平面/直線の冒険
    ランク学習：直線上での座標の大小関係が指定された関係に
    なる直線を探す
    16
    毛の長さ
    毛の密度
    モフモフ度
    この軸の上では
    >
    左の画像がよりモフモフ
    この軸の上では
    >
    左の画像がよりモフモフ
    

    View Slide

17. なお深層学習では
    • 特徴量計算＋識別器学習（両方とも機械が学習）
    • 深層学習では
    – End-to-end学習（特徴量抽出と識別器の学習を同時に実行）
    – 事前学習/追加学習（特徴量抽出の学習と識別器の学習が別）
    = ()
    Cat
    Camera
    特徴量
    計算
    識別器
    学習
    Cat
    Camera
    
    
    

    View Slide