Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
人人都可參一咖的人工智慧
Search
[email protected]
April 22, 2018
Technology
2
590
人人都可參一咖的人工智慧
這是在政大, 主要為非理工背景同學介紹人工智慧。主要是讓同學們知道, 人工智慧主要是要「問個好問題」, 所以事實上人人都可以參與人工智慧的開發。
[email protected]
April 22, 2018
Tweet
Share
More Decks by
[email protected]
See All by
[email protected]
【深度學習】08 強化學習
yenlung
0
360
Contrastive Self-Supervised Learning
yenlung
0
420
【深度學習】07 生成模式和 GAN
yenlung
0
380
【深度學習】06 RNN 實務與 Transformers
yenlung
0
320
【深度學習】05 有記憶的神經網路 RNN
yenlung
0
140
【深度學習】04 圖形辨識的天王 CNN
yenlung
0
250
【深度學習】03 神經網路是怎麼學的
yenlung
0
190
【深度學習】02 AI 就是問個好問題
yenlung
0
190
咖啡沖煮簡介
yenlung
0
1.2k
Other Decks in Technology
See All in Technology
サイバー攻撃を想定したセキュリティガイドライン 策定とASM及びCNAPPの活用方法
syoshie
3
1.2k
第3回Snowflake女子会_LT登壇資料(合成データ)_Taro_CCCMK
tarotaro0129
0
180
非機能品質を作り込むための実践アーキテクチャ
knih
3
950
祝!Iceberg祭開幕!re:Invent 2024データレイク関連アップデート10分総ざらい
kniino
2
250
10個のフィルタをAXI4-Streamでつなげてみた
marsee101
0
160
PHP ユーザのための OpenTelemetry 入門 / phpcon2024-opentelemetry
shin1x1
0
150
オプトインカメラ:UWB測位を応用したオプトイン型のカメラ計測
matthewlujp
0
170
組織に自動テストを書く文化を根付かせる戦略(2024冬版) / Building Automated Test Culture 2024 Winter Edition
twada
PRO
13
3.6k
多領域インシデントマネジメントへの挑戦:ハードウェアとソフトウェアの融合が生む課題/Challenge to multidisciplinary incident management: Issues created by the fusion of hardware and software
bitkey
PRO
2
100
Fanstaの1年を大解剖! 一人SREはどこまでできるのか!?
syossan27
2
160
Amazon SageMaker Unified Studio(Preview)、Lakehouse と Amazon S3 Tables
ishikawa_satoru
0
150
バクラクのドキュメント解析技術と実データにおける課題 / layerx-ccc-winter-2024
shimacos
2
1.1k
Featured
See All Featured
How To Stay Up To Date on Web Technology
chriscoyier
789
250k
Producing Creativity
orderedlist
PRO
341
39k
The Power of CSS Pseudo Elements
geoffreycrofte
73
5.4k
For a Future-Friendly Web
brad_frost
175
9.4k
Code Reviewing Like a Champion
maltzj
520
39k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
132
33k
Navigating Team Friction
lara
183
15k
Adopting Sorbet at Scale
ufuk
73
9.1k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
665
120k
RailsConf 2023
tenderlove
29
940
The Pragmatic Product Professional
lauravandoore
32
6.3k
Designing for humans not robots
tammielis
250
25k
Transcript
⼈⼈都可參⼀咖 ⼈⼯智慧 蔡炎⿓ 政治⼤學應⽤數學系 的 科技部「科技⼤擂台。與AI對話」 「中國⼤陸概論」核⼼通識課程
!2 AI 不過就是問個好問題 AI 核⼼技術—神經網路的原理 設計思考, 創意解決問題 怎麼在⼤學實現你的 AI 夢想
⼤綱
1 AI 不過就是 問個好問題 !3
!4 2017 年台灣⼈⼯智慧年慧 AlphaGo 創始⼈之⼀⿈⼠傑博⼠演講 AlphaGo 的故事
!5 AlphaGo Lee AlphaGo Master AlphaGo Zero 中國烏鎮 圍棋會 4:1
擊敗世界 棋王李世乭 神秘⾼⼿網路 60 連勝 與柯潔對奕, ⼈⼯智慧與⼈ 的合作 完全⾃學的⼈ ⼯智慧, 擊敗 之前版本 2016.3 2016.12.29 —2017.1.4 2017.5 2017.10
!6 AI 事實上也沒那麼可怕 ⾃動駕駛 近 100% 機會會實現
!7 哆啦a夢 近期內不可能 不過我們還有 95 年的時間 2112 年 9 ⽉
3 ⽇
!8 問題化為函數 f 然後⽤深度學習找到這個函數
!9 函數其實是⼀個解答本 所有的問題, 都有⼀個答案
!10 在野外看到⼀隻動物, 我想知道是什麼?
!11 問題 答案 台灣⿊熊 蟒蛇 我們有部份解答
!12 問題 答案 台灣⿊熊 蟒蛇 但我們還沒碰過的情況可能有無限多題 ?
!13 深度學習找出完整的函數!
!14 深度學習 (神經網路) 三⼤天王 標準 NN CNN RNN
!15 我們先問⼀個問題 在野外看到⼀隻動物, 我想知道是什麼? 1
!16 化成函數的形式 f 台灣⿊熊 2
準備訓練資料 ( , "台灣⿊熊") ( , "蠎蛇") , , ...
x k+1 , y k+1 x k , y k x1 , y1 x n , y n 訓練資料 測試資料 3
!18 強化學習 ⽣成對抗模式 (GAN) VAE 膠囊 標準 NN CNN RNN
架構我們的神經網路 4
!19 我們架好了神經網路, 就剩⼀些參數要調。 θ = {wi , bj } 決定好這些參數的值,
就會出現⼀個函數。
!20 學習 5 學習都是⽤我們訓練資料送進我們的神經網路,調整 我們的參數, 然後⽤個 loss function 看我們和觀察值 差多少。
!21 基本上就是⽤ gradient descent 因神經網路的特性, 叫 backpropagation
!22 我想知道某⽀股票明天 的收盤價。
!23 f ⽇期 x 某股票 x 當天的收盤價
!24 f ⽤前 1 週的情況預 測下⼀期。 NN, CNN, RNN
!25 我想知道某位 MLB 選⼿ 2018 球季可以 打幾隻全壘打?
!26 第 t-1 年資料 [Age, G, PA, AB, R,
H, 2B, 3B, HR, RBI, SB, BB, SO, OPS+, TB] 15 個 features! f 第 t 年全壘打數 RNN
!27 不要猜精確數⽬, 猜區 間即可! 分五段: 0-9, 10-19, 20-29, 30-39, 40+
!28 Mike Trout (LAA) 預測 30-39 實際 33 Mookie Betts
(BOS) 預測 20-29 實際 24 Jose Altuve (HOU) 預測 20-29 實際 24 Kris Bryant (CHC) 預測 30-39 (第⼆⾼ 20-29) 實際 29 Daniel Murphy (WSH) 預測 20-29 實際 23 Corey Seager (LAD) 預測 20-29 實際 22 2017 預測結果 (2016 年 6 ⽉預測)
!29 對話機器⼈
!30 f ⽬前的字 下⼀個字
!31 字1 字2 回1 EOS 回1 回2 回k EOS 注意這樣的模式,
每次輸⼊和輸出都不是固定的⻑度!
!32 我想讓 AI ⾃⼰玩遊 戲 (開⾞, 泡咖啡...)
!33 π 最好的動作 CNN + NN
!34 Q 評分 Reinforcement Learning + 往左
!35 我喜歡的字型有缺 字, 我想要這個字!
!36 f 字型A 字型B CNN, VAE, GAN
2 AI 核⼼技術— 神經網路的原理 !37
記得我們就是要學個函數 !38 f x1 x2 xn y1 y2 ym
!39 函數學習三部曲 真實世界我們要問的問題化做函數。 收集我們知道「正確答案」的訓練資料。 找出這個函數!
暗⿊學習法 真的有學任意函數的技法 !40
就是「神經網路」! !41
在 1980-1990 左右是 很潮的東⻄ !42
!43 Hidden Layer Output Layer Input Layer 暗⿊魔法
厲害的是神經網路什麼都 學得會! ⽽且你完全不⽤告訴它函數應該⻑什麼樣⼦: 線性 啦、⼆次多項式啦等等。 !44
打開暗⿊世界 !45
!46 Fully Connected Neural Networks 1980 年代就⽕紅的 model 標準 NN
!47
每個神經元動作基本上是 ⼀樣的! !48
!49 每個神經元就是接 受若⼲個輸⼊, 然後 送出⼀個輸出。
!50 輸⼊做加權和。
!51 加上偏值 (bias)。
!52 再⽤激活函數作⽤上去, 即為輸出。
!53 幾個 activation functions ReLU Sigmoid Gaussian
!54 變數就是 weights, biases
!55 「學成的」神經網路 1 2 1 2 1 1
!56 假設輸⼊ 2 1 1 (x1 ,x2 ) = (1,3)
1 3 1 3 8 1 2 1
!57 假設⽤ ReLU 1 3 1 2 1
!58 神經網路需要經過訓練 把我們的「考古題」⼀次次拿給 神經網路學。 學習法叫 backpropagation。 神經網路訓練法
當⼀個神經網路結構決定、activation functions 也決定, 那可以調的就是 weights, biases。我們把 這些參數的集合叫 , 每⼀個 就定義⼀個函數,
我 們把它看成⼀個集合。 固定結構神經網路的函數空間 !59
我們就是要找 使得 和⽬標函數最接近 !60
「最近」是什麼意思 就是 “loss function” 的值最⼩ !61
假設我們有訓練資料 !62
!63 我們希望它越⼩越好 最常⽤ loss function 這什麼啊?
!64 x 網路路輸出 真正的 誤差 1 2 3 1 2
5 2 -3 3 6 8 2 4 7 2 -5 5 6 6 0 6 4 8 4 7 8 9 1 總誤差怎麼算?
!65 x 網路路輸出 真正的 誤差 1 2 3 1 2
5 2 -3 3 6 8 2 4 7 2 -5 5 6 6 0 6 4 8 4 7 8 9 1 加總 = 0!! 加總可以嗎?
!66 x 網路路輸出 真正的 誤差 1 2 3 1 2
5 2 -3 3 6 8 2 4 7 2 -5 5 6 6 0 6 4 8 4 7 8 9 1 平⽅和 1 9 4 25 0 16 1 加總是 56
!67 基本上這樣調 learning rate
這可怕的東⻄是什麼意思 ? !68
記得 L 是 w1 , w2 , b1 , …
的函數 !69 希望越⼩越好
為了簡化, 我們先把 L 想 成只有⼀個變數 w !70
!71 w ⽬前的值 如何⾛到最⼩值?
!72 w ⽬前的值 我知道, a 點要 向右移動!
!73 電腦怎麼「看」出來?
!74 切線是關鍵!
!75 切線斜率 < 0
!76 切線斜率 > 0
切線斜率指向 (局部) 最 ⼤值的⽅向!! !77
!78 符號 切線斜率 切線斜率
!79 切線斜率是變化率 切線斜率 切線斜率
!80 切線斜率合理的符號 符號 因為是變化率, 合理的符號可以是: ⼜醜⼜不潮!
!81 切線斜率合理的符號 符號 萊布尼茲說我們要潮就這樣寫: y 對 w 在 a 點的變化率
!82 對任意的 w, 我們會寫成: 簡潔就是潮! 切線斜率函數 切線斜率合理的符號 符號
!83 正負指向 (局部) 極⼤ 切線斜率 切線斜率
!84 往 (局部) 極⼩值移動 重點 我們想調整 w 的值, 往極⼩值移動, 應該讓新的
w 變成:
!85 往 (局部) 極⼩值移動 重點 ⽐如現在在 w=a, 要調整為
!86 調整⽰意圖 切線斜率
!87 有時會跑過頭! 切線斜率
!88 往 (局部) 極⼩值移動 重點 為了不要⼀次調太⼤, 我們會乘上⼀個⼩⼩的數, 叫 Leraning Rate:
!89 求切線斜率的動作, 就是 微分
!90 可是, 變數不只⼀個...
!91 例⼦ 假設這時我們在: ⼀樣準備往 (局部) 極⼩值移動。
!92 假裝只有⼀個變數! ⽐如說 w1
!93 如果除了 w1, 其他變數不動... ⼀個變數的函數! 例⼦
!94 同理, 例⼦
!95 於是我們⼜會調整 w1, w2, b1, 讓 L 慢慢⾛向 (局 部)
極⼩。 w1 w2 b1 例⼦
!96 寫在⼀起看來更有學問! 新的 這叫 L 的 gradient 例⼦
!97 但這符號有點麻煩 還要新創函數
!98 偏微分 定義 我們有 L(w1, w2, b1) 這三個變數的函數, 當我們 只把
w1 當變數, 其他 w2, b1 當常數的微分。
!99 同理, 偏微分 定義
!100 梯度 (gradient) 符號 函數 L 的 gradient 就變成:
!101 Gradient 當然要有很酷的符號: 梯度 (gradient) 符號
!102 我們調整 w1, w2, b1 的⽅法就變成: 梯度 (gradient) 符號
這「學習法」有個很潮的名字 (SBEJFOU%FTDFOU !103 梯度下降
!104 Deep Learning 三⼤天王 標準 NN CNN RNN
!105 真⼼不騙
!106 Convolutional Neural Network 圖形辨識的超級天王 CNN
!107 台灣⿊熊 圖形辨識 f ( ) =
!108 電腦打電動 ⽬前狀態 「最佳」動作 π ( ) = 搭配 reinforcement
learning
!109 filter 1 filter 2 input 每個 filter 看⼀一個特徵, 掃過每
⼀一個點, 紀錄該點附近的「特 徵強度」。 Convolutional Neural Network (CNN)
!110 Convolutional Layer 1
!111 例例如 3x3 的⼤大⼩小 我們要做 filters
!112 2 5 5 2 5 2 0 1 2
3 4 0 4 2 1 5 4 3 1 3 5 5 4 3 5 3 4 5 0 2 1 5 2 3 1 1 1 0 1 3 4 4 1 1 5 1 1 4 2 3 2 2 0 4 2 4 0 5 4 5 3 4 1 4 35 想成這是⼀張圖所成的矩陣 filter 內積 這學來的 W=
!113 2 5 5 2 5 2 0 1 2
3 4 0 4 2 1 5 4 3 1 3 5 5 4 3 5 3 4 5 0 2 1 5 2 3 1 1 1 0 1 3 4 4 1 1 5 1 1 4 2 3 2 2 0 4 2 4 0 5 4 5 3 4 1 4 35 27 filter 右移⼀一格 還是⼀樣的矩陣 W=
!114 2 5 5 2 5 2 0 1 2
3 4 0 4 2 1 5 4 3 1 3 5 5 4 3 5 3 4 5 0 2 1 5 2 3 1 1 1 0 1 3 4 4 1 1 5 1 1 4 2 3 2 2 0 4 2 4 0 5 4 5 3 4 1 4 35 27 44 32 36 38 36 36 37 36 36 43 37 37 23 26 17 35 29 25 22 18 14 27 27 25 24 21 24 32 31 38 27 34 25 40 filter ⼀一路路到最後 W=
!115 35 27 44 32 36 38 36 36 37
36 36 43 37 37 23 26 17 35 29 25 22 18 14 27 27 25 24 21 24 32 31 38 27 34 25 40 最後就是⼀個 6x6 的矩陣 有時我們會把它弄成還是 8x8 基本上和原矩陣⼀樣⼤ ⽽且我們通常 filter 會很多!
!116 神經元是這樣看的
!117 2 5 5 2 5 2 0 1 2
3 4 0 4 2 1 5 4 3 1 3 5 5 4 3 5 3 4 5 0 2 1 5 2 3 1 1 1 0 1 3 4 4 1 1 5 1 1 4 2 3 2 2 0 4 2 4 0 5 4 5 3 4 1 4 35 27 44 32 36 38 36 36 37 36 36 43 37 37 23 26 17 35 29 25 22 18 14 27 27 25 24 21 24 32 31 38 27 34 25 40 filter 圖⽚上的點是⼀個個輸 ⼊層神經元
!118 2 5 5 2 5 2 0 1 2
3 4 0 4 2 1 5 4 3 1 3 5 5 4 3 5 3 4 5 0 2 1 5 2 3 1 1 1 0 1 3 4 4 1 1 5 1 1 4 2 3 2 2 0 4 2 4 0 5 4 5 3 4 1 4 35 27 44 32 36 38 36 36 37 36 36 43 37 37 23 26 17 35 29 25 22 18 14 27 27 25 24 21 24 32 31 38 27 34 25 40 filter Conv 層也是⼀個個神經元
!119 2 5 5 2 5 2 0 1 2
3 4 0 4 2 1 5 4 3 1 3 5 5 4 3 5 3 4 5 0 2 1 5 2 3 1 1 1 0 1 3 4 4 1 1 5 1 1 4 2 3 2 2 0 4 2 4 0 5 4 5 3 4 1 4 35 27 44 32 36 38 36 36 37 36 36 43 37 37 23 26 17 35 29 25 22 18 14 27 27 25 24 21 24 32 31 38 27 34 25 40 filter 兩層中沒有完全相連 W=
!120 2 5 5 2 5 2 0 1 2
3 4 0 4 2 1 5 4 3 1 3 5 5 4 3 5 3 4 5 0 2 1 5 2 3 1 1 1 0 1 3 4 4 1 1 5 1 1 4 2 3 2 2 0 4 2 4 0 5 4 5 3 4 1 4 35 27 44 32 36 38 36 36 37 36 36 43 37 37 23 26 17 35 29 25 22 18 14 27 27 25 24 21 24 32 31 38 27 34 25 40 filter 再來 share 同樣的 weights W=
!121 35 27 44 32 36 38 36 36 37
36 36 43 37 37 23 26 17 35 29 25 22 18 14 27 27 25 24 21 24 32 31 38 27 34 25 40 最後就是⼀個 6x6 的矩陣 有時我們會把它弄成還是 8x8 基本上和原矩陣⼀樣⼤ ⽽且我們通常 filter 會很多!
!122 Max-Pooling Layer 2
!123 看我們要多⼤大區選⼀一個代表, 例例如 2x2 基本上就是「投票」
!124 35 27 44 32 36 38 36 36 37
36 36 43 37 37 23 26 17 35 29 25 22 18 14 27 27 25 24 21 24 32 31 38 27 34 25 40 36 44 43 37 26 35 38 34 40 每區投出最⼤的!!
!125 convolution, max-pooling, convolution, max-pooling… 可以不斷重覆
!126 做完再送到「正常的」神 經網路
!127 Recurrent Neural Network 「有記憶」的神經網路 RNN
!128 ሣػثਓ ⽬前的字 下⼀個字 f ( ) =
!129 f ⽬前的字 下⼀個字
!130 其實輸⼊不⼀定要⽂字, 是影 ⽚ (⼀張⼀張的圖) 也是可以 的! 輸出還是可以為⽂字, 最常 ⾒的⼤概是讓電腦說影⽚中發
⽣什麼事。
!131 翻譯。 Video Captioning ⽣成影⽚敘述。 ⽣成⼀段⽂字。 畫⼀半的圖完成它。 同樣型式的應⽤
!132 Andrej Karpathy ⽣出代數幾何介紹 "Stacks" 的⽂字 http://karpathy.github.io/2015/05/21/rnn- effectiveness/
!133 潘達洛斯: 唉,我想他應該過來接近⼀天 當⼩的⼩⿆變成從不吃的時候, 誰是他的死亡鏈條和⾂⺠, 我不應該睡覺。 第⼆位參議員: 他們遠離了我⼼中產⽣的這些苦難, 當我滅亡的時候,我應該埋葬和堅強 許多國家的地球和思想。
電腦仿的莎⼠⽐ 亞作品。
!134 字1 字2 回1 EOS 回1 回2 回k EOS 對話機器⼈
應⽤
!135 ⼀般的神經網路⼀筆輸⼊和下⼀筆是 沒有關係的...
!136 RNN 會偷偷把上⼀次的輸出也當這⼀ 次的輸⼊。
!137 很多⼈畫成這樣。
!138 Recurrent Neural Network (RNN) ht 1 = σ (w1
xt 1 + w2 xt 2 + w3 h3 t−1 + w4 h4 t−1 + b1 ) 會加入上⼀一次的 outputs 當這次的 inputs。
!139 注意 為了讓⼤家更容易瞭解, 我們會⽤較簡 單的圖⽰。請注意輸⼊都是個向量、會 有權重; 輸出都是純量。 xt = ⎡
⎢ ⎢ ⎢ ⎣ xt,1 xt,2 . . . xt,n ⎤ ⎥ ⎥ ⎥ ⎦ 可能⻑這樣
!140 注意 為了讓⼤家更容易瞭解, 我們會⽤較簡 單的圖⽰。請注意輸⼊都是個向量、會 有權重; 輸出都是純量。 實際輸⼊⻑這樣
!141 注意 為了讓⼤家更容易瞭解, 我們會⽤較簡 單的圖⽰。請注意輸⼊都是個向量、會 有權重; 輸出都是純量。 同理 h 也是這樣
!142 對同⼀層第 k 個 cell, 就⼀個輸出。 輸⼊可能是向量 。 第 k
號 RNN Cell
!143 真正連結的樣⼦, 注意 RNN Cell 會把記憶傳給同⼀層其 他 RNN Cells。
!144 標準 RNN ⼀個 Cell 的輸出
!145 LSTM GRU Long Short Term Memory Gated Recurrent Unit
事實上現在⼤家說到 RNN 是想到...
!146 LSTM Long Short Term Memory RNN 系的王牌救援
!147 編號 k 的 LSTM 多⼀個「cell 狀態」
!148 Gate 控制閥 重要概念
!149 輸出 0 到 1 間的⼀個數 sigmoid 只是決定「閥」要開多⼤
!150 LSTM 有三個 Gates
!151 忘記⾨ 輸⼊⾨ 輸出⾨
!152 插播 tanh sigmoid
!153 -1 1
!154 0 1 σ(x) = 1 1 + e−x
!155 編號 k 的 LSTM LSTM 再⼀次 多出來的 cell state
是屬於這個 cell 的 ⼀個 cell 的 output 還是會 和同⼀層分享
!156 「新的」狀態資訊
!157
!158 真要弄得那麼複雜? 要忘多少和要記多少難道不能⼀一起...
!159 GRU Gated Recurrent Unit LSTM 的簡化版
!160 雖然名稱有 gated 只留兩個 Gates
!161 記憶⾨ 重設⾨
!162 input 可不考慮從前
!163
!164 重點 RNN 的名字 現在說到 RNN, 其實包括原始 RNN, LSTM, GRU
等各種變形。 特別要叫原始的 RNN, 我們習慣叫它 Vanilla RNN, 在 Keras 中是 SimpleRNN。
3 設計思考, 創意解決問題 !165
!166 同理 定義 發想 原型 測試 Standford d.school ⾵的設計思考步驟 Empathize
Define Ideate Prototype Test
!167 我們的 model 很少第 ⼀次就成功。 —清華⼤學陳宜欣⽼師 “ ”
!168 孫瑄正、邢恒毅、劉亮緯、曾煜祐、李錦藤 MLB 球員全壘打數預測
!169 第 t-1 年 [Age, G, PA, AB, R, H,
2B, 3B, HR, RBI, SB, BB, SO, OPS+, TB] 15 個 features 第 t 年全壘打數 f
!170 運⽤ LSTM, 輸⼊ 10 年的資料猜下⼀年 只有⼀層 LSTM 層!
!171 不要猜精確數⽬, 猜區間即可! 分五段: 0-9, 10-19, 20-29, 30-39, 40+
!172 10-19 One-Hot encoding 0
1 0 0 0 ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ 0-9 10-19 20-29 30-39 40+
!173 Mike Trout (LAA) 預測 30-39 實際 33 Mookie Betts
(BOS) 預測 20-29 實際 24 Jose Altuve (HOU) 預測 20-29 實際 24 Kris Bryant (CHC) 預測 30-39 (第⼆⾼ 20-29) 實際 29 Daniel Murphy (WSH) 預測 20-29 實際 23 Corey Seager (LAD) 預測 20-29 實際 22 2017 預測結果 (今年 6 ⽉預測)
!174 超展開的問問題⽅式
!175 強化學習 ⽣成對抗模式 (GAN) VAE 膠囊 標準 NN CNN RNN
!176 ⽣成對抗網路 (Generative Adversarial Network) Yann LeCun 稱為最有潛⼒的 model GAN
!177 There are many interesting recent development in deep learning…
The most important one, in my opinion, is adversarial training (also called GAN for Generative Adversarial Networks). ” “ —Yan LeCun (楊⽴昆), 2016
!178 The GAN Zoo https://github.com/hindupuravinash/ the-gan-zoo
!179 ⽣成器 generator Noise 鑑別器 discriminator 真的 or 假的 GAN是兩個神經網路,⼀個⽣成、
⼀個判斷, 相互對抗! z x G D G(z)
!180 希望 接近 1 希望 接近 0 接近 1 ⽣成器
G 判斷器 D D, G ⼤對抗!
!181 朱俊彦等⼈ (ECCV 2016) “Generative Visual Manipulation on the Natural
Image Manifold” iGAN https://arxiv.org/abs/1609.03552
!182 ⼈⼈都是⼤畫家! https://youtu.be/9c4z6YsBGQ0
!183 Karras 等 NVIDIA 團隊 (ICLR 2018) “Progressive Growing of
GANs for Improved Quality, Stability, and Variation” Progressive GAN https://arxiv.org/abs/1710.10196
!184 Karras-Aila-Laine-Lehtinen NVIDIA 團隊最近很有名的⽂章 ⽤ Theano (不是快退出了), Python 2, 單
GPU Progressive Growing of GANs for Improved Quality, Stability, and Variation
!185 這攏係假ㄟ啦 (1024x1024 明星照)
!186 Isola, 朱俊彦等⼈ (CVPR 2017) “Image-to-Image Translation with Conditional Adversarial
Networks” Pix2Pix https://arxiv.org/abs/1611.07004
!187 * 來⾃ Isola, 朱俊彦等⼈的原始論⽂ (2017) Pix2pix 把衛星圖變地圖。
!188 * 來⾃ Isola, 朱俊彦等⼈的原始論⽂ (2017) Pix2pix 隨⼿畫畫變街景。
!189 * Christopher Hesse 依原論⽂做出 Pix2pix 線上版。 https://affinelayer.com/pixsrv/
!190 朱俊彦等⼈ (ICCV 2017) “Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial
Networks” CycleGAN https://arxiv.org/abs/1703.10593
!191 G ⽣成器 F ⽣成器 Domain A Domain B 鑑別器
B 鑑別器 A CycleGAN
!192 資料「不需要」配對! 於是有無限可能...
!193 全世界的⼈都驚呆了的⾺變斑⾺。 https://youtu.be/9reHvktowLY
!194 CycleGAN 作者⾃⼰提到的失敗例⼦。
!195 Goodfellow 也關注的變臉 (魏澤⼈⽼師)。 https://youtu.be/Fea4kZq0oFQ
!196 Reinforcement Learning AlphaGo 核⼼技術 強化學習
!197 Agent (電腦) 環境 動作 action 獎勵 reward r t
!198 我們以玩打磚塊為例
!199 π 左 1 Policy Based 右 or 狀態 動作
policy function
!200 通常直接學不容易...
!201 Q 評分 + 動作 2 Value Based (通常估計 reward)
Value function
!202 Netflix AlphaGo 紀錄⽚ (⼤推) 故事感⼈不輸電影, ⽽且都是真⼈。
!203 還有⼈⼈都在做的⾃動駕駛
!204 陳⾮霆 卷積深度 Q-學習之 ETF ⾃動交易系統
!205 選定⼀⽀ ETF 開始 20,000 美⾦ 經過⼀年 (最後⼿上還有 ETF 就全賣)
使⽤ reinforcement learning * ETF 資料由全球智能提供
!206 過去 20 天的資料 (20x6 的矩陣) f 1 2 3
4 5 買 20 單位 買 10 單位 不做交易 賣 10 單位 賣 20 單位 五種 actions
!207 CDQN 無腦法 CDQN 無腦法 ETF1 17.71% 10.89% ETF11 10.76%
5.26% ETF2 16.53% 12.6% ETF12 10.19% 13.17% ETF3 16.3% 0.35% ETF13 7.8% 1.42% ETF4 14.4% 13.25% ETF14 6.23% 3.56% ETF5 14.3% 12.7% ETF15 5.73% 4.61% ETF6 13.91% 13.37% ETF16 3.78% -12.76% ETF7 13.17% 10.52% ETF17 2.85% 5.83% ETF8 12.35% 17.07% ETF18 1.59% -4.45% ETF9 11.68% 10.81% ETF19 1.07% -18.09% ETF10 11.09% 8.14% ETF20 -0.59% -0.75% 交易結果 * 「無腦法」正確的名稱是「買⼊持有策略」
4 怎麼在⼤學 實現你的 AI 夢想 !208
!209 fb.me/nccumit 政⼤數理資訊學程 魔法程式家 FB 社團
!210 2018 年 4 ⽉
!211 政⼤學⻑姐的成果 政⼤數理資訊學程
!212 Deep Learning 讀書會獲教發中⼼ 「⾃主學習讀書⾏動⼩組」第⼀名
!213 政⼤專屬的⾵格轉移 陳先灝,吳柏寬,⿈梓育,林奕勳, 廖原豪,邢恆毅
!214 很少的訓練資料達成任務! 我們想⽤神經網路, ⽣出⼀個 字型中⽋缺的字。 舊字型 新字型 創造新字型 應⽤ f
( ) = * 莊喻能、⿈梓育 (政⼤應數) * 論⽂發表於國際研討會
!215 π GAN * ⽅宜晟、陳先灝、⻩平、林澤佑 (政⼤應數) * 科技部 AI 推動中⼼「GAN」⼤賽佳作
!216 科技部科技部AI 推動中⼼「GAN ⼤賽」
!217 GAN ⽣成器 Noise 判斷器 真的 or 假的 應⽤
!218 中⽂基本字的 encoding 中⽂約有 300 個基本字型 (感謝 justfont 專業指導) 我們想做這
300 字「適合的」標碼 之後⽤這 300 字可⽣所有字
!219 ⽤ VAE 做出 300 個字編碼
!220 ⿂ ⽷ ⽺ ⻘
!221 股價的預測 判斷有沒有感染某種病毒 ⽂⻘機器⼈ 智慧出貨控管 進⾏中⽅案