AI ⼯工具⼿手把⼿手⼯工作坊 Hands on AI Tools Fukuball Lin @ NCCU 數位⾦金金融應⽤用實務

關於我 Fukuball / 林林志傑 Fukuball Lin @ NCCU 數位⾦金金融應⽤用實 簡介 幕僚僚⼯工程師

AI 與 ML • AI: Artificial Intelligence • Strong AI: 希望電腦能夠擁有智慧 • Weak AI: 希望電腦能夠展現出有智慧的 ⾏行行為 • ML: Machine Learning • 實踐 AI 的⼀一種⽅方法 Fukuball Lin @ NCCU 數位⾦金金融應⽤用實 AI ML 簡介

ML ≈ 找⼀一個 Function • 語⾳音辨識 • ƒ( ) = “你好嗎” • 圖像辨識 • ƒ( ) = “Cat” • 下圍棋 • ƒ( ) = “5-5” (下⼀一步) • 風險等級預測 • ƒ( stock data ) = “A” Fukuball Lin @ NCCU 數位⾦金金融應⽤用實 簡介

ML 基本架構 Fukuball Lin @ NCCU 數位⾦金金融應⽤用實 簡介 A set of function Training Data Goodness of function f Model Step 1 Step 2 Step 3 f 1 , f 2 … Training Testing Using ƒ* Pick the “Best” function ƒ* “Cat” “Cat” “Dog” “Monkey”

ML 類型 • 監督式學習（有 label） • 分類 ƒ( ) = “Cat” • 迴歸 ƒ( ) = “股票指數” • 非監督式學習（無 label） • 分群 ƒ( ) = “⽂文章主題” Fukuball Lin @ NCCU 數位⾦金金融應⽤用實 簡介

學海海無涯，⼀一⼤大堆 ML 演算法 簡介 Fukuball Lin @ NCCU 數位⾦金金融應⽤用實

各種 ML 演算法在處理理不同問題 上各有優劣 喬巴的七變化 簡介 Fukuball Lin @ NCCU 數位⾦金金融應⽤用實

跟著喬巴動⼿手做 Fukuball Lin @ NCCU 數位⾦金金融應⽤用實 動⼿手做

今天會使⽤用到的 ML ⼯工具 • Numpy：矩陣運算函式庫 • Scikit-learn：機器學習函式庫 • Pandas：資料處理理函式庫 • Jieba：中⽂文斷詞函式庫 • Jupyter Notebook：編譯器環境 Fukuball Lin @ NCCU 數位⾦金金融應⽤用實 動⼿手做

範例例程式碼 • 全部檔案位址 - https://github.com/fukuball/ Hands-on-AI-Tools Fukuball Lin @ NCCU 數位⾦金金融應⽤用實 動⼿手做

惡惡性腫瘤分類問題 Fukuball Lin @ NCCU 數位⾦金金融應⽤用實 ⼆二元分類 頭腦強化！

惡惡性腫瘤診斷 • ⼆二元分類問題：良 性、惡惡性 • 在空間中找⼀一條線 （超平⾯面）將資料 點分開來來 Fukuball Lin @ NCCU 數位⾦金金融應⽤用實 ⼆二元分類

惡惡性腫瘤診斷 • 練習使⽤用 Logistic Regression Classifier 及 Stochastic Gradient Descent Classifier 來來解 ⼆二元分類問題 • 實作範例例：https:// github.com/fukuball/ Hands-on-AI-Tools/blob/ master/Chapter1-1.ipynb Fukuball Lin @ NCCU 數位⾦金金融應⽤用實 ⼆二元分類

⼿手寫數字分類問題 Fukuball Lin @ NCCU 數位⾦金金融應⽤用實 多元分類 重量量強化！

⼿手寫數字辨識 • 多元分類問題： 0、1、2、3、4、 5、6、7、8、9 • 在空間中找⼀一條線 （超平⾯面）將資料 點分開來來 Fukuball Lin @ NCCU 數位⾦金金融應⽤用實 多元分類

⼿手寫數字辨識 • 練習使⽤用 Support Vector Machine Classifier 來來解多元分類 問題。 • 實作範例例：https:// github.com/fukuball/ Hands-on-AI-Tools/blob/ master/ Chapter1-2.ipynb Fukuball Lin @ NCCU 數位⾦金金融應⽤用實 多元分類

美國波⼠士頓房價問題 Fukuball Lin @ NCCU 數位⾦金金融應⽤用實 迴歸 ⾓角⼒力力強化！

美國波⼠士頓房價預測 • 預測房價，需要回 傳⼀一個實數值，這 就是迴歸問題 • 在空間中找⼀一條線 （超平⾯面）與資料 點差距最⼩小 Fukuball Lin @ NCCU 數位⾦金金融應⽤用實 迴歸

Fukuball Lin @ NCCU 數位⾦金金融應⽤用實 • 練習使⽤用 Linear Regression、 Stochastic Gradient Descent Regression 來來解迴歸問題。 • 實作範例例：https://github.com/ fukuball/Hands-on-AI-Tools/blob/ master/Chapter2-1.ipynb 迴歸 美國波⼠士頓房價預測

Fukuball Lin @ NCCU 數位⾦金金融應⽤用實 • 練習使⽤用不同核函數的 Support Vector Machine Regression 來來解迴歸問 題。 • 實作範例例：https:// github.com/fukuball/ Hands-on-AI-Tools/blob/ master/Chapter2-2.ipynb 迴歸 美國波⼠士頓房價預測

Fukuball Lin @ NCCU 數位⾦金金融應⽤用實 驗證 Cross Validation • 挑選模型使⽤用 Cross Validation 較客 觀

無標籤資料問題 Fukuball Lin @ NCCU 數位⾦金金融應⽤用實 分群 ⽑毛⽪皮強化！

無標籤資料預測 • 無標籤、非監督式學習，這是分群 問題 • 從特徵去學習資料的異異同 Fukuball Lin @ NCCU 數位⾦金金融應⽤用實 觀察 分群 分群

Fukuball Lin @ NCCU 數位⾦金金融應⽤用實 • 使⽤用 K-Means 來來解分群問題。 • 實作範例例：https://github.com/ fukuball/Hands-on-AI-Tools/blob/ master/Chapter3-1.ipynb ⼿手寫數字分群 分群

⾃自然語⾔言處理理 Fukuball Lin @ NCCU 數位⾦金金融應⽤用實 NLP 腕⼒力力強化！

中⽂文斷詞 ⾃自然語⾔言處理理 • ⾃自然語⾔言：句句⼦子、⽂文章 • 句句⼦子與⽂文章的特徵：⽤用字遣詞，最 ⼩小有意義的單位 • 因此⾃自然語⾔言處理理的第⼀一步就是斷 詞 Fukuball Lin @ NCCU 數位⾦金金融應⽤用實 NLP

中⽂文斷詞 中⽂文斷詞是什什麼？ • 讓電腦把詞彙以「意義」為單位切割出來來 • 例例如：塵世中⼀一個迷途⼩小書僮 • X 塵 / 世 / 中 / ⼀一 / 個 / 迷 / 途 / ⼩小 / 書 / 僮 • O 塵世 / 中 / ⼀一個 / 迷途 / ⼩小 / 書僮 Fukuball Lin @ NCCU 數位⾦金金融應⽤用實

中⽂文斷詞 中⽂文斷詞與英⽂文斷詞不同 • 我們在野⽣生動物園玩 vs We play at the wildlife park • We / play / at / the / wildlife / park • 我們 / 在野 / ⽣生動 / 物 / 園 / 玩 or 我們 / 在 / 野⽣生 / 動物園 / 玩 Fukuball Lin @ NCCU 數位⾦金金融應⽤用實

中⽂文斷詞：⾸首選 喬巴 Jieba Fukuball Lin @ NCCU 數位⾦金金融應⽤用實

Fukuball Lin @ NCCU 數位⾦金金融應⽤用實 • 使⽤用 Jieba 來來處理理中⽂文斷詞。 • 實作範例例：https://github.com/ fukuball/Hands-on-AI-Tools/blob/ master/Chapter4-1.ipynb Jieba 中⽂文斷詞實做 中⽂文斷詞

NLP 應⽤用範例例：中⽂文歌詞相似推薦 潛在語意分析 Fukuball Lin @ NCCU 數位⾦金金融應⽤用實 NLP 暴暴走！

、 LSA 潛在語意分析(1) LSA Fukuball Lin @ NCCU 數位⾦金金融應⽤用實

LSA 潛在語意分析(2) 、 LSA 降維 SVD 分解 表⽰示歌詞如何⽤用兩兩種Topic來來呈現，可明顯看出有兩兩類歌詞 原本要⽤用12個詞來來描述歌詞，現在只要⽤用兩兩個Topic就可以描述 row 1 有關愛情的字詞值都較⾼高，所以Topic1應代表愛情 row 2 有關夢想的字詞值都較⾼高，所以Topic2應代表夢想 無法完整呈現歌詞情意 LSA Fukuball Lin @ NCCU 數位⾦金金融應⽤用實

LSA 潛在語意分析(3) 、 風景 世界 巧克⼒力力 甜美 愛情 快樂 滋味 咖哩 理理想 夢想 陽光 ⾶飛翔 能夠完整呈現歌詞情意 c1 c2 c3 c4 c5 m1 m2 m3 m4 LSA 使⽤用 Cosin Similarity 可以算出相似⽂文章 Fukuball Lin @ NCCU 數位⾦金金融應⽤用實

Fukuball Lin @ NCCU 數位⾦金金融應⽤用實 • 練習使⽤用 gensim 來來處理理 LSA 潛在 語意分析 • 實作範例例：https://github.com/ fukuball/Hands-on-AI-Tools/blob/ master/Chapter4-2.ipynb 中⽂文歌詞相似推薦系統實做 LSA

中⽂文歌詞相似推薦系統 (1) • Step 1：中⽂文斷詞，集合成資料集 • Step 2：去掉停⽤用字 • Step 3：將每⾸首歌詞轉成向量量表⽰示(doc2vec) • Step 4：LSA 算法降維 • Step 5：使⽤用降維後的向量量計算 cosin similarity • 這邊使⽤用了了 gensim 套件處理理步驟 2-5，但全部⾃自幹也 不算太難 、 實際應⽤用 Fukuball Lin @ NCCU 數位⾦金金融應⽤用實

中⽂文歌詞相似推薦系統 (3) 、 實際應⽤用 • 輸入：楊培安 我的驕傲 歌詞 • 輸出： • 楊培安 我的驕傲 • 五⽉月天 倔強 • 張雨⽣生 我的未來來不是夢 • 五⽉月天 憨⼈人 • 五⽉月天 ⼀一顆蘋果 Fukuball Lin @ NCCU 數位⾦金金融應⽤用實

中⽂文歌詞相似推薦系統 (4) 、 實際應⽤用 《 我的驕傲》節錄 沒有⼭山不能跨越 沒有海海不能冒險 讓歷史記得這⼀一天 當我⽤用⼼心立下諾⾔言 沒有事不能改變 沒有夢不能實現 我站在未來來最前線 抬頭迎接每個考驗 海海闊天空是我的地圖 想寫下全新紀錄 放眼天下在等我去征服 ⽤用熱⾎血燃燒⿊黑夜 等待最燦爛的⽇日出 看陽光與我賽跑 風雨和我狂飆 我的驕傲⾃自⼰己打造 每個夢 永遠比天⾼高 ⼀一顆⼼心 為希望在跳躍 讓世界為我歡呼 ⼤大地為我炫耀 我的驕傲你會看到 汗和淚淚痛苦的煎熬 在這⼀一刻都是我光榮的記號 《 倔強》節錄 最美的願望　⼀一定最瘋狂 我就是我⾃自⼰己的神　在我活的地⽅方 我和我最後的倔強　握緊雙⼿手絕對不放 下⼀一站是不是天堂　就算失望不能絕望 我和我驕傲的倔強　我在風中⼤大聲的唱 這⼀一次為⾃自⼰己瘋狂　就這⼀一次　我和我的倔強 逆風的⽅方向　更更適合⾶飛翔 我不怕千萬⼈人阻擋　只怕⾃自⼰己投降 我和我最後的倔強　握緊雙⼿手絕對不放 下⼀一站是不是天堂　就算失望不能絕望 我和我驕傲的倔強　我在風中⼤大聲的唱 這⼀一次為⾃自⼰己瘋狂　就這⼀一次　我和我的倔強 Fukuball Lin @ NCCU 數位⾦金金融應⽤用實

中⽂文歌詞相似推薦系統 (5) 、 實際應⽤用 • 輸入：周杰倫倫 安靜 歌詞 • 輸出： • 周杰倫倫 安靜 • 黃品源 那麼愛你為什什麼 • 孫燕姿 我不難過 • 陳奕迅 婚禮的祝福 • 周杰倫倫 斷了了的弦 Fukuball Lin @ NCCU 數位⾦金金融應⽤用實

Q & A Find Me Twitter @fukuball Github @fukuball Facebook @fukuball Fukuball Lin @ NCCU 數位⾦金金融應⽤用實務