MPP & Amazon AI Service

Transcript

1. Data Science & AI 掌握資料科學、運用人工智慧 當經濟遇到AI：談MPP與Amazon AI Ryan Chung III Digital Education Institute 1
2. Data Science & AI 資策會 數位教育研究所 ² 最新科技進修 Ø 在職夜間假日進修 Ø 轉職全天養成班 ² 資訊技術充電站 Ø 國際技術趨勢 Ø 職場必備能力 Ø 基本資訊技能 http://taipei.iiiedu.org.tw/ 2
3. Data Science & AI Ryan Chung ² 主要教授科目 Ø 語音助理應用開發 Ø Chatbot應用開發 Ø Web / App 應用 ² 資策會數位教育研究所 Ø 課程經理 / 養成班導師 Ø 企業包班 / 政府專案經理 Ø 課程專任講師 /專題輔導 http://mobiledev.tw/ryan 3
4. Data Science & AI Microsoft Professional Program 4
5. Data Science & AI 微軟x資策會 資料科學認證課程 https://www.bnext.com.tw/article/44337/microsoft-team-up-with-iii-to-cultivate-data-scientist-in-taiwan 5
6. Data Science & AI 微軟 MPP 學程 6 https://academy.microsoft.com/en-us/professional-program/
7. Data Science & AI 即將上線 7
8. Data Science & AI Microsoft Professional Program Stages 微軟專業認證 學習階段 最終成就 應用技能 核心課程 基礎技能 基於基礎技能與核心課程 再將其從理論邁向實際的應用 針對該職業開始增強相關技術的訓練 以培養未來工作會需要的專業能力 將該領域相關的理論基礎 進行扎實地學習 最後必須通過該領域之模擬專案測試 檢驗是否具備職業技能 Fewer graduates, higher revenue, greater skills More graduates, lower revenue, baseline skills
9. Data Science & AI • 單獨課程 (學分)證書 (USD99) Certificate of MPP 證書 * 電子證書可顯示於學員的 LinkedIn 網站履歷
10. Data Science & AI MPP Results 自 2016/9 開始推動MPP： • 619,979+ 人次註冊課程 • 學生來自 189個國家 • 培育出 • 2,743+學員完成資料科學家學程 • 375+學員完成巨量資料學程 • 128+學員完成人工智慧學程 • 與世界名校合作，共同製作線上課程教材 (Updated：2018/9)
11. Data Science & AI Microsoft Professional Program Data Science • T-SQL • Excel • Power BI • Python • R • Azure Machine Learning • HDInsight • Spark Big Data • Azure Data Lake • Hadoop • HDInsight • Spark • Azure Data Factory • Azure Stream Analytics Front-end Web Development • HTML • CSS • JavaScript • Angular • jQuery • DevOps https://academy.microsoft.com 11
12. Data Science & AI 資料科學 -> 大數據 -> 人工智慧 1.依工作專業需求規劃 2.搭配 Hands-on lab 和實務專題 3.完成課程可加購數位認證(非必要) 4.擁抱開源，適用於不同平台的資料科學技能 https://technews.tw/2017/09/04/microsoft-tmu-ai-plan/ 12
13. Data Science & AI 微軟專業學程 - 資料科學 https://iiiedu.github.io/mpp/ds/ 13
14. Data Science & AI Data Science Track 14 開始 資料科學導 論 資料分析與視 覺化 Power BI Excel 資訊傳播 敘事分析 法規 法律與道德 資料查詢 T-SQL 開發 R語言 Python 數學與統計 R語言版 Python語言 版 Excel 資料研究 研究方法-R 語言版 研究方法 Python版 機器學習 R語言版 Python版 預測 Azure ML MS R Azure HDInsight 期末專案 整合練習
15. Data Science & AI 資料科學導論 DAT101x • 課程簡介 • Module1：修課說明以及資料科學家訪談 • Module2：資料分析導論 • Module3：統計學簡介 • Lab：使用Excel探索資料 15
16. Data Science & AI 資料科學家應具備的能力 • 統計學、數學 • 程式語言 –R、Python • 視覺化工具呈現與講解能力 –Power BI, Tableau, Qlik, Excel • 建模技術、彙整工具 –Azure machine learning, Spark 16 Source: 微軟MPP資料科學導論
17. Data Science & AI Excel 2016操作 17
18. Data Science & AI DataCamp 實作平台 (R/Python) https://campus.datacamp.com/courses/introduction-to-r-for-data-science-edx/ 18
19. Data Science & AI R語言練習 http://mobiledev.tw/languager/ 19
20. Data Science & AI Azure Machine Learning Studio 20 https://azure.microsoft.com/zh-tw/services/machine-learning-studio/
21. Data Science & AI Introduction to Python 1. Python語法基礎 – 了解基本語法、變數與型態 2. List 資料結構 – 建立與維護一個常見的Python List 3. 函數與套件 – 了解如何使用函數、匯入套件 4. Plotting with Matplotlib – 使用真實資料來繪製圖型 5. 流程控制與Pandas – 使用控制流程以及了解Pandas data frame 21
22. Data Science & AI 課程在哪裡 openedx.iiiedu.org.tw 22
23. Data Science & AI 裡面有什麼？ • 課程影片 • 階段性測驗 –選擇題、填充題 • 實作Lab –實作後回填結果 • 期末測驗 –限時測驗 23
24. Data Science & AI 第一次使用請先註冊 24 https://openedx.iiiedu.org.tw/register 設定密碼 – 超過 8 個字元 英文大寫 + 英文小寫 + 符號
25. Data Science & AI 如何取得每個科目的認證？ 1. 完成要求 – 試題、作業、問卷達到該課程標準(通常為 70%) 2. 購買序號 – 透過資策會-資訊技術訓練中心購買證照申請序號(不定期優惠) 3. 取得證書 – 回到課程網站，輸入序號，取得證書 25
26. Data Science & AI Data science 26
27. Data Science & AI 資料科學家 2012年哈佛商業評論 資料科學家：21世紀最性感的職業 2015人力資源點評網Glassdoor調查 工作生活兼具薪水又高，資料科學家榮登最夢幻工作 工作生活平衡度排名前 25 職業薪資對照表 （Source：Glassdoor） 「用資料解決真實問題的人」 27
28. Data Science & AI 生活工作平衡度前10名 - 2016  Corporate Recruiter ‚ UX Designer ƒ Data Scientist „ Strategy Manager … UI Designer † Recruiting Coordinator ‡ Technical Account Manager ˆ Mobile Developer ‰ DevOps Engineer Š Research Engineer https://www.glassdoor.com/blog/29-best-jobs-for-work-life-balance-2016/ 28
29. Data Science & AI 資料分析5 個關鍵職務 資料來源：104資訊科技 (image source:managertoday) 29
30. Data Science & AI Schutt R, O'Neil C (2014) 資料科學家做哪些事? 30
31. Data Science & AI 文字探勘流程 Data Source Data Storage Data Pre-processing Data Analysis • 使用爬蟲程式抓取想分析的資料 • 將取得的資料儲存於分散式檔案系統 • 使用元件: Solr • 將資料去除特殊符號以及不必要的URL • 使用元件: Spark、Pandas • 將資料做TFIDF計算每個字詞的權重 • 使用元件: Spark、Scikit-learn Data visualization • 將資料做分析並產出預測結果 • 使用元件: Tableau、文字雲服務 Data Processing • 將前處理後的字詞作分詞 • 使用元件: Jieba Source : 資策會系統所巨資中心 31
32. Data Science & AI GapMinder https://www.gapminder.org/tools/#_chart-type=bubbles 32
33. Data Science & AI 學員心得 – 任同學 33 • 增強了英文的聽讀能力 • 學會使用Excel、了解 Python程式語言 • 學會使用Azure Maching Learning Studio來做資料分析 • 對於資料科學的基礎概念有了整體的認識
34. Data Science & AI 學員心得 – 莊同學 34 • 線上課程彈性大，能夠不斷一直學下去，自己 掌握進度 • 蠻喜歡「資料科學導論」這一門課，在短時間 可以對資料科學建立概念 • 有理論、有示範、有實作，形式上很豐富 • 在課程中體驗了各國人不同的英文口音，也是 一種另類語言學習 • 學會用Excel做資料圖表，以前都沒有用過這些 功能
35. Data Science & AI 微軟專業學程-人工智慧 Microsoft Professional Program - AI Ryan@iii.org.tw 微軟認證學習夥伴 - 財團法人資訊工業策進會 35
36. Data Science & AI MPP - AI 36 https://academy.microsoft.com/en-us/professional-program/tracks/artificial-intelligence/
37. Data Science & AI MPP-AI 資策會入口 37 https://iiiedu.github.io/mpp/ai/
38. Data Science & AI I. 基礎 AI Fundamentals II. 核心 Core AI 38
39. Data Science & AI III. 應用 Applied AI (擇一) IV. 專案 Final Project Microsoft From Graph to Knowledge Graph - Algorithms, Theory and Applications 39
40. Data Science & AI Intro to AI – DAT263x • 機器學習 – 機器學習基礎 – Azure Machine Learning Studio使用 • 語言與溝通 – 文字處理 – 自然語言處理介紹 – 微軟LUIS語意分析服務 • 電腦視覺 – 影像處理入門 – 圖片與影片處理 • 對話式平台 – 聊天機器人入門 – 聊天機器人開發 40
41. Data Science & AI 微軟線上資源 AI School 41 https://aischool.microsoft.com/learning-paths
42. Data Science & AI Data Scientist -> AI Engineer • Data -> Answer -> System 蒐集 儲存 分析 呈現 訓練 測試 語意 自動 42
43. Data Science & AI AI 探討層級 應用 技術 架構 • 無人車 • 個人助理 • 金融科技 • 智慧家庭 • 電腦視覺 • 自然語言處理 • 深度學習 • 語音辨識 • 核心處理器 • 底層演算法 • 運算平台 Source : 中信證券研究部 43
44. Data Science & AI AI 相關能力培養 • AI 應用系統開發工程師 –瞭解如何將現有系統整合AI相關應用 –商品推薦、自動提醒、自動調節 –認知服務整合、雲端應用整合 • AI 客製化運算工程師 –了解演算法的運作，並能依情境修改 –改良既有解決方案、創造新型態AI應用 –演算法原理、調校與設計 44
45. Data Science & AI 微軟線上課程 – Intro to AI https://www.edx.org/course/introduction-artificial-intelligence-ai-microsoft-dat263x 45
46. Data Science & AI 哥倫比亞大學 AI線上學程 https://www.edx.org/course/artificial-intelligence-ai-columbiax-csmm-101x-1 46
47. Data Science & AI Coursera 機器學習線上課程 https://zh-tw.coursera.org/learn/machine-learning 47
48. Data Science & AI Udacity AI Nanodegree https://www.udacity.com/ai 48
49. Data Science & AI Intel Nervana AI Academy 49
50. Data Science & AI Nvidia Deep Learning Institute https://www.nvidia.com/en-us/deep-learning-ai/education/ 50
51. Data Science & AI 使用者通常拿語音助理來做什麼？ 51
52. Data Science & AI Microsoft Cognitive Service • Computer Vision API a man swimming in a pool of water 52
53. Data Science & AI IT 技術集大成 網站開發 APP開發 語音助理 Chatbot 資料科學 巨量資料 智慧系統 AI 人工 智慧 53
54. Data Science & AI 導入教室課程 • 取得超過400張微軟國際證照 養成班學員 • 結合教室課程說明，開設O2O混成班種 在職班學員 • 結合政府推動計畫，舉辦週末講座 桃園市民 • 結合公益計畫，在校園舉辦技術講座導入 大專院校 54
55. Data Science & AI 就業養成班 • 巨量資料、人工智慧班使用最多 55
56. Data Science & AI 在職進修班 • 結合在地專家經驗分享 56
57. Data Science & AI 桃園市府週末講座 • 全民學AI、資料科學 57
58. Data Science & AI 大學校園技術講座 • 未來之星 – 菁英培育 58
59. Data Science & AI Learning-as-a-Service (LaaS) Add-on Service Strategy • Instructor-Led training • Professional consultancy • Tech Workshop • Career Advice General AI Training Solution AI On-Line Curriculums Student AI Engineer 59
60. Data Science & AI 日本「無記者通訊社」用AI寫新聞 • 2008年成立，24名員工，平均30歲 –7成工程師、3成公關行銷人員 • AI蒐集社交網站上有可能成為新聞的內容 –經判斷之後，每秒最多可自動生產200則快訊 • 缺點：以訛傳訛 –曾經發生有人上載一張燒烤照片，貼文出現 「火災」的字眼，結果AI誤判成真正發生火災 http://www.limitlessiq.com/news/post/view/id/2451/ 60
61. Data Science & AI AI Lab – 記者快抄 • 2017年7月開始 • 以PTT為資料來源，將熱門文章轉換成新聞 http://news.ptt.cc/ 61
62. Data Science & AI 新世代的資訊人能力 • infographics、互動圖表 圖解力 • 資料分析工具、統計學 分析力 • 網路爬蟲、關鍵字通知、管道整合 情蒐力 • 判斷是否能引起共鳴、廣大迴響 同理力 • 將來源、分析、產出系統化 系統力 62
63. Data Science & AI AI 實務情境與解決方案 Microsoft AI 63
64. Data Science & AI Workplace Safety Demo 64
65. Data Science & AI 智慧化客戶服務系統 65
66. Data Science & AI 銷售量預測 66
67. Data Science & AI 顧客識別，提供客製化服務 67
68. Data Science & AI 同步翻譯，即時跨越語言隔閡 68
69. Data Science & AI 品質檢測，全自動辨識分類 69
70. Data Science & AI 物品檢索，快速查詢提供資訊 70
71. Data Science & AI 智慧門禁，全自動人臉辨識 71
72. Data Science & AI 詐欺預防，可疑交易提醒通報 72
73. Data Science & AI 預測維護，提前做好準備 73
74. Data Science & AI 無人商店，全自動購物時代 74
75. Data Science & AI Chatbot & Custom Vision AI Source : https://sijieand500words.com Service Integration 75
76. Data Science & AI AWS AI 76 https://aws.amazon.com/machine-learning/
77. Data Science & AI AWS AI 77 https://aws.amazon.com/machine-learning/ NEW NEW NEW
78. Data Science & AI AWS AI 78 https://aws.amazon.com/machine-learning/ NEW
79. Data Science & AI Amazon AI 應用服務 • 推薦系統 –Two Decades of Recommender Systems at Amazon.com • 語音助理 –Amazon Alexa • 無人商店 79 Source:The Verge
80. Data Science & AI Amazon Comprehend • 語言識別、關鍵資訊擷取、理解正面負面 https://aws.amazon.com/tw/comprehend/ 80
81. Data Science & AI Amazon Polly • 文字 -> 語音 • 接近真人語音 • 52種聲音、25國語言 • 速度快、準確度高 • 可重複播放使用 81
82. Data Science & AI SSML • say-as –一個字一個字念 • prosody –可調整速度、大小聲 • lang –可以穿插別國語言 https://developer.amazon.com/docs/custom-skills/speech-synthesis-markup-language-ssml-reference.html 82
83. Data Science & AI 使用案例 • This app allows you to easily convert any publicly available RSS content into audio Podcasts, so you can listen to your favorite blogs on mobile devices instead of reading them. https://github.com/aws-samples/amazon-polly-sample Source: meccanismocomplesso.org 83
84. Data Science & AI 模擬多人對談 84 https://developer.amazon.com/docs/custom-skills/speech-synthesis-markup-language-ssml-reference.html
85. Data Science & AI 微軟認知服務 https://azure.microsoft.com/zh-tw/services/cognitive-services/ 85
86. Data Science & AI 辨識服務 MS Cognitive Service • 辨識 – 可聰明地識別、標示及 控管圖片的影像處理演算法。 • 知識 – 對應複雜資訊和資料，以解決 智慧建議和語意搜尋等工作。 • 語言 – 讓您的應用程式能夠透過預先建置的指令碼處理自然語言、 評估情感，以及了 解如何辨識使用者想要的項目。 • 語音 – 將語音轉換成文字、使用語音來驗證，或將說話者 辨識新增至您的應用程式。 • 搜尋 – 將 Bing 搜尋 API 新增至您的應用程式，並充分利用 以單一 API 呼叫合併數十 億個網頁、影像、影片和新聞的能力。 86
87. Data Science & AI 影像識別：圖片網址 • 輸入圖片網址，可回傳圖片資訊 87
88. Data Science & AI 選取 Computer Vision API https://azure.microsoft.com/zh-tw/services/cognitive-services/computer-vision/ 88
89. Data Science & AI 同意條款並登入帳號 89
90. Data Science & AI 進入 Azure • 左下角 More services -> Cognitive Services https://portal.azure.com 90
91. Data Science & AI 建立服務 91
92. Data Science & AI 取得 API KEY 92
93. Data Science & AI 測試 • 下載範例 https://ppt.cc/fxtPvx • 填上API KEY，開始測試 93
94. Data Science & AI Custom Vision https://www.customvision.ai 94
95. Data Science & AI 建立專案 • New Project -> Add images • 標記Tag，至少5張照片 –In Classroom • 訓練 • Quick Test 95
96. Data Science & AI In Classroom 96
97. Data Science & AI Quick Test 97
98. Data Science & AI Face API https://azure.microsoft.com/zh-tw/services/cognitive-services/face/ 98
99. Data Science & AI 臉部驗證 • 檢查兩張臉部是屬於同一個人的可能性。API 會傳回信心分數，顯示兩張臉部是屬於同一個 人的可能性。 99
100. Data Science & AI Microsoft Case https://www.youtube.com/watch?v=AuXnVF_nFws 100
101. Data Science & AI 臉部偵測 • 偵測影像中的一或多張人臉，並取得影像臉部位置所在的臉部矩形 及臉部屬性，該屬性內含以機器學習為基礎的臉部特徵預測。可用 的臉部屬性功能 包括：年齡、表情、性別、姿勢、微笑及鬍子， 以及影像中每張臉部的 27 個地標。 101
102. Data Science & AI 其他服務 102
103. Data Science & AI 整合案例實作 Source: https://www.jiuwa.net 103
104. Data Science & AI 這是不是肯德基 • 語意分析 + 聊天機器人+ 認知服務 + 部署上線 DialogFlow • 意圖：判斷品牌 • 資料：品牌名稱 認知服務 Custom Vision Service • 圖片分類 MS Bot Framework Bot Channels Registration 104
105. Data Science & AI DialogFlow • Agent：tellKFCbot • 語言：zh-TW • Intent：Is it KFC 訓練例句 105
106. Data Science & AI Action and parameters 106
107. Data Science & AI Response 107
108. Data Science & AI Setting • V1 API 108
109. Data Science & AI 建立開發專案 • 專案資料夾：tellKFCBot • 主要程式：index.js • 終端機指令 npm init • package.json 在scripts中增加 "start":"node index.js", "debug":"node --inspect index.js" 109
110. Data Science & AI index.js 110
111. Data Science & AI index.js 111
112. Data Science & AI index.js 112
113. Data Science & AI index.js 113 https://ppt.cc/fpq6vx
114. Data Science & AI Custom Vision • Name：tell-KFC • Project Type：Classification • Domains：Food • Create Project https://www.customvision.ai/projects 114
115. Data Science & AI 上傳KFC照片，按下Train開始訓練 115
116. Data Science & AI Performance -> Prediction URL 116
117. Data Science & AI 套件安裝 • 終端機： npm-install-all index.js • 新增 .gitignore 檔案 –裡面寫：node_modules/ • Bot Framework版本 – 範例為v3 npm i -S butbuilder@3.15.0 117
118. Data Science & AI 部署至Heroku • 右上角 New -> Create new app • 設定App name：tell-kfc-bot • 區域：美國 • Create App 118
119. Data Science & AI Deploy using Heroku Git • 使用Heroku Git (Use Heroku CLI) • 下載與安裝 Heroku CLI • 終端機 heroku login cd my-project-dic git init heroku git:remote –a YourProjectNameHere https://devcenter.heroku.com/articles/heroku-command-line 是你在Heroku中的專案名稱哦！ 通常長得像 tell-kfc-bot-xxyyzz 119
120. Data Science & AI 開始部署上傳(每次更新步驟亦同) • git add . • git commit –am "make it better" • git push heroku master • heroku restart 雙引號這邊像是你的上傳筆記 在這裡寫上這次更新的內容 之後code更新時再加這一步 第一次不用 120
121. Data Science & AI 啟動網站 • heroku ps:scale web=1 非常非常關鍵的一步，一定要記得做 121
122. Data Science & AI 找到Heroku的網址 • Domains and certificates https://dashboard.heroku.com/apps/YourAppName/settings • 其實網址就是 https://YourAppName.herokuapp.com 122
123. Data Science & AI 使用Azure Bot頻道訂閱服務 • 進入 portal.azure.com • 上方搜尋Bot Channels Registration • Bot name：tellKFCBotMMDD • Pricing tier：F0 • Messaging endpoint：heroku網址/api/messages • Application Insights：Off • 點擊App ID and password – Create New – Create App ID in the App Registration Portal – 產生完後，記下來，貼回Azure與程式碼中 • Create 123
124. Data Science & AI 設定EndPoint • Settings -> 設定Messaging endpoint https://your-project-name.herokuapp.com/api/messages • 完成後按下上方Save 124
125. Data Science & AI Test in Web Chat • 在Azure雲端上的Web Chat進行測試 125
126. Data Science & AI 測試 126
127. Data Science & AI Channels • 依需求再開通哪些頻道可使用服務 127
128. Data Science & AI Recap for Developer • 新一代的開發者：Connector • 使用者介面、處理機制與雲端資源 • Node.js 在潮流中倍受重視 • 語音助理/Chatbot 設計的第一步是釐清目標 Source : https://sijieand500words.com 128
129. Data Science & AI Recap for All • 自然語言交談介面裝置將大舉進入你的生活 • 語言和文化密不可分，跨領域合作優化服務 • 多元化的後端服務與資料，將產生殺手級應用 129
130. Data Science & AI 相關資訊 • MPP 資料科學入口站 – https://iiiedu.github.io/mpp/ds/ • 資策會 MPP AI 入口 – https://iiiedu.github.io/mpp/ai/ • 資策會x微軟線上課程平台 – https://openedx.iiiedu.org.tw/ • 微軟MPP學程 – https://academy.microsoft.com • 微軟AI School – https://aischool.microsoft.com/learning-paths 130
131. Data Science & AI 敬請指教 Ryan Chung Senior Engineer III Digital Education Institute Ryan@iii.org.tw 131