Upgrade to Pro — share decks privately, control downloads, hide ads and more …

MPP & Amazon AI Service

Ryan Chung
January 03, 2019

MPP & Amazon AI Service

Ryan Chung

January 03, 2019
Tweet

More Decks by Ryan Chung

Other Decks in Education

Transcript

  1. Data Science & AI 資策會 數位教育研究所 ² 最新科技進修 Ø 在職夜間假日進修

    Ø 轉職全天養成班 ² 資訊技術充電站 Ø 國際技術趨勢 Ø 職場必備能力 Ø 基本資訊技能 http://taipei.iiiedu.org.tw/ 2
  2. Data Science & AI Ryan Chung ² 主要教授科目 Ø 語音助理應用開發

    Ø Chatbot應用開發 Ø Web / App 應用 ² 資策會數位教育研究所 Ø 課程經理 / 養成班導師 Ø 企業包班 / 政府專案經理 Ø 課程專任講師 /專題輔導 http://mobiledev.tw/ryan 3
  3. Data Science & AI Microsoft Professional Program Stages 微軟專業認證 學習階段

    最終成就 應用技能 核心課程 基礎技能 基於基礎技能與核心課程 再將其從理論邁向實際的應用 針對該職業開始增強相關技術的訓練 以培養未來工作會需要的專業能力 將該領域相關的理論基礎 進行扎實地學習 最後必須通過該領域之模擬專案測試 檢驗是否具備職業技能 Fewer graduates, higher revenue, greater skills More graduates, lower revenue, baseline skills
  4. Data Science & AI • 單獨課程 (學分)證書 (USD99) Certificate of

    MPP 證書 * 電子證書可顯示於學員的 LinkedIn 網站履歷
  5. Data Science & AI MPP Results 自 2016/9 開始推動MPP: •

    619,979+ 人次註冊課程 • 學生來自 189個國家 • 培育出 • 2,743+學員完成資料科學家學程 • 375+學員完成巨量資料學程 • 128+學員完成人工智慧學程 • 與世界名校合作,共同製作線上課程教材 (Updated:2018/9)
  6. Data Science & AI Microsoft Professional Program Data Science •

    T-SQL • Excel • Power BI • Python • R • Azure Machine Learning • HDInsight • Spark Big Data • Azure Data Lake • Hadoop • HDInsight • Spark • Azure Data Factory • Azure Stream Analytics Front-end Web Development • HTML • CSS • JavaScript • Angular • jQuery • DevOps https://academy.microsoft.com 11
  7. Data Science & AI 資料科學 -> 大數據 -> 人工智慧 1.依工作專業需求規劃

    2.搭配 Hands-on lab 和實務專題 3.完成課程可加購數位認證(非必要) 4.擁抱開源,適用於不同平台的資料科學技能 https://technews.tw/2017/09/04/microsoft-tmu-ai-plan/ 12
  8. Data Science & AI Data Science Track 14 開始 資料科學導

    論 資料分析與視 覺化 Power BI Excel 資訊傳播 敘事分析 法規 法律與道德 資料查詢 T-SQL 開發 R語言 Python 數學與統計 R語言版 Python語言 版 Excel 資料研究 研究方法-R 語言版 研究方法 Python版 機器學習 R語言版 Python版 預測 Azure ML MS R Azure HDInsight 期末專案 整合練習
  9. Data Science & AI 資料科學導論 DAT101x • 課程簡介 • Module1:修課說明以及資料科學家訪談

    • Module2:資料分析導論 • Module3:統計學簡介 • Lab:使用Excel探索資料 15
  10. Data Science & AI 資料科學家應具備的能力 • 統計學、數學 • 程式語言 –R、Python

    • 視覺化工具呈現與講解能力 –Power BI, Tableau, Qlik, Excel • 建模技術、彙整工具 –Azure machine learning, Spark 16 Source: 微軟MPP資料科學導論
  11. Data Science & AI Introduction to Python 1. Python語法基礎 –

    了解基本語法、變數與型態 2. List 資料結構 – 建立與維護一個常見的Python List 3. 函數與套件 – 了解如何使用函數、匯入套件 4. Plotting with Matplotlib – 使用真實資料來繪製圖型 5. 流程控制與Pandas – 使用控制流程以及了解Pandas data frame 21
  12. Data Science & AI 裡面有什麼? • 課程影片 • 階段性測驗 –選擇題、填充題

    • 實作Lab –實作後回填結果 • 期末測驗 –限時測驗 23
  13. Data Science & AI 如何取得每個科目的認證? 1. 完成要求 – 試題、作業、問卷達到該課程標準(通常為 70%)

    2. 購買序號 – 透過資策會-資訊技術訓練中心購買證照申請序號(不定期優惠) 3. 取得證書 – 回到課程網站,輸入序號,取得證書 25
  14. Data Science & AI 生活工作平衡度前10名 - 2016  Corporate Recruiter

    ‚ UX Designer ƒ Data Scientist „ Strategy Manager … UI Designer † Recruiting Coordinator ‡ Technical Account Manager ˆ Mobile Developer ‰ DevOps Engineer Š Research Engineer https://www.glassdoor.com/blog/29-best-jobs-for-work-life-balance-2016/ 28
  15. Data Science & AI 文字探勘流程 Data Source Data Storage Data

    Pre-processing Data Analysis • 使用爬蟲程式抓取想分析的資料 • 將取得的資料儲存於分散式檔案系統 • 使用元件: Solr • 將資料去除特殊符號以及不必要的URL • 使用元件: Spark、Pandas • 將資料做TFIDF計算每個字詞的權重 • 使用元件: Spark、Scikit-learn Data visualization • 將資料做分析並產出預測結果 • 使用元件: Tableau、文字雲服務 Data Processing • 將前處理後的字詞作分詞 • 使用元件: Jieba Source : 資策會系統所巨資中心 31
  16. Data Science & AI 學員心得 – 任同學 33 • 增強了英文的聽讀能力

    • 學會使用Excel、了解 Python程式語言 • 學會使用Azure Maching Learning Studio來做資料分析 • 對於資料科學的基礎概念有了整體的認識
  17. Data Science & AI 學員心得 – 莊同學 34 • 線上課程彈性大,能夠不斷一直學下去,自己

    掌握進度 • 蠻喜歡「資料科學導論」這一門課,在短時間 可以對資料科學建立概念 • 有理論、有示範、有實作,形式上很豐富 • 在課程中體驗了各國人不同的英文口音,也是 一種另類語言學習 • 學會用Excel做資料圖表,以前都沒有用過這些 功能
  18. Data Science & AI III. 應用 Applied AI (擇一) IV.

    專案 Final Project Microsoft From Graph to Knowledge Graph - Algorithms, Theory and Applications 39
  19. Data Science & AI Intro to AI – DAT263x •

    機器學習 – 機器學習基礎 – Azure Machine Learning Studio使用 • 語言與溝通 – 文字處理 – 自然語言處理介紹 – 微軟LUIS語意分析服務 • 電腦視覺 – 影像處理入門 – 圖片與影片處理 • 對話式平台 – 聊天機器人入門 – 聊天機器人開發 40
  20. Data Science & AI Data Scientist -> AI Engineer •

    Data -> Answer -> System 蒐集 儲存 分析 呈現 訓練 測試 語意 自動 42
  21. Data Science & AI AI 探討層級 應用 技術 架構 •

    無人車 • 個人助理 • 金融科技 • 智慧家庭 • 電腦視覺 • 自然語言處理 • 深度學習 • 語音辨識 • 核心處理器 • 底層演算法 • 運算平台 Source : 中信證券研究部 43
  22. Data Science & AI AI 相關能力培養 • AI 應用系統開發工程師 –瞭解如何將現有系統整合AI相關應用

    –商品推薦、自動提醒、自動調節 –認知服務整合、雲端應用整合 • AI 客製化運算工程師 –了解演算法的運作,並能依情境修改 –改良既有解決方案、創造新型態AI應用 –演算法原理、調校與設計 44
  23. Data Science & AI IT 技術集大成 網站開發 APP開發 語音助理 Chatbot

    資料科學 巨量資料 智慧系統 AI 人工 智慧 53
  24. Data Science & AI 導入教室課程 • 取得超過400張微軟國際證照 養成班學員 • 結合教室課程說明,開設O2O混成班種

    在職班學員 • 結合政府推動計畫,舉辦週末講座 桃園市民 • 結合公益計畫,在校園舉辦技術講座導入 大專院校 54
  25. Data Science & AI Learning-as-a-Service (LaaS) Add-on Service Strategy •

    Instructor-Led training • Professional consultancy • Tech Workshop • Career Advice General AI Training Solution AI On-Line Curriculums Student AI Engineer 59
  26. Data Science & AI 日本「無記者通訊社」用AI寫新聞 • 2008年成立,24名員工,平均30歲 –7成工程師、3成公關行銷人員 • AI蒐集社交網站上有可能成為新聞的內容

    –經判斷之後,每秒最多可自動生產200則快訊 • 缺點:以訛傳訛 –曾經發生有人上載一張燒烤照片,貼文出現 「火災」的字眼,結果AI誤判成真正發生火災 http://www.limitlessiq.com/news/post/view/id/2451/ 60
  27. Data Science & AI AI Lab – 記者快抄 • 2017年7月開始

    • 以PTT為資料來源,將熱門文章轉換成新聞 http://news.ptt.cc/ 61
  28. Data Science & AI 新世代的資訊人能力 • infographics、互動圖表 圖解力 • 資料分析工具、統計學

    分析力 • 網路爬蟲、關鍵字通知、管道整合 情蒐力 • 判斷是否能引起共鳴、廣大迴響 同理力 • 將來源、分析、產出系統化 系統力 62
  29. Data Science & AI Chatbot & Custom Vision AI Source

    : https://sijieand500words.com Service Integration 75
  30. Data Science & AI Amazon AI 應用服務 • 推薦系統 –Two

    Decades of Recommender Systems at Amazon.com • 語音助理 –Amazon Alexa • 無人商店 79 Source:The Verge
  31. Data Science & AI Amazon Polly • 文字 -> 語音

    • 接近真人語音 • 52種聲音、25國語言 • 速度快、準確度高 • 可重複播放使用 81
  32. Data Science & AI SSML • say-as –一個字一個字念 • prosody

    –可調整速度、大小聲 • lang –可以穿插別國語言 https://developer.amazon.com/docs/custom-skills/speech-synthesis-markup-language-ssml-reference.html 82
  33. Data Science & AI 使用案例 • This app allows you

    to easily convert any publicly available RSS content into audio Podcasts, so you can listen to your favorite blogs on mobile devices instead of reading them. https://github.com/aws-samples/amazon-polly-sample Source: meccanismocomplesso.org 83
  34. Data Science & AI 辨識服務 MS Cognitive Service • 辨識

    – 可聰明地識別、標示及 控管圖片的影像處理演算法。 • 知識 – 對應複雜資訊和資料,以解決 智慧建議和語意搜尋等工作。 • 語言 – 讓您的應用程式能夠透過預先建置的指令碼處理自然語言、 評估情感,以及了 解如何辨識使用者想要的項目。 • 語音 – 將語音轉換成文字、使用語音來驗證,或將說話者 辨識新增至您的應用程式。 • 搜尋 – 將 Bing 搜尋 API 新增至您的應用程式,並充分利用 以單一 API 呼叫合併數十 億個網頁、影像、影片和新聞的能力。 86
  35. Data Science & AI 進入 Azure • 左下角 More services

    -> Cognitive Services https://portal.azure.com 90
  36. Data Science & AI 建立專案 • New Project -> Add

    images • 標記Tag,至少5張照片 –In Classroom • 訓練 • Quick Test 95
  37. Data Science & AI 這是不是肯德基 • 語意分析 + 聊天機器人+ 認知服務

    + 部署上線 DialogFlow • 意圖:判斷品牌 • 資料:品牌名稱 認知服務 Custom Vision Service • 圖片分類 MS Bot Framework Bot Channels Registration 104
  38. Data Science & AI 建立開發專案 • 專案資料夾:tellKFCBot • 主要程式:index.js •

    終端機指令 npm init • package.json 在scripts中增加 "start":"node index.js", "debug":"node --inspect index.js" 109
  39. Data Science & AI Custom Vision • Name:tell-KFC • Project

    Type:Classification • Domains:Food • Create Project https://www.customvision.ai/projects 114
  40. Data Science & AI 套件安裝 • 終端機: npm-install-all index.js •

    新增 .gitignore 檔案 –裡面寫:node_modules/ • Bot Framework版本 – 範例為v3 npm i -S [email protected] 117
  41. Data Science & AI 部署至Heroku • 右上角 New -> Create

    new app • 設定App name:tell-kfc-bot • 區域:美國 • Create App 118
  42. Data Science & AI Deploy using Heroku Git • 使用Heroku

    Git (Use Heroku CLI) • 下載與安裝 Heroku CLI • 終端機 heroku login cd my-project-dic git init heroku git:remote –a YourProjectNameHere https://devcenter.heroku.com/articles/heroku-command-line 是你在Heroku中的專案名稱哦! 通常長得像 tell-kfc-bot-xxyyzz 119
  43. Data Science & AI 開始部署上傳(每次更新步驟亦同) • git add . •

    git commit –am "make it better" • git push heroku master • heroku restart 雙引號這邊像是你的上傳筆記 在這裡寫上這次更新的內容 之後code更新時再加這一步 第一次不用 120
  44. Data Science & AI 使用Azure Bot頻道訂閱服務 • 進入 portal.azure.com •

    上方搜尋Bot Channels Registration • Bot name:tellKFCBotMMDD • Pricing tier:F0 • Messaging endpoint:heroku網址/api/messages • Application Insights:Off • 點擊App ID and password – Create New – Create App ID in the App Registration Portal – 產生完後,記下來,貼回Azure與程式碼中 • Create 123
  45. Data Science & AI 設定EndPoint • Settings -> 設定Messaging endpoint

    https://your-project-name.herokuapp.com/api/messages • 完成後按下上方Save 124
  46. Data Science & AI Recap for Developer • 新一代的開發者:Connector •

    使用者介面、處理機制與雲端資源 • Node.js 在潮流中倍受重視 • 語音助理/Chatbot 設計的第一步是釐清目標 Source : https://sijieand500words.com 128
  47. Data Science & AI Recap for All • 自然語言交談介面裝置將大舉進入你的生活 •

    語言和文化密不可分,跨領域合作優化服務 • 多元化的後端服務與資料,將產生殺手級應用 129
  48. Data Science & AI 相關資訊 • MPP 資料科學入口站 – https://iiiedu.github.io/mpp/ds/

    • 資策會 MPP AI 入口 – https://iiiedu.github.io/mpp/ai/ • 資策會x微軟線上課程平台 – https://openedx.iiiedu.org.tw/ • 微軟MPP學程 – https://academy.microsoft.com • 微軟AI School – https://aischool.microsoft.com/learning-paths 130