AI Service Integration - Education

Transcript

1. AI in Classroom – Ryan@iii.org.tw Ryan@iii.org.tw 1
2. AI in Classroom – Ryan@iii.org.tw 養成班導師 / 課程總監 正工程師 Senior Engineer 專案經理 / 組長 課程講師 / 工程師 網站開發、APP開發 語音助理、Chatbot應用 AI服務整合 行動開發學院 APP開發養成班 AI養成班 Microsoft MPP 企業包班培訓 未來之星-菁英培訓 AIGO AI產業出題 新南向合作 國際出解題 Ryan Chung @ III ( Since 2005) Web 就業養成 企業轉型 國際落地 APP AI
3. AI in Classroom – Ryan@iii.org.tw AI產業出題徵集 / 培訓 / 演講 3 產業出題說明(台中市政府) 產業出題說明(太陽光電協會) 產業出題說明(資策會AI養成班) AI 聊天機器人開發(亞東醫院) AI在台灣教育應用現況(越南河內國家大學)
4. AI in Classroom – Ryan@iii.org.tw 4 資策會數位教育研究所 Invest talents , create future. 投資人才、創造未來 創新 – For pupils to experience learning differently than before. 提升 – For adults to learn better than before. 永續 – For elderly to learn as well as before. 讓中高齡者，跟以前一樣的學習。 讓在職者，學得比以前更好。 讓在學者，學以前沒學過的。
5. AI in Classroom – Ryan@iii.org.tw 5 資策會學員進入台灣頂尖百大企業 5
6. AI in Classroom – Ryan@iii.org.tw 6 全方位教育解決方案 6 我們的主場 引爆學習的力量 你是孩子的關鍵 學校 內容 上學 老師 尊重每個人都很特別 適性 從聰明到睿智 銀髮 留給準備好的你 工作 都想要加薪 你我 我來幫你一把 創業 捲起袖子一起來 社創 智慧校園科技 智慧學習教材 偏鄉教育 師資增能培訓 特殊教育學習 降低失業率 輔導青年創業 提高薪資 社會創新活動 樂齡教育 再遠也要跟你一起
7. AI in Classroom – Ryan@iii.org.tw 人工智慧 AI • Artificial Intelligence –也稱為MI (Machine Intelligence) –以智慧代理人(Intelligent Agent)形式呈現 –模擬人類進行學習、問題解決 –能夠感知環境的變化，以最可能達成目標的 方式，自動進行應變。 https://en.wikipedia.org/wiki/Artificial_intelligence 7
8. AI in Classroom – Ryan@iii.org.tw IT 技術集大成 網站開發 APP開發 語音助理 Chatbot 資料科學 巨量資料 智慧系統 AI 人工 智慧 8
9. AI in Classroom – Ryan@iii.org.tw Workplace Safety Demo 9 https://www.youtube.com/watch?v=pL-c00M2CnI
10. AI in Classroom – Ryan@iii.org.tw Gartner 2019 十大策略性技術趨勢  Autonomous Things 自動化生態 – 例:無人機巡視農場，通知無人耕耘機開始耕作  Augmented Analytics 擴增分析 – 運用機器學習與自然語意分析來輔助資料收集  AI-Driven Development AI導向式開發 – 2022年，至少40%以上的應用程式，會需要有人工智慧相關專家合作  Digital Twins  Empowered Edge  Immersive Experience  Blockchain  Smart Spaces  Digital Ethics and Privacy  Quantum Computing https://www.gartner.com/smarterwithgartner/gartner-top-10-strategic-technology-trends-for-2019/ 10
11. AI in Classroom – Ryan@iii.org.tw Gartner 2020 十大策略性技術趨勢  Hyper-automation 超自動化 – RPA(Robotic Process Automation)、iBMPS(Intelligent Business Management Software)  Multi-experience 多重體驗 – 例如達美樂結合自駕車、披薩追蹤器與智慧音箱來送餐點餐  Democratization 科技普及化 – 應用開發、資料分析、設計與知識，例如自動產生分析模型  Human augmentation 認知強化  Transparency and traceability  The empowered edge  The distributed cloud  Autonomous things  Practical blockchain  AI security https://www.gartner.com/smarterwithgartner/gartner-top-10-strategic-technology-trends-for-2020/ 11
12. AI in Classroom – Ryan@iii.org.tw 產業AI化調查 AI Adoption in the Enterprise 來源：O'Rreilly (2019/2) 整理：AIGO計畫辦公室 12
13. AI in Classroom – Ryan@iii.org.tw 調查重點方向 釐清 組織架構 了解 導入現況 13
14. AI in Classroom – Ryan@iii.org.tw 詢問重點 AI研發專案預算 使用哪些AI技術 有什麼樣的資料 導入後對公司的哪些業務有幫助 最大的阻礙是什麼 現有的技術門檻是什麼 是否會有風險 用哪些工具 14 Source:mycipc.com 調查時間：2018年11月中 調查份數：1300
15. AI in Classroom – Ryan@iii.org.tw 關鍵發現 15 81%的企業宣稱已在使用AI withmartijn.com
16. AI in Classroom – Ryan@iii.org.tw 關鍵發現 16 60%的企業僅會花費 少量IT預算在AI上。 60% 20% 20%的企業會花費 顯著IT預算在AI上 robertjsmithtx.com
17. AI in Classroom – Ryan@iii.org.tw 關鍵發現 17 企業中導入AI的障礙有 缺乏資料 缺乏人才 公司文化 缺乏前例
18. AI in Classroom – Ryan@iii.org.tw 關鍵發現 • 最多應用的領域有 18 客戶服務 工作流程 硬體設施 財務金融 運輸管理 廣告行銷 dlpng.com
19. AI in Classroom – Ryan@iii.org.tw AI導入程度自評 19 Level 2 成熟導入(27%) Level 1 測試階段(54%) Level 0 尚未開始(19%) 具影響力 已將AI導入正式產品 概念驗證 PoC 少量測試 研究、評估 尋找切入點 資通訊 金融 教育 醫療 媒體 公部門
20. AI in Classroom – Ryan@iii.org.tw AI方法使用排名  監督式學習 63%  深度學習 55%  Model-based 方法 48%  非監督式學習 41%  Active Learning 31%  Knowledge graph 28%  增強式學習 22%  Planning & Reasoning 16%  Transfer Learning 16%  Simulation platform & digital twins 14% 20
21. AI in Classroom – Ryan@iii.org.tw AI工具使用排名  TensorFlow 55%  Scikit-Learn 48%  Keras 34%  PyTorch 29%  Azure ML Studio 17%  Google Cloud ML 16%  Spark NLP 16%  Amazon SageMaker 12%  H2O 8%  spaCy / Prodigy 8% 21
22. AI in Classroom – Ryan@iii.org.tw Summary for AI Adoption Survey • 企業在導入AI過程中，仍有許多疑慮 – 責任歸屬 – 法規適用性 – 倫理與道德 – 模型是否透明且可解釋 – 變異性與公平性 – 可靠度與安全 • 多數企業認為，現階段AI導入時，風險管理比績效 管理更為重要 • 能夠清楚策畫出使用案例的專案經理，將是AI導入 過程中的靈魂人物 22
23. AI in Classroom – Ryan@iii.org.tw 產業AI化 • 健康檢查 • 預約看診 • 診間服務 • 用藥諮詢 • 居家照護 智慧CRM 重 直 產 業 領 域 水 平 共 通 領 域 影像辨識 自然語言 預測模型 醫 療 製 造 零 售 資 服 無人商店 工業4.0 + AIoT 異業結盟 • 圖片識別 • 人臉辨識 • 語意分析 • 語音助理 • 趨勢方向預測 • 數據分析預測 • 需求預測 • 智慧排程 • 意外偵測 • 瑕疵檢測 • 智慧監控 • 商品陳列 • 物流金流 • 消費行為 • 庫存管理 • 進出管理 • 系統整合 • 內部營運 • 外部服務 • 資料庫管理 • 疾病預測 • 語音客服 • 數據分析 • 智慧提醒 • 意外警示 • 供應鏈管理 • 生產製造 • 工業安全 • 品質管理 • 物流運輸 • 商品推薦 • 物流自動化 • 結帳商品識別 • 消費行為分析 • 叫貨預測 • 流程自動化 • 公文辨識 • 客服機器人 • 關聯分析 • 智慧門禁 10% 12% 10% 31%
24. AI in Classroom – Ryan@iii.org.tw 學習產業AI化 24 教材資料庫 題庫 教材設計 個人用戶 營運服務 通路 應用服務顧問 企業用戶 組織用戶 終端用戶 平台服務 行政管理 雲端數據 教學管理 技術服務 E化教學 師資培訓 教學設計 教學服務 內容教材 平板電腦 個人電腦 智慧型裝置 內容載具 電子白板 智慧終端 攝影機 投影機 教室建置 硬體設備 語音助理 Chatbot 巨量資料分析 教室氣氛分析 互動投影 雲端實作Lab 個人化學習 教學機器人 智慧學習 路徑預測 成效預警 市場預測
25. AI in Classroom – Ryan@iii.org.tw 依產業別看AI導入成熟度 金融 資通訊 導入程度 需 求 程 度 物流 能源 媒體 汽車 醫療
26. AI in Classroom – Ryan@iii.org.tw AI 成熟度階段 Source: Ovum
27. AI in Classroom – Ryan@iii.org.tw AIGO 109系列活動 AI技術門檻 產 業 需 求 程 度 難 易 高 低 挑戰賽 AI技術門檻高 產業需求程度高 創意賽 AI技術門檻低 產業需求程度高 學界專題合作 AI技術門檻高 產業需求程度低 解題賽 AI技術門檻中 產業需求程度高 http://aigo.org.tw/
28. AI in Classroom – Ryan@iii.org.tw Successful Case : Chest X-rays Classification Machine Learning Python Programming Domain Experts Data Labeling Cloud Computing GPU Resources Dataset NIH Chest X-rays 28
29. AI in Classroom – Ryan@iii.org.tw 電商案例：德國電商Otto • 分析交易資料，預測使用者一週後要買什麼 • 每個月自動從第三方選購20萬個商品 • 導入後，多餘庫存量減少五分之一 Source: AI全面來襲 天下雜誌特刊 29
30. AI in Classroom – Ryan@iii.org.tw AWS AI https://aws.amazon.com/machine-learning/ 30
31. AI in Classroom – Ryan@iii.org.tw AWS AI https://aws.amazon.com/machine-learning/ NEW NEW NEW 31
32. AI in Classroom – Ryan@iii.org.tw New AWS AI Services • Amazon Forecast – 與Amazon.com本身使用相同的技術架構。透過組合時間序列資料 以及附加的一些變數來建構預測分析。 • Amazon Personalize – 即時提供個人化推薦。只要提供由你的應用程式所產生的活動數據， 例如Page View, 註冊資訊, 購買記錄等等。然後再提供你想推薦的 內容，如文章、產品、影片或音樂等，Amazon Personalize會依 據你提供的資料產生模型。 • Amazon Textract – 從掃描文件中自動萃取出文字的服務。不只是文字，也能夠從表格 中取出數據的格式與資訊。 – 你可以加速文件處理流程，也能夠建立智慧搜尋索引，例如看到什 麼內容就自動簽核通過。 32
33. AI in Classroom – Ryan@iii.org.tw AWS AI https://aws.amazon.com/machine-learning/ NEW 33
34. AI in Classroom – Ryan@iii.org.tw Amazon AI 應用服務 • 推薦系統 –Two Decades of Recommender Systems at Amazon.com • 語音助理 –Amazon Alexa • 無人商店 –Amazon Go 34 Source:The Verge
35. AI in Classroom – Ryan@iii.org.tw Amazon Comprehend • 語言識別、關鍵資訊擷取、理解正面負面 https://aws.amazon.com/tw/comprehend/ 35
36. AI in Classroom – Ryan@iii.org.tw Amazon Polly • 文字 -> 語音 • 接近真人語音 • 52種聲音、25國語言 • 速度快、準確度高 • 可重複播放使用 36
37. AI in Classroom – Ryan@iii.org.tw SSML • say-as –一個字一個字念 • prosody –可調整速度、大小聲 • lang –可以穿插別國語言 https://developer.amazon.com/docs/custom-skills/speech-synthesis-markup-language-ssml-reference.html 37
38. AI in Classroom – Ryan@iii.org.tw 使用案例 • 將RSS訂閱內容轉換成廣播節目 • 在行動裝置上「聽」你所喜愛的部落格內容 https://github.com/aws-samples/amazon-polly-sample 38 Source: meccanismocomplesso.org
39. AI in Classroom – Ryan@iii.org.tw 模擬多人對談 39 https://developer.amazon.com/docs/custom-skills/speech-synthesis-markup-language-ssml-reference.html
40. AI in Classroom – Ryan@iii.org.tw 微軟認知服務 https://azure.microsoft.com/zh-tw/services/cognitive-services/ 40
41. AI in Classroom – Ryan@iii.org.tw 辨識服務 MS Cognitive Service • 辨識 – 可聰明地識別、標示及 控管圖片的影像處理演算法。 • 知識 – 對應複雜資訊和資料，以解決 智慧建議和語意搜尋等工作。 • 語言 – 讓您的應用程式能夠透過預先建置的指令碼處理自然語言、 評估情感，以及了 解如何辨識使用者想要的項目。 • 語音 – 將語音轉換成文字、使用語音來驗證，或將說話者 辨識新增至您的應用程式。 • 搜尋 – 將 Bing 搜尋 API 新增至您的應用程式，並充分利用 以單一 API 呼叫合併數十 億個網頁、影像、影片和新聞的能力。 41
42. AI in Classroom – Ryan@iii.org.tw 影像識別：圖片網址 • 輸入圖片網址，可回傳圖片資訊 42
43. AI in Classroom – Ryan@iii.org.tw 選取 Computer Vision API https://azure.microsoft.com/zh-tw/services/cognitive-services/computer-vision/ 43
44. AI in Classroom – Ryan@iii.org.tw 同意條款並登入帳號 44
45. AI in Classroom – Ryan@iii.org.tw 進入 Azure • 左下角 More services -> Cognitive Services https://portal.azure.com 45
46. AI in Classroom – Ryan@iii.org.tw 建立服務 46
47. AI in Classroom – Ryan@iii.org.tw 取得 API KEY 47
48. AI in Classroom – Ryan@iii.org.tw 測試 • 下載範例 • 填上API KEY，開始測試 48 https://github.com/ryan403/ImageRecognition
49. AI in Classroom – Ryan@iii.org.tw Custom Vision https://www.customvision.ai 49
50. AI in Classroom – Ryan@iii.org.tw 建立專案 • New Project -> Add images • 標記Tag，至少5張照片 –In Classroom • 訓練 • Quick Test 50
51. AI in Classroom – Ryan@iii.org.tw In Classroom 51
52. AI in Classroom – Ryan@iii.org.tw Quick Test 52
53. AI in Classroom – Ryan@iii.org.tw Custom Vision Document • Quickstarts -> Using the Python SDK • Reference -> Custom Vision Prediction API 53 https://docs.microsoft.com/en-us/azure/cognitive-services/custom-vision-service/home
54. AI in Classroom – Ryan@iii.org.tw Face API https://azure.microsoft.com/zh-tw/services/cognitive-services/face/ 54
55. AI in Classroom – Ryan@iii.org.tw 臉部驗證 • 檢查兩張臉部是屬於同一個人的可能性。API 會傳回信心分數，顯示兩張臉部是屬於同一個 人的可能性。 55
56. AI in Classroom – Ryan@iii.org.tw Microsoft Case – Baby Come Home https://www.youtube.com/watch?v=AuXnVF_nFws 56
57. AI in Classroom – Ryan@iii.org.tw 臉部偵測 • 偵測影像中的一或多張人臉，並取得影像臉部位置所在的臉部矩形 及臉部屬性，該屬性內含以機器學習為基礎的臉部特徵預測。可用 的臉部屬性功能 包括：年齡、表情、性別、姿勢、微笑及鬍子， 以及影像中每張臉部的 27 個地標。 57
58. AI in Classroom – Ryan@iii.org.tw 其他服務 58
59. AI in Classroom – Ryan@iii.org.tw Lab : 數人頭(Python) • 運用MS Face API，算出圖片中有幾個人 • 請先取得Face API Key • 請先安裝認知服務 pip install cognitive_face 59
60. AI in Classroom – Ryan@iii.org.tw 上傳作業服務 • 語意分析 + 聊天機器人+ 資料庫 + 部署上線 DialogFlow • 意圖：繳交作業 • 資料：學號、姓名、 作業 Google Drive • 資料儲存 MS Bot Framework Bot Channels Registration 60
61. AI in Classroom – Ryan@iii.org.tw Bot Framework Emulator 本地測試 61
62. AI in Classroom – Ryan@iii.org.tw Test in Web Chat • 在Azure雲端上的Web Chat進行測試 • 如果正常即部署成功！ • 並確認Google試算表上有出現資料 62
63. AI in Classroom – Ryan@iii.org.tw 查詢成績服務 • 語意分析 + 聊天機器人+ 資料庫 + 部署上線 DialogFlow • 意圖：查詢成績 • 資料：學號、姓名、 密碼 Google Drive • 資料讀取 MS Bot Framework Bot Channels Registration 63
64. AI in Classroom – Ryan@iii.org.tw 數人頭(Bot + 電腦視覺)
65. AI in Classroom – Ryan@iii.org.tw IIIEDU.ai Talent Development Solution Digital Education Institute Institute for Information Industry 65
66. AI in Classroom – Ryan@iii.org.tw Summary • AI技術 –電腦視覺、語意分析、語音處理、知識萃取 • 教學活動 –知識傳遞、學習過程監督、成果驗收 • AI於教學上的應用 –自動課堂筆記(語音 -> 文字 -> 重點) –即時課堂氣氛呈現(影像 -> 人臉 -> 情緒 -> 彙整) –知識多樣化呈現(不同的學生給予不同的呈現方式) –自動資訊補充(語音識別/圖像識別 -> 查詢資料) 66
67. AI in Classroom – Ryan@iii.org.tw 敬請指教 Ryan Chung Senior Engineer III Digital Education Institute Ryan@iii.org.tw 67