Upgrade to Pro — share decks privately, control downloads, hide ads and more …

MPP DS

Ryan Chung
October 05, 2018

MPP DS

MPP Data Science by Microsoft x III

Ryan Chung

October 05, 2018
Tweet

More Decks by Ryan Chung

Other Decks in Technology

Transcript

  1. MPP Data Science 資策會 數位教育研究所 ² 最新科技進修 Ø 在職夜間假日進修 Ø

    轉職全天養成班 ² 資訊技術充電站 Ø 國際技術趨勢 Ø 職場必備能力 Ø 基本資訊技能 http://taipei.iiiedu.org.tw/ 2
  2. MPP Data Science Ryan Chung ² 主要教授科目 Ø 語音助理應用開發 Ø

    Chatbot應用開發 Ø Web / App 應用 ² 資策會數位教育研究所 Ø 課程經理 / 養成班導師 Ø 企業包班 / 政府專案經理 Ø 課程專任講師 /專題輔導 http://mobiledev.tw/ryan 3
  3. MPP Data Science Microsoft Professional Program Data Science • T-SQL

    • Excel • Power BI • Python • R • Azure Machine Learning • HDInsight • Spark Big Data • Azure Data Lake • Hadoop • HDInsight • Spark • Azure Data Factory • Azure Stream Analytics Front-end Web Development • HTML • CSS • JavaScript • Angular • jQuery • DevOps https://academy.microsoft.com 6
  4. MPP Data Science 資料科學 -> 大數據 -> 人工智慧 1.依工作專業需求規劃 2.搭配

    Hands-on lab 和實務專題 3.完成課程可加購數位認證(非必要) 4.擁抱開源,適用於不同平台的資料科學技能 https://technews.tw/2017/09/04/microsoft-tmu-ai-plan/ 7
  5. MPP Data Science Data Science Track 開始 資料科學導 論 資料分析與視

    覺化 Power BI Excel 資訊傳播 敘事分析 法規 法律與道德 資料查詢 T-SQL 開發 R語言 Python 數學與統計 R語言版 Python語言 版 Excel 資料研究 研究方法-R 語言版 研究方法 Python版 機器學習 R語言版 Python版 預測 Azure ML MS R Azure HDInsight 期末專案 整合練習 10
  6. MPP Data Science 專家認為應具備的能力 • 統計學、數學 • 程式語言 –R、Python •

    視覺化工具呈現與講解能力 –Power BI, Tableau, Qlik, Excel • 建模技術、彙整工具 –Azure machine learning, Spark 11
  7. MPP Data Science Introduction to Python 1. Python語法基礎 – 了解基本語法、變數與型態

    2. List 資料結構 – 建立與維護一個常見的Python List 3. 函數與套件 – 了解如何使用函數、匯入套件 4. Plotting with Matplotlib – 使用真實資料來繪製圖型 5. 流程控制與Pandas – 使用控制流程以及了解Pandas data frame 14
  8. MPP Data Science 裡面有什麼? • 課程影片 • 階段性測驗 –選擇題、填充題 •

    實作Lab –實作後回填結果 • 期末測驗 –限時測驗 16
  9. MPP Data Science 如何取得每個科目的認證? 1. 完成要求 – 試題、作業、問卷達到該課程標準(通常為 70%) 2.

    購買序號 – 透過資策會-資訊技術訓練中心購買證照申請序號(不定期優惠) 3. 取得證書 – 回到課程網站,輸入序號,取得證書 18
  10. MPP Data Science 生活工作平衡度前10名 - 2016  Corporate Recruiter ‚

    UX Designer ƒ Data Scientist „ Strategy Manager … UI Designer † Recruiting Coordinator ‡ Technical Account Manager ˆ Mobile Developer ‰ DevOps Engineer Š Research Engineer https://www.glassdoor.com/blog/29-best-jobs-for-work-life-balance-2016/ 21
  11. MPP Data Science 文字探勘流程 Data Source Data Storage Data Pre-processing

    Data Analysis · 使用爬蟲程式抓取想分析的資料 · 將取得的資料儲存於分散式檔案系統 · 使用元件: Solr · 將資料去除特殊符號以及不必要的URL · 使用元件: Spark、Pandas · 將資料做TFIDF計算每個字詞的權重 · 使用元件: Spark、Scikit-learn Data visualization · 將資料做分析並產出預測結果 · 使用元件: Tableau、文字雲服務 Data Processing · 將前處理後的字詞作分詞 · 使用元件: Jieba Source : 資策會系統所巨資中心 24
  12. MPP Data Science Data Scientist -> AI Engineer • Data

    -> Answer -> System 蒐集 儲存 分析 呈現 訓練 測試 語意 自動 26
  13. MPP Data Science AI 探討層級 應用 技術 架構 • 無人車

    • 個人助理 • 金融科技 • 智慧家庭 • 電腦視覺 • 自然語言處理 • 深度學習 • 語音辨識 • 核心處理器 • 底層演算法 • 運算平台 Source : 中信證券研究部 27
  14. MPP Data Science AI 相關能力培養 • AI 應用系統開發工程師 –瞭解如何將現有系統整合AI相關應用 –商品推薦、自動提醒、自動調節

    –認知服務整合、雲端應用整合 • AI 客製化運算工程師 –了解演算法的運作,並能依情境修改 –改良既有解決方案、創造新型態AI應用 –演算法原理、調校與設計 28
  15. MPP Data Science 日本「無記者通訊社」用AI寫新聞 • 2008年成立,24名員工,平均30歲 –7成工程師、3成公關行銷人員 • AI蒐集社交網站上有可能成為新聞的內容 –經判斷之後,每秒最多可自動生產200則快訊

    • 缺點:以訛傳訛 –曾經發生有人上載一張燒烤照片,貼文出現 「火災」的字眼,結果AI誤判成真正發生火災 http://www.limitlessiq.com/news/post/view/id/2451/ 37
  16. MPP Data Science AI Lab – 記者快抄 • 2017年7月開始 •

    以PTT為資料來源,將熱門文章轉換成新聞 http://news.ptt.cc/ 38
  17. MPP Data Science 新世代的資訊人能力 • infographics、互動圖表 圖解力 • 資料分析工具、統計學 分析力

    • 網路爬蟲、關鍵字通知、管道整合 情蒐力 • 判斷是否能引起共鳴、廣大迴響 同理力 • 將來源、分析、產出系統化 系統力 39
  18. MPP Data Science 相關資訊 • MPP 資料科學入口站 – https://iiiedu.github.io/mpp/ds/ •

    微軟x資策會 - 資料科學家線上學習 – https://openedx.iiiedu.org.tw • FB社團 – 大學生的資訊充電站 – https://www.facebook.com/groups/846979765403349/ • FB粉絲團 – 行動開發學院 – https://www.facebook.com/mobiledev.tw/ 40