SKL data analysis internship lecture 1

Internal intern training for SKL.
Topic: python introduction & data visualization

Transcript

1. Python Introduction & Data Visualization Lecture 1 2020/3/10(⼆) 數位資訊部數據分析課 Adam Chang 1
2. 張祐誠 Experience 新光⼈壽 - 資料⼯程師 台灣⼈⼯智慧學校 - 第⼆期技術⼈班 聚陽實業 - 海外系統專案專員、機械⼯程師 Job Description 資料分析、後端API串接 ⾃然語⾔處理與機器視覺應⽤開發 GPU伺服器管理 偶爾客串⼀下內部教育訓練 2
3. My Lectures and Topics 3 課程序 課程主題 Lecture 1 Python Introduction & Data Visualization Lecture 4 Pytorch Introduction
4. 4 使⽤Python⼈數排名前三的國家是？ ⼩組活動
5. 使⽤Python的國家分佈 5 Source: https://www.jetbrains.com/lp/devecosystem-2019/python/
6. Table of Contents 6 Python introduction Data science introduction Common applications Popular framework Other things in python Data visualization
7. WHY PYTHON? 7
8. 在2019年排名第三的語⾔ 8 Source: https://www.tiobe.com/tiobe-index/
9. 使⽤Python的職務 9 Source: https://www.jetbrains.com/lp/devecosystem-2019/python/
10. 使⽤Python的公司規模 10 Source: https://www.jetbrains.com/lp/devecosystem-2019/python/
11. 使⽤Python的產業 11 Source: https://www.jetbrains.com/lp/devecosystem-2019/python/
12. 常⾒的Python編譯器 12 Source: https://www.jetbrains.com/lp/devecosystem-2019/python/
13. PYTHON 的應⽤有什麼？ ⼩組活動 13
14. Python 常⾒的應⽤ 14 Source: https://www.jetbrains.com/lp/devecosystem-2019/python/
15. Data Analysis 15 https://dash-gallery.plotly.host/dash-oil-gas-ternary/
16. Data Analysis 16 https://dash-gallery.plotly.host/dash-oil-gas-ternary/
17. 常⽤的資料分析套件 17 Source: https://www.jetbrains.com/lp/devecosystem-2019/python/
18. Web Development 18 Source: https://www.djangoproject.com
19. Web Development 19
20. 常⽤的Web Frameworks 20 Source: https://www.jetbrains.com/lp/devecosystem-2019/python/
21. Machine Learning 21 Source: https://weather.com/weather/today/l/25.05,121.46?par=google&temp=c Source: https://tw.stock.yahoo.com
22. Machine Learning 22
23. Automation Scripts 23 https://pyautogui.readthedocs.io/en/latest/
24. Web Crawler 24
25. Desktop Development 25 https://docs.python.org/3/library/tkinter.html
26. Mobile App 26 https://kivy.org/#home
27. Mobile App 27
28. 其他⼤家常⽤的套件 28 Source: https://www.jetbrains.com/lp/devecosystem-2019/python/
29. 資料科學？ 29
30. 資料科學 = 統計＋程式＋領域知識 30 https://berkeleysciencereview.com/2013/07/how-to-become-a-data-scientist-before-you-graduate/
31. 31 https://docs.microsoft.com/en-us/azure/machine-learning/team-data-science-process/
32. 資料科學家要會什麼？ 32 ⼩組活動
33. 33 https://github.com/MrMimic/data-scientist-roadmap
34. 其他關於Python必須知道的事情 34 https://www.python.org/dev/peps/
35. PEP 20 35
36. PEP 8 & Linter 36 https://www.python.org/dev/peps/pep-0008/
37. 開發虛擬環境 37 Source: https://www.jetbrains.com/lp/devecosystem-2019/python/
38. Python Debugger 38
39. Documentation 39
40. Project Management 40 https://docs.python-guide.org/writing/structure/
41. Testing 41
42. 常⽤的測試套件 42 Source: https://www.jetbrains.com/lp/devecosystem-2019/python/
43. Functional Programming & OOP 43 https://realpython.com/python3-object-oriented-programming/
44. Version Control 44 https://www.gitkraken.com/git-client
45. Key Takeaways 45 了解要開發哪種應⽤ 選擇對應的套件 選擇喜歡的IDE Pycharm, Sublime text, Jupyter Vscode, Atom… 程式之外但很重要的事情： PEP Documentation Testing Version Control Functional Programming OOP Project Management
46. That’s all in first session. 46
47. Data Visualization 47
48. 你會如何評估⼀組數據？ 48 10 筆資料 100 筆資料 1,000,000 筆資料 平均值 平均值 平均值?????
49. 描述性統計 49 Min 25% Mediam 75% Max Min 12.5% 25% Mediam 75% 87.5% Max Min 12.5% 25% Mediam 75% 87.5% Max Midhinge Mideight Min 12.5% 25% Mediam 75% 87.5% Max Midhinge Mideight Counts Mean STD
50. –我說的 透過資料視覺化， 去觀察資料的全貌。 50
51. 這張圖表有什麼問題？ 51 ⼩組活動 國內各⼈壽公司近⼀年在Google的搜索熱度 9.524 19.048 28.571 38.095 47.619 57.143 66.667 76.19 85.714 95.238 2018-03-04 2018-03-25 2018-04-15 2018-05-06 2018-05-27 2018-06-17 2018-07-08 2018-07-29 2018-08-19 2018-09-09 2018-09-30 2018-10-21 2018-11-11 2018-12-02 2018-12-23 2019-01-13 2019-02-03
52. 做了⼀些調整後 52 國內各⼈壽公司近⼀年在Google的搜索熱度 搜索熱度（標準化後數量） 0 25 50 75 100 搜索時間（⽇期） 2018-03-04 2018-03-25 2018-04-15 2018-05-06 2018-05-27 2018-06-17 2018-07-08 2018-07-29 2018-08-19 2018-09-09 2018-09-30 2018-10-21 2018-11-11 2018-12-02 2018-12-23 2019-01-13 2019-02-03 新光⼈壽: (Taiwan) 國泰⼈壽: (Taiwan) 富邦⼈壽: (Taiwan) 台灣⼈壽: (Taiwan)
53. 我們如何看圖表？ 53 國內各⼈壽公司近⼀年在Google的搜索熱度 搜索熱度（數量） 0 25 50 75 100 搜索時間（⽇期） 2018-03-04 2018-03-25 2018-04-15 2018-05-06 2018-05-27 2018-06-17 2018-07-08 2018-07-29 2018-08-19 2018-09-09 2018-09-30 2018-10-21 2018-11-11 2018-12-02 2018-12-23 2019-01-13 2019-02-03 新光⼈壽: (Taiwan) 國泰⼈壽: (Taiwan) 富邦⼈壽: (Taiwan) 台灣⼈壽: (Taiwan) 1. 先看標頭 2. 座標軸名稱 3. 座標軸單位 4. 座標軸範圍 5. 看圖表Pattern & 圖⽰
54. 你認識哪些圖表？ 54 ⼩組活動
55. 你認識哪些圖表？ 55 https://python-graph-gallery.com
56. 常⽤圖表介紹 56
57. Line Chart 57 0 25 50 75 100 4 ⽉ 5 ⽉ 6 ⽉ 7 ⽉ Pros: 通常⽤於評估因時間變化 ⽽改變的趨勢 Cons: 結構簡單 通常需結合其他資訊比對
58. Bar Chart 58 0 25 50 75 100 4 ⽉ 5 ⽉ 6 ⽉ 7 ⽉ Pros: 通常⽤於評估事件的頻率 Cons: 結構簡單 通常需結合其他資訊比對
59. Pie Chart 59 Pros: 通常⽤於評估事件的佔比 Cons: 結構簡單 通常需結合其他資訊比對 7% 8% 10% 11% 29% 35%
60. Historgram 60 Pros: 通常⽤於評估事件的頻率 分佈，是統計上常⽤的圖 表之⼀ Cons: 需調整資料級距 無法看到關鍵指標的位置
61. Scatter Plot 61 Pros: 通常⽤於評估兩個參數之 間的關係 Cons: 常輔以回歸線看彼此的關 係
62. Botplot 62 Pros: 也是看分佈常⽤的圖標之 ⼀，可以清楚地看到描述 性統計 Cons: 評估整體性稍為直⽅圖弱 ⼀點，可以交叉比對看
63. Heatmap 63 Pros: 通常⽤以看參數之間的相 關強度 Cons: ⽤於可明顯評估強度的資 料
64. 常⽤的Python繪圖套件 64
65. PYTHON 常⽤繪圖套件(1) 65 https://matplotlib.org/index.html
66. Matplotlib 66
67. PYTHON 常⽤繪圖套件(2) 67 https://seaborn.pydata.org
68. Seaborn 68
69. PYTHON 常⽤繪圖套件(3) 69 https://docs.bokeh.org/en/latest/index.html
70. Bokeh 70
71. PYTHON 常⽤繪圖套件(4) 71 https://plot.ly/python/
72. Plotly 72
73. PYTHON 常⽤繪圖套件(5) 73 https://dash.plot.ly
74. Dash 74
75. Dash Sample Code 75
76. Python繪圖⼯具比較 76 繪圖⼯具 優缺點描述 Matplotlib 預設的圖表較簡單 但可⾼度客製化 Seaborn 美化版的Matplotlib 可以⽤Matplotlib的語法客製化 Bokeh 可以做互動式圖表 可⽤前端的語法進⾏客製化 Plotly 可做互動式圖表 圖表挺美觀的 Dash 建立圖表儀表板的好⼯具
77. Key Takeaways 77 學習如何描述⼀份資料 描述性統計（5, 7, 9, 12…) 學習如何繪製圖表 知道圖表繪製的注意事項 了解有什麼圖表可以分析 使⽤Python套件繪製圖表 Matplotlib Seaborn Bokeh Plotly Dash
78. Homework 78 • 上網找⼀個你喜歡的資料集 Kaggle, UCI, 台灣開放資料平台...等，找⼀組資料集 • 做出10個圖表，圖表種類可重複 • 但⾄少應包含5種以上不同的圖表 • 下次上課時，做⼀個5分鐘的報告 • 說明你為什麼選擇這個圖表，以及得到什麼資訊