Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
從開放資料到資料治理
Search
wHisKy CHANG
April 17, 2017
Education
0
370
從開放資料到資料治理
2017 國發會開放資料工作坊
wHisKy CHANG
April 17, 2017
Tweet
Share
More Decks by wHisKy CHANG
See All by wHisKy CHANG
開放資料的價值與應用
odtw
0
86
開放資料作為政府數位改造的工具
odtw
1
40
從 IdeaJam 到(開放)資料與設計思考的對話
odtw
0
78
2018.10.12 開放資料一次到位
odtw
0
250
從開放資料到開放政府
odtw
0
190
資料應用與工作流程
odtw
0
190
從政府開放資料談資料治理
odtw
0
280
新農業創新推動方案
odtw
0
120
施政治理與網路科技
odtw
0
79
Other Decks in Education
See All in Education
Master of Applied Science & Engineering: Computer Science & Master of Science in Applied Informatics
signer
PRO
0
430
20241004_Microsoft認定資格のFundamentals全部取ってみた
ponponmikankan
2
330
Ch2_-_Partie_1.pdf
bernhardsvt
0
110
Padlet opetuksessa
matleenalaakso
4
12k
The Gender Gap in the Technology Field and Efforts to Address It
codeforeveryone
0
210
勉強したらどうなるの?
mineo_matsuya
10
6.5k
"数学" をプログラミングしてもらう際に気をつけていること / Key Considerations When Programming "Mathematics"
guvalif
0
570
Web Architectures - Lecture 2 - Web Technologies (1019888BNR)
signer
PRO
0
2.7k
LLMs for Social Simulation: Progress, Opportunities and Challenges
wingnus
1
100
HCI and Interaction Design - Lecture 2 - Human-Computer Interaction (1023841ANR)
signer
PRO
0
820
JavaScript - Lecture 6 - Web Technologies (1019888BNR)
signer
PRO
0
2.5k
Ch2_-_Partie_2.pdf
bernhardsvt
0
110
Featured
See All Featured
RailsConf 2023
tenderlove
29
900
Put a Button on it: Removing Barriers to Going Fast.
kastner
59
3.5k
Art, The Web, and Tiny UX
lynnandtonic
297
20k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
10
720
Music & Morning Musume
bryan
46
6.2k
KATA
mclloyd
29
14k
Teambox: Starting and Learning
jrom
133
8.8k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
93
16k
Build The Right Thing And Hit Your Dates
maggiecrowley
33
2.4k
Site-Speed That Sticks
csswizardry
0
28
Done Done
chrislema
181
16k
Transcript
Data Governance 從開放資料到資料治理 Opendata.TW / 張維志 – 2017.04.18
[email protected]
• https://www.facebook.com/opendata.tw • https://www.facebook.com/groups/odtwn/ • https://www.facebook.com/groups/Open.Campus/
2017 OD2DG 大綱 1. 政府開放資料的問題 2. 開放資料作好作滿 3. 機關網站與開放資料 4.
網站資訊結構化
2017 OD2DG 簡報 1. http://bit.ly/2017odw-3 2. http://sli.do #8068
2017 OD2DG 顯著有感地震報告資 料-顯著有感地震報告 小區域有感地震報告資 料-小區域有感地震報告 路外停車資訊 不動產買賣實價 登錄批次資料 勞工體格及健康檢
查認可醫療機構
2017 OD2DG
2017 OD2DG http://www.idealyzt.com/100-opendata-types/
2017 OD2DG
2017 OD2DG
2017 OD2DG 問題: • 資料看起來很多,但是 80-90% 根本沒 人用 (少於 100-200
下載) • 資料很多都是 CSV / XML / JSNO – 但 是有多少是騙人的 (偽裝的三星)
2017 OD2DG 資料為什麼沒人用 : 沒人用還是沒人知道 沒人用還是不知道怎麼用 沒人用還是資料品不堪用
2017 OD2DG 沒人用還是沒人知道 開放資料要去哪裡找? 誰會特別去找開放資料?
2017 OD2DG
2017 OD2DG
2017 OD2DG 讓資料被找到 建立連結,需傳,推廣 開放資料也是業務的一環
2017 OD2DG 沒人用還是不知道怎麼用 立法院公報,要用來幹嘛? 路上的行道樹資料,可以做什麼
2017 OD2DG
2017 OD2DG
2017 OD2DG
2017 OD2DG
2017 OD2DG 發掘資料的價值 用資料來解決問題 所以我們須要先定義問題 找出需求,然後才是答案
2017 OD2DG http://www.ithome.com.tw/article/98070
2017 OD2DG 沒人用還是資料品質不堪用 資料名稱不清楚 內容欄位說明不清楚 資料格式編碼有錯誤 資料欄位內容錯誤或缺失 資料收集來源不清楚
2017 OD2DG
2017 OD2DG
2017 OD2DG 資料品質為什麼不佳: 因為資料產出的流程 因為不知道什麼是資料? 因為不知道資料會被怎麼使用? 因為不知道開放資料在幹嘛?
2017 OD2DG 真正的問題 : 資料如何產出 如何把資料作好作滿
2017 OD2DG 如何把資料作好作滿: 什麼是資料(資訊技術的定義) 什麼是資料品質
2017 OD2DG 開放資料五星 :
2017 OD2DG https://www.slideshare.net/ChiachunYeh/105-v1-20160317
2017 OD2DG 資料來源:Open data Support (2014). Open Data & Metadata
Quality. Available from: https://www.slideshare.net/OpenDataSupport/open-data-quality-29248578 . (last access 2016/1/30) 資料品質 :
2017 OD2DG
2017 OD2DG 資料來源:Open data Support (2014). Open Data & Metadata
Quality. Available from: https://www.slideshare.net/OpenDataSupport/open-data-quality-29248578 . (last access 2016/1/30) 資料品質 :
2017 OD2DG
2017 OD2DG 資料品質評鑑 : 1. 資料 metadata 描述 2. 資料下載與取得
3. 資料編碼與資料結構化 4. 資料內容描述 (data schema) 5. 資料欄位與內容標準 (standard)
2017 OD2DG 資料品質評鑑 : 1. 資料 metadata 描述 2. 資料下載與取得
3. 資料編碼與資料結構化 4. 資料內容描述 (data schema) 5. 資料欄位與內容標準 (standard)
2017 OD2DG 資料集詮釋資料與內容 : 1. 資料集與關鍵字搜尋 2. 資料集的標題 3. 資料集的描述
4. 主要欄位說明 5. 資料集更新頻率
2017 OD2DG http://data.gov.tw/node/22373
None
2017 OD2DG
2017 OD2DG
None
2017 OD2DG
2017 OD2DG 資料品質評鑑 : 1. 資料 metadata 描述 2. 資料下載與取得
3. 資料編碼與資料結構化 4. 資料內容描述 (data schema) 5. 資料欄位與內容標準 (standard)
2017 OD2DG 資料集檔案格式與內容: 1. 資料取得的方式 2. 檔案格式與編碼 (五星標準) 3. 專屬與非專屬格式
4. 結構化與非結構化格式 5. 主要欄位說明 6. 內容的檢驗
2017 OD2DG 資料集檔案格式與內容: 1. 資料取得的方式 2. 檔案格式與編碼 (五星標準) 3. 專屬與非專屬格式
4. 結構化與非結構化格式 5. 主要欄位說明 6. 內容的檢驗
2017 OD2DG 資料集檔案格式與內容: 1. 資料取得的方式 2. 檔案格式與編碼 (五星標準) 3. 專屬與非專屬格式
4. 結構化與非結構化格式 5. 主要欄位說明 6. 內容的檢驗
2017 OD2DG 資料集檔案格式與內容: 1. 資料取得的方式 2. 檔案格式與編碼 (五星標準) 3. 專屬與非專屬格式
4. 結構化與非結構化格式 5. 主要欄位說明 6. 內容的檢驗
2017 OD2DG • 結構化 • DB – 資料庫 • XML
/ JSON / KML • 半結構化 • CSV / TSV • 非結構化 • Word / 圖片 / 影音
2017 OD2DG
2017 OD2DG
2017 OD2DG 中文編碼 (Big5 / UTF8)
2017 OD2DG 資料集檔案格式與內容: 1. 資料取得的方式 2. 檔案格式與編碼 (五星標準) 3. 專屬與非專屬格式
4. 結構化與非結構化格式 5. 主要欄位說明 6. 內容的檢驗
2017 OD2DG
2017 OD2DG 主要欄位說明
2017 OD2DG
2017 OD2DG
2017 OD2DG https://goo.gl/WnHp53
2017 OD2DG 內容的檢驗 (結構化)資料分類 1. 表格數字 + 文字 Excel /
Google Sheets 2. 地理空間資料 Google Fusion Table CartoDB
2017 OD2DG 內容的檢驗 資料清洗 – Data Cleaning 一致性檢查 • 台北市,北市,台北
• 使用單位 (千元,萬?) • 多餘空白 • 重複資料 無效值與缺失值 • 噪音資料 / Noisy Data • 不完整資料 / incomplete Data
2017 OD2DG 什麼才是好資料 : 我知道這個資料在說什麼 我知道資料怎麼收集 我知道資料涵蓋範圍和內容 我知道資料幾時會更新 我不用花時間去清洗資料
2017 OD2DG 如何一招解救世界: 所有可公開資訊都在機關網站上 網站上資訊沒有個資或機密問題 所有人搜尋都會找到網站 從網站我可知道人民的需求 機關網站採用開放資料授權
2017 OD2DG 有沒有可能 讓網站與網頁上的內容 直接轉為開放資料
2017 OD2DG 釐清資料歸屬權 把網站內容轉為資料集
2017 OD2DG 資料結構化 資料描述 - Metadata 開放近用 (開放格式,開放 API)
2017 OD2DG
2017 OD2DG http://osds.openlinksw.com/
2017 OD2DG
https://icook.tw/recipes/81979.json 2017 OD2DG
2017 OD2DG
2017 OD2DG
2017 OD2DG
2017 OD2DG
2017 OD2DG
2017 OD2DG www.slideshare.net/ChiachunYeh/105-v1-20160317
2017 OD2DG 資訊結構化 : 1. 資訊分類(網站內容) 2. 語意分類模式與資料模型 3. 資訊內容結構化與相關標準
4. 網頁嵌入結構化資料 5. 建立網站地圖 (結構化資料)
2017 OD2DG 如何一招解救世界: 重新設計網站(網站資訊架構) 網站內容分類與結構化 後台設計(上稿與資料介接) 網頁呈現與網站地圖
2017 OD2DG 資料治理與資料生命週期 但是還有許多其他資料
2017 OD2DG https://www.w3.org/TR/2017/REC-dwbp-20170131/