Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
從開放資料到資料治理
Search
wHisKy CHANG
April 17, 2017
Education
0
360
從開放資料到資料治理
2017 國發會開放資料工作坊
wHisKy CHANG
April 17, 2017
Tweet
Share
More Decks by wHisKy CHANG
See All by wHisKy CHANG
開放資料的價值與應用
odtw
0
85
開放資料作為政府數位改造的工具
odtw
1
40
從 IdeaJam 到(開放)資料與設計思考的對話
odtw
0
77
2018.10.12 開放資料一次到位
odtw
0
250
從開放資料到開放政府
odtw
0
190
資料應用與工作流程
odtw
0
190
從政府開放資料談資料治理
odtw
0
280
新農業創新推動方案
odtw
0
120
施政治理與網路科技
odtw
0
79
Other Decks in Education
See All in Education
2409_CompanyInfo_Hanji_published.pdf
yosukemurata
0
230
LINE ミニアプリ開発のメリットとキャッチアップ方法
junghyeonjae
0
630
世界のオープンソースロボットたち #1
shiba_8ro
0
130
White Snake: Qing's Mission
movingcastal
0
250
Amazon Connectを利用したCloudWatch Alarm電話通知
junghyeonjae
0
230
謙虚なアジャイルコーチ__アダプティブ_ムーブ_による伴走支援.pdf
antmiyabin
0
240
脳卒中になってしまった さあ、どうする
japanstrokeassociation
0
410
不登校予防・再登校支援プログラムを提供するToCo (トーコ) の会社紹介資料 toco.mom
toco3week
0
330
week12@tcue2024
nonxxxizm
0
680
勉強する必要ある?
mineo_matsuya
2
1.2k
2024年度春学期 統計学 第14回 分布についての仮説を検証する ― 仮説検定(1) (2024. 7. 11)
akiraasano
PRO
0
150
#英語力ランキング批判:EF-EPI,TOEFLスコア,英語教育実施状況調査
terasawat
0
530
Featured
See All Featured
The MySQL Ecosystem @ GitHub 2015
samlambert
250
12k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
246
1.3M
Rebuilding a faster, lazier Slack
samanthasiow
79
8.6k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
226
22k
A designer walks into a library…
pauljervisheath
202
24k
StorybookのUI Testing Handbookを読んだ
zakiyama
26
5.2k
Measuring & Analyzing Core Web Vitals
bluesmoon
1
40
It's Worth the Effort
3n
183
27k
Building Flexible Design Systems
yeseniaperezcruz
327
38k
Mobile First: as difficult as doing things right
swwweet
222
8.9k
The Art of Programming - Codeland 2020
erikaheidi
51
13k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
Transcript
Data Governance 從開放資料到資料治理 Opendata.TW / 張維志 – 2017.04.18
[email protected]
• https://www.facebook.com/opendata.tw • https://www.facebook.com/groups/odtwn/ • https://www.facebook.com/groups/Open.Campus/
2017 OD2DG 大綱 1. 政府開放資料的問題 2. 開放資料作好作滿 3. 機關網站與開放資料 4.
網站資訊結構化
2017 OD2DG 簡報 1. http://bit.ly/2017odw-3 2. http://sli.do #8068
2017 OD2DG 顯著有感地震報告資 料-顯著有感地震報告 小區域有感地震報告資 料-小區域有感地震報告 路外停車資訊 不動產買賣實價 登錄批次資料 勞工體格及健康檢
查認可醫療機構
2017 OD2DG
2017 OD2DG http://www.idealyzt.com/100-opendata-types/
2017 OD2DG
2017 OD2DG
2017 OD2DG 問題: • 資料看起來很多,但是 80-90% 根本沒 人用 (少於 100-200
下載) • 資料很多都是 CSV / XML / JSNO – 但 是有多少是騙人的 (偽裝的三星)
2017 OD2DG 資料為什麼沒人用 : 沒人用還是沒人知道 沒人用還是不知道怎麼用 沒人用還是資料品不堪用
2017 OD2DG 沒人用還是沒人知道 開放資料要去哪裡找? 誰會特別去找開放資料?
2017 OD2DG
2017 OD2DG
2017 OD2DG 讓資料被找到 建立連結,需傳,推廣 開放資料也是業務的一環
2017 OD2DG 沒人用還是不知道怎麼用 立法院公報,要用來幹嘛? 路上的行道樹資料,可以做什麼
2017 OD2DG
2017 OD2DG
2017 OD2DG
2017 OD2DG
2017 OD2DG 發掘資料的價值 用資料來解決問題 所以我們須要先定義問題 找出需求,然後才是答案
2017 OD2DG http://www.ithome.com.tw/article/98070
2017 OD2DG 沒人用還是資料品質不堪用 資料名稱不清楚 內容欄位說明不清楚 資料格式編碼有錯誤 資料欄位內容錯誤或缺失 資料收集來源不清楚
2017 OD2DG
2017 OD2DG
2017 OD2DG 資料品質為什麼不佳: 因為資料產出的流程 因為不知道什麼是資料? 因為不知道資料會被怎麼使用? 因為不知道開放資料在幹嘛?
2017 OD2DG 真正的問題 : 資料如何產出 如何把資料作好作滿
2017 OD2DG 如何把資料作好作滿: 什麼是資料(資訊技術的定義) 什麼是資料品質
2017 OD2DG 開放資料五星 :
2017 OD2DG https://www.slideshare.net/ChiachunYeh/105-v1-20160317
2017 OD2DG 資料來源:Open data Support (2014). Open Data & Metadata
Quality. Available from: https://www.slideshare.net/OpenDataSupport/open-data-quality-29248578 . (last access 2016/1/30) 資料品質 :
2017 OD2DG
2017 OD2DG 資料來源:Open data Support (2014). Open Data & Metadata
Quality. Available from: https://www.slideshare.net/OpenDataSupport/open-data-quality-29248578 . (last access 2016/1/30) 資料品質 :
2017 OD2DG
2017 OD2DG 資料品質評鑑 : 1. 資料 metadata 描述 2. 資料下載與取得
3. 資料編碼與資料結構化 4. 資料內容描述 (data schema) 5. 資料欄位與內容標準 (standard)
2017 OD2DG 資料品質評鑑 : 1. 資料 metadata 描述 2. 資料下載與取得
3. 資料編碼與資料結構化 4. 資料內容描述 (data schema) 5. 資料欄位與內容標準 (standard)
2017 OD2DG 資料集詮釋資料與內容 : 1. 資料集與關鍵字搜尋 2. 資料集的標題 3. 資料集的描述
4. 主要欄位說明 5. 資料集更新頻率
2017 OD2DG http://data.gov.tw/node/22373
None
2017 OD2DG
2017 OD2DG
None
2017 OD2DG
2017 OD2DG 資料品質評鑑 : 1. 資料 metadata 描述 2. 資料下載與取得
3. 資料編碼與資料結構化 4. 資料內容描述 (data schema) 5. 資料欄位與內容標準 (standard)
2017 OD2DG 資料集檔案格式與內容: 1. 資料取得的方式 2. 檔案格式與編碼 (五星標準) 3. 專屬與非專屬格式
4. 結構化與非結構化格式 5. 主要欄位說明 6. 內容的檢驗
2017 OD2DG 資料集檔案格式與內容: 1. 資料取得的方式 2. 檔案格式與編碼 (五星標準) 3. 專屬與非專屬格式
4. 結構化與非結構化格式 5. 主要欄位說明 6. 內容的檢驗
2017 OD2DG 資料集檔案格式與內容: 1. 資料取得的方式 2. 檔案格式與編碼 (五星標準) 3. 專屬與非專屬格式
4. 結構化與非結構化格式 5. 主要欄位說明 6. 內容的檢驗
2017 OD2DG 資料集檔案格式與內容: 1. 資料取得的方式 2. 檔案格式與編碼 (五星標準) 3. 專屬與非專屬格式
4. 結構化與非結構化格式 5. 主要欄位說明 6. 內容的檢驗
2017 OD2DG • 結構化 • DB – 資料庫 • XML
/ JSON / KML • 半結構化 • CSV / TSV • 非結構化 • Word / 圖片 / 影音
2017 OD2DG
2017 OD2DG
2017 OD2DG 中文編碼 (Big5 / UTF8)
2017 OD2DG 資料集檔案格式與內容: 1. 資料取得的方式 2. 檔案格式與編碼 (五星標準) 3. 專屬與非專屬格式
4. 結構化與非結構化格式 5. 主要欄位說明 6. 內容的檢驗
2017 OD2DG
2017 OD2DG 主要欄位說明
2017 OD2DG
2017 OD2DG
2017 OD2DG https://goo.gl/WnHp53
2017 OD2DG 內容的檢驗 (結構化)資料分類 1. 表格數字 + 文字 Excel /
Google Sheets 2. 地理空間資料 Google Fusion Table CartoDB
2017 OD2DG 內容的檢驗 資料清洗 – Data Cleaning 一致性檢查 • 台北市,北市,台北
• 使用單位 (千元,萬?) • 多餘空白 • 重複資料 無效值與缺失值 • 噪音資料 / Noisy Data • 不完整資料 / incomplete Data
2017 OD2DG 什麼才是好資料 : 我知道這個資料在說什麼 我知道資料怎麼收集 我知道資料涵蓋範圍和內容 我知道資料幾時會更新 我不用花時間去清洗資料
2017 OD2DG 如何一招解救世界: 所有可公開資訊都在機關網站上 網站上資訊沒有個資或機密問題 所有人搜尋都會找到網站 從網站我可知道人民的需求 機關網站採用開放資料授權
2017 OD2DG 有沒有可能 讓網站與網頁上的內容 直接轉為開放資料
2017 OD2DG 釐清資料歸屬權 把網站內容轉為資料集
2017 OD2DG 資料結構化 資料描述 - Metadata 開放近用 (開放格式,開放 API)
2017 OD2DG
2017 OD2DG http://osds.openlinksw.com/
2017 OD2DG
https://icook.tw/recipes/81979.json 2017 OD2DG
2017 OD2DG
2017 OD2DG
2017 OD2DG
2017 OD2DG
2017 OD2DG
2017 OD2DG www.slideshare.net/ChiachunYeh/105-v1-20160317
2017 OD2DG 資訊結構化 : 1. 資訊分類(網站內容) 2. 語意分類模式與資料模型 3. 資訊內容結構化與相關標準
4. 網頁嵌入結構化資料 5. 建立網站地圖 (結構化資料)
2017 OD2DG 如何一招解救世界: 重新設計網站(網站資訊架構) 網站內容分類與結構化 後台設計(上稿與資料介接) 網頁呈現與網站地圖
2017 OD2DG 資料治理與資料生命週期 但是還有許多其他資料
2017 OD2DG https://www.w3.org/TR/2017/REC-dwbp-20170131/