現代檔案系統 ZFS 的簡介與應用

這場議程將以 ZFS 為主軸來介紹一些現代檔案系統上的功能以及特色，例如內建的 Volume Manager/RAID，以及 Incremental Snapshot Backup。再來會介紹這些功能跟特色在各類儲存應用上好用在哪裡。

Transcript

1. 現代檔案系統 ZFS 的簡介與應用 zuan@chroot
2. Who am I? - Zuan - 118畢業，112 & 119休學中 - Chroot讀書會成員，較常在資安圈出沒 - 什麼都略懂一點，但什麼都不精通 - 喜歡玩資訊跟電子領域的各種事務 - 興趣是買學生證，發廢文，還有騎腳踏車
3. 檔案系統的發展大約可以分三個時期
4. 初期：堪用就好的檔案系統
5. https://commons.wikimedia.org/wiki/File:Samsung_HD400LD_Hard_Disk_A.jpg
8. FAT32
9. https://commons.wikimedia.org/wiki/File:Micro_SD_card_(Nokia).jpg
10. 中期
11. Journaling功能
12. 解決斷電檔案/檔案系統毀損的問題
13. https://www.flickr.com/photos/deerwooduk/3743375034
15. 硬碟 寫入 檔案 0000 | 44 75 4C 10 32 76 BD F3 13 CB A1 5D 43 76 49 45 0010 | 6A 0F 28 FC 07 E4 F0 A8 D8 5C 11 C3 98 54 F1 3A 0020 | B5 1C D6 FC 4B 61 60 F1 7F 14 11 07 96 38 38 58 0030 | 86 49 A6 DB 1C CA CF 46 92 73 4A 41 C4 99 45 62 0040 | 6F 24 CF 65 DA A8 0F C5 15 23 F4 75 0B C0 6C 8B 0050 | ** ** ** ** ** ** ** ** ** ** ** ** ** ** ** ** 0060 | ** ** ** ** ** ** ** ** ** ** ** ** ** ** ** ** 0070 | A6 2A 27 BB 2A C4 7B BC 9D 43 A6 49 8E 7C 4A 20 0080 | 76 B3 FD 54 3A 64 27 70 BF 1B 08 28 FF 1B D3 88 0090 | 43 EB 76 0D 96 C6 09 8A F6 7E AD 79 21 AC DE FC
16. 硬碟 斷電 檔案 0000 | 44 75 4C 10 32 76 BD F3 13 CB A1 5D 43 76 49 45 0010 | 6A 0F 28 FC 07 E4 F0 A8 D8 5C 11 C3 98 54 F1 3A 0020 | B5 1C D6 FC 4B 61 60 F1 7F 14 11 07 96 38 38 58 0030 | 86 49 A6 DB 1C CA CF 46 92 73 4A 41 C4 99 45 62 0040 | 6F 24 CF 65 DA A8 0F C5 15 23 F4 75 0B C0 6C 8B 0050 | ** ** ** ** ** ** ** ** ** ** ** ** ** ** ** ** 0060 | ** ** ** ** ** ** ** ** ** ** ** ** ** ** ** ** 0070 | A6 2A 27 BB 2A C4 7B BC 9D 43 A6 49 8E 7C 4A 20 0080 | 76 B3 FD 54 3A 64 27 70 BF 1B 08 28 FF 1B D3 88 0090 | 43 EB 76 0D 96 C6 09 8A F6 7E AD 79 21 AC DE FC
17. 硬碟 寫入Journal 檔案 0000 | 44 75 4C 10 32 76 BD F3 13 CB A1 5D 43 76 49 45 0010 | 6A 0F 28 FC 07 E4 F0 A8 D8 5C 11 C3 98 54 F1 3A 0020 | B5 1C D6 FC 4B 61 60 F1 7F 14 11 07 96 38 38 58 0030 | 86 49 A6 DB 1C CA CF 46 92 73 4A 41 C4 99 45 62 0040 | 6F 24 CF 65 DA A8 0F C5 15 23 F4 75 0B C0 6C 8B 0050 | ** ** ** ** ** ** ** ** ** ** ** ** ** ** ** ** 0060 | ** ** ** ** ** ** ** ** ** ** ** ** ** ** ** ** 0070 | A6 2A 27 BB 2A C4 7B BC 9D 43 A6 49 8E 7C 4A 20 0080 | 76 B3 FD 54 3A 64 27 70 BF 1B 08 28 FF 1B D3 88 0090 | 43 EB 76 0D 96 C6 09 8A F6 7E AD 79 21 AC DE FC 1. 將 8C CE 6B CE F7 C5 34 3D 93 39 B6 88 A5 5B 52 2A C6 4C 89 A5 40 0E 5A 5C 86 6B AA D2 44 0B 69 AF 寫入0050-006F Journal
18. 硬碟 寫入檔案 檔案 0000 | 44 75 4C 10 32 76 BD F3 13 CB A1 5D 43 76 49 45 0010 | 6A 0F 28 FC 07 E4 F0 A8 D8 5C 11 C3 98 54 F1 3A 0020 | B5 1C D6 FC 4B 61 60 F1 7F 14 11 07 96 38 38 58 0030 | 86 49 A6 DB 1C CA CF 46 92 73 4A 41 C4 99 45 62 0040 | 6F 24 CF 65 DA A8 0F C5 15 23 F4 75 0B C0 6C 8B 0050 | 8C CE 6B CE F7 C5 34 3D 93 39 B6 88 A5 5B 52 2A 0060 | C6 4C 89 A5 40 0E 5A 5C 86 6B AA D2 44 0B 69 AF 0070 | A6 2A 27 BB 2A C4 7B BC 9D 43 A6 49 8E 7C 4A 20 0080 | 76 B3 FD 54 3A 64 27 70 BF 1B 08 28 FF 1B D3 88 0090 | 43 EB 76 0D 96 C6 09 8A F6 7E AD 79 21 AC DE FC 1. 將 8C CE 6B CE F7 C5 34 3D 93 39 B6 88 A5 5B 52 2A C6 4C 89 A5 40 0E 5A 5C 86 6B AA D2 44 0B 69 AF 寫入0050-006F Journal
19. 硬碟 移除Journal 檔案 0000 | 44 75 4C 10 32 76 BD F3 13 CB A1 5D 43 76 49 45 0010 | 6A 0F 28 FC 07 E4 F0 A8 D8 5C 11 C3 98 54 F1 3A 0020 | B5 1C D6 FC 4B 61 60 F1 7F 14 11 07 96 38 38 58 0030 | 86 49 A6 DB 1C CA CF 46 92 73 4A 41 C4 99 45 62 0040 | 6F 24 CF 65 DA A8 0F C5 15 23 F4 75 0B C0 6C 8B 0050 | 8C CE 6B CE F7 C5 34 3D 93 39 B6 88 A5 5B 52 2A 0060 | C6 4C 89 A5 40 0E 5A 5C 86 6B AA D2 44 0B 69 AF 0070 | A6 2A 27 BB 2A C4 7B BC 9D 43 A6 49 8E 7C 4A 20 0080 | 76 B3 FD 54 3A 64 27 70 BF 1B 08 28 FF 1B D3 88 0090 | 43 EB 76 0D 96 C6 09 8A F6 7E AD 79 21 AC DE FC Journal
20. 多了使用者權限的功能
22. 改用B-Tree之類的資料結構加速檔案存取
23. http://www.tomshardware.com/reviews/ssd-file-system-ntfs,3166-5.html
24. NTFS, ext3, reiserfs, HFS+
25. 現代的檔案系統
26. ZFS, btrfs, ReFS
27. 硬碟會有Silent Corruption
28. ZFS內建資料Checksum
29. zfs有scrub功能
31. 資料不會一聲不響的就毀壞
32. 內建Volume Manager以及RAID
33. 什麼是Volume Manager?
35. 傳統磁碟分割有許多問題
36. 分割區無法跨硬碟 分割區移動需要複製全部資料 空間會被卡住
37. 什麼是RAID?
38. https://commons.wikimedia.org/wiki/File:RAID_1.svg
39. 為什麼需要把RAID整合進檔案系統?
40. https://commons.wikimedia.org/wiki/File:RAID_1.svg
41. 如果資料有毀壞，不知道哪一份才是對的
42. 檔案系統Checksum結合RAID 就可以知道哪一份是對的
43. RAID Recovery時其實不用恢復所有資料
44. Snapshot功能
45. => 檔案系統S&L大法
47. 等同於Linux版的Time Machine
48. 快照及快照差異可以被dd出來 (zfs send/recv)
49. 可以用來做差異備份
50. 版本A 備份 100GB 雲端磁碟
51. 版本A 100GB 雲端磁碟 版本A 100GB
52. 版本B 105GB 雲端磁碟 版本A 100GB
53. 版本B 105GB 雲端磁碟 版本A 100GB 版本B 105GB
54. 版本B 105GB 雲端磁碟 版本A 100GB 版本B - 版本A
55. 檔案系統壓縮功能
56. 不是XP就有了?
58. LZ4 vs DEFLATE(LZ77): ~400MB/s vs ~50MB/s
59. 壓縮耗費的CPU幾乎感受不到
60. 壓縮比也不差
62. 說了那麼多...
63. How do you turn this on?
64. 硬碟 硬碟 硬碟 ZFS Pool (ZPOOL) File System File System zvol ext4, fat… etc
65. zpool create
66. zfs create
67. zfs snapshot
68. zfs send / zfs recv
69. 有什麼應用?
70. 應用一：家用NAS備份上Google Drive
71. zfs snapshot x/x@snap2 zfs send -I x/x@snap1 x/x@snap2 | skicka ...
72. 放crontab
73. 可以自己寫一套bash shellscript
74. 應用二：Ubuntu root fs直接灌在zfs上面
75. https://github.com/zfsonlinux/zfs/wiki/Ubuntu-16.0 4-Root-on-ZFS
77. 個人沒有使用這方法，因為太麻煩
78. 1. 正常灌在ext4上面 2. 開啟新安裝的系統，安裝ZFS 3. USB開機，將root fs複製到ZFS上面 4. chroot進去，update-grub 5. 重開機
79. 剛開使用ZFS的常見問題
80. Q: ZFS很吃記憶體?
81. 真的很吃，但可以把它限到1G左右
83. Q: 一定要ECC嗎?
84. 不用的話，如果RAM壞掉，檔案會很難救
85. END