現代檔案系統 ZFS 的簡介與應用

Slide 1

Slide 1 text

現代檔案系統 ZFS 的簡介與應用 zuan@chroot

Slide 2

Slide 2 text

Who am I? - Zuan - 118畢業，112 & 119休學中 - Chroot讀書會成員，較常在資安圈出沒 - 什麼都略懂一點，但什麼都不精通 - 喜歡玩資訊跟電子領域的各種事務 - 興趣是買學生證，發廢文，還有騎腳踏車

Slide 3

Slide 3 text

檔案系統的發展大約可以分三個時期

Slide 4

Slide 4 text

初期：堪用就好的檔案系統

Slide 5

Slide 5 text

https://commons.wikimedia.org/wiki/File:Samsung_HD400LD_Hard_Disk_A.jpg

Slide 6

Slide 6 text

No content

Slide 7

Slide 7 text

No content

Slide 8

Slide 8 text

FAT32

Slide 9

Slide 9 text

https://commons.wikimedia.org/wiki/File:Micro_SD_card_(Nokia).jpg

Slide 10

Slide 10 text

中期

Slide 11

Slide 11 text

Journaling功能

Slide 12

Slide 12 text

解決斷電檔案/檔案系統毀損的問題

Slide 13

Slide 13 text

https://www.flickr.com/photos/deerwooduk/3743375034

Slide 14

Slide 14 text

No content

Slide 15

Slide 15 text

硬碟寫入檔案 0000 | 44 75 4C 10 32 76 BD F3 13 CB A1 5D 43 76 49 45 0010 | 6A 0F 28 FC 07 E4 F0 A8 D8 5C 11 C3 98 54 F1 3A 0020 | B5 1C D6 FC 4B 61 60 F1 7F 14 11 07 96 38 38 58 0030 | 86 49 A6 DB 1C CA CF 46 92 73 4A 41 C4 99 45 62 0040 | 6F 24 CF 65 DA A8 0F C5 15 23 F4 75 0B C0 6C 8B 0050 | ** ** ** ** ** ** ** ** ** ** ** ** ** ** ** ** 0060 | ** ** ** ** ** ** ** ** ** ** ** ** ** ** ** ** 0070 | A6 2A 27 BB 2A C4 7B BC 9D 43 A6 49 8E 7C 4A 20 0080 | 76 B3 FD 54 3A 64 27 70 BF 1B 08 28 FF 1B D3 88 0090 | 43 EB 76 0D 96 C6 09 8A F6 7E AD 79 21 AC DE FC

Slide 16

Slide 16 text

硬碟斷電檔案 0000 | 44 75 4C 10 32 76 BD F3 13 CB A1 5D 43 76 49 45 0010 | 6A 0F 28 FC 07 E4 F0 A8 D8 5C 11 C3 98 54 F1 3A 0020 | B5 1C D6 FC 4B 61 60 F1 7F 14 11 07 96 38 38 58 0030 | 86 49 A6 DB 1C CA CF 46 92 73 4A 41 C4 99 45 62 0040 | 6F 24 CF 65 DA A8 0F C5 15 23 F4 75 0B C0 6C 8B 0050 | ** ** ** ** ** ** ** ** ** ** ** ** ** ** ** ** 0060 | ** ** ** ** ** ** ** ** ** ** ** ** ** ** ** ** 0070 | A6 2A 27 BB 2A C4 7B BC 9D 43 A6 49 8E 7C 4A 20 0080 | 76 B3 FD 54 3A 64 27 70 BF 1B 08 28 FF 1B D3 88 0090 | 43 EB 76 0D 96 C6 09 8A F6 7E AD 79 21 AC DE FC

Slide 17

Slide 17 text

硬碟寫入Journal 檔案 0000 | 44 75 4C 10 32 76 BD F3 13 CB A1 5D 43 76 49 45 0010 | 6A 0F 28 FC 07 E4 F0 A8 D8 5C 11 C3 98 54 F1 3A 0020 | B5 1C D6 FC 4B 61 60 F1 7F 14 11 07 96 38 38 58 0030 | 86 49 A6 DB 1C CA CF 46 92 73 4A 41 C4 99 45 62 0040 | 6F 24 CF 65 DA A8 0F C5 15 23 F4 75 0B C0 6C 8B 0050 | ** ** ** ** ** ** ** ** ** ** ** ** ** ** ** ** 0060 | ** ** ** ** ** ** ** ** ** ** ** ** ** ** ** ** 0070 | A6 2A 27 BB 2A C4 7B BC 9D 43 A6 49 8E 7C 4A 20 0080 | 76 B3 FD 54 3A 64 27 70 BF 1B 08 28 FF 1B D3 88 0090 | 43 EB 76 0D 96 C6 09 8A F6 7E AD 79 21 AC DE FC 1. 將 8C CE 6B CE F7 C5 34 3D 93 39 B6 88 A5 5B 52 2A C6 4C 89 A5 40 0E 5A 5C 86 6B AA D2 44 0B 69 AF 寫入0050-006F Journal

Slide 18

Slide 18 text

硬碟寫入檔案檔案 0000 | 44 75 4C 10 32 76 BD F3 13 CB A1 5D 43 76 49 45 0010 | 6A 0F 28 FC 07 E4 F0 A8 D8 5C 11 C3 98 54 F1 3A 0020 | B5 1C D6 FC 4B 61 60 F1 7F 14 11 07 96 38 38 58 0030 | 86 49 A6 DB 1C CA CF 46 92 73 4A 41 C4 99 45 62 0040 | 6F 24 CF 65 DA A8 0F C5 15 23 F4 75 0B C0 6C 8B 0050 | 8C CE 6B CE F7 C5 34 3D 93 39 B6 88 A5 5B 52 2A 0060 | C6 4C 89 A5 40 0E 5A 5C 86 6B AA D2 44 0B 69 AF 0070 | A6 2A 27 BB 2A C4 7B BC 9D 43 A6 49 8E 7C 4A 20 0080 | 76 B3 FD 54 3A 64 27 70 BF 1B 08 28 FF 1B D3 88 0090 | 43 EB 76 0D 96 C6 09 8A F6 7E AD 79 21 AC DE FC 1. 將 8C CE 6B CE F7 C5 34 3D 93 39 B6 88 A5 5B 52 2A C6 4C 89 A5 40 0E 5A 5C 86 6B AA D2 44 0B 69 AF 寫入0050-006F Journal

Slide 19

Slide 19 text

硬碟移除Journal 檔案 0000 | 44 75 4C 10 32 76 BD F3 13 CB A1 5D 43 76 49 45 0010 | 6A 0F 28 FC 07 E4 F0 A8 D8 5C 11 C3 98 54 F1 3A 0020 | B5 1C D6 FC 4B 61 60 F1 7F 14 11 07 96 38 38 58 0030 | 86 49 A6 DB 1C CA CF 46 92 73 4A 41 C4 99 45 62 0040 | 6F 24 CF 65 DA A8 0F C5 15 23 F4 75 0B C0 6C 8B 0050 | 8C CE 6B CE F7 C5 34 3D 93 39 B6 88 A5 5B 52 2A 0060 | C6 4C 89 A5 40 0E 5A 5C 86 6B AA D2 44 0B 69 AF 0070 | A6 2A 27 BB 2A C4 7B BC 9D 43 A6 49 8E 7C 4A 20 0080 | 76 B3 FD 54 3A 64 27 70 BF 1B 08 28 FF 1B D3 88 0090 | 43 EB 76 0D 96 C6 09 8A F6 7E AD 79 21 AC DE FC Journal

Slide 20

Slide 20 text

多了使用者權限的功能

Slide 21

Slide 21 text

No content

Slide 22

Slide 22 text

改用B-Tree之類的資料結構加速檔案存取

Slide 23

Slide 23 text

http://www.tomshardware.com/reviews/ssd-file-system-ntfs,3166-5.html

Slide 24

Slide 24 text

NTFS, ext3, reiserfs, HFS+

Slide 25

Slide 25 text

現代的檔案系統

Slide 26

Slide 26 text

ZFS, btrfs, ReFS

Slide 27

Slide 27 text

硬碟會有Silent Corruption

Slide 28

Slide 28 text

ZFS內建資料Checksum

Slide 29

Slide 29 text

zfs有scrub功能

Slide 30

Slide 30 text

No content

Slide 31

Slide 31 text

資料不會一聲不響的就毀壞

Slide 32

Slide 32 text

內建Volume Manager以及RAID

Slide 33

Slide 33 text

什麼是Volume Manager?

Slide 34

Slide 34 text

No content

Slide 35

Slide 35 text

傳統磁碟分割有許多問題

Slide 36

Slide 36 text

分割區無法跨硬碟分割區移動需要複製全部資料空間會被卡住

Slide 37

Slide 37 text

什麼是RAID?

Slide 38

Slide 38 text

https://commons.wikimedia.org/wiki/File:RAID_1.svg

Slide 39

Slide 39 text

為什麼需要把RAID整合進檔案系統?

Slide 40

Slide 40 text

https://commons.wikimedia.org/wiki/File:RAID_1.svg

Slide 41

Slide 41 text

如果資料有毀壞，不知道哪一份才是對的

Slide 42

Slide 42 text

檔案系統Checksum結合RAID 就可以知道哪一份是對的

Slide 43

Slide 43 text

RAID Recovery時其實不用恢復所有資料

Slide 44

Slide 44 text

Snapshot功能

Slide 45

Slide 45 text

=> 檔案系統S&L大法

Slide 46

Slide 46 text

No content

Slide 47

Slide 47 text

等同於Linux版的Time Machine

Slide 48

Slide 48 text

快照及快照差異可以被dd出來 (zfs send/recv)

Slide 49

Slide 49 text

可以用來做差異備份

Slide 50

Slide 50 text

版本A 備份 100GB 雲端磁碟

Slide 51

Slide 51 text

版本A 100GB 雲端磁碟版本A 100GB

Slide 52

Slide 52 text

版本B 105GB 雲端磁碟版本A 100GB

Slide 53

Slide 53 text

版本B 105GB 雲端磁碟版本A 100GB 版本B 105GB

Slide 54

Slide 54 text

版本B 105GB 雲端磁碟版本A 100GB 版本B - 版本A

Slide 55

Slide 55 text

檔案系統壓縮功能

Slide 56

Slide 56 text

不是XP就有了?

Slide 57

Slide 57 text

No content

Slide 58

Slide 58 text

LZ4 vs DEFLATE(LZ77): ~400MB/s vs ~50MB/s

Slide 59

Slide 59 text

壓縮耗費的CPU幾乎感受不到

Slide 60

Slide 60 text

壓縮比也不差

Slide 61

Slide 61 text

No content

Slide 62

Slide 62 text

說了那麼多...

Slide 63

Slide 63 text

How do you turn this on?

Slide 64

Slide 64 text

硬碟硬碟硬碟 ZFS Pool (ZPOOL) File System File System zvol ext4, fat… etc

Slide 65

Slide 65 text

zpool create

Slide 66

Slide 66 text

zfs create

Slide 67

Slide 67 text

zfs snapshot

Slide 68

Slide 68 text

zfs send / zfs recv

Slide 69

Slide 69 text

有什麼應用?

Slide 70

Slide 70 text

應用一：家用NAS備份上Google Drive

Slide 71

Slide 71 text

zfs snapshot x/x@snap2 zfs send -I x/x@snap1 x/x@snap2 | skicka ...

Slide 72

Slide 72 text

放crontab

Slide 73

Slide 73 text

可以自己寫一套bash shellscript

Slide 74

Slide 74 text

應用二：Ubuntu root fs直接灌在zfs上面

Slide 75

Slide 75 text

https://github.com/zfsonlinux/zfs/wiki/Ubuntu-16.0 4-Root-on-ZFS

Slide 76

Slide 76 text

No content

Slide 77

Slide 77 text

個人沒有使用這方法，因為太麻煩

Slide 78

Slide 78 text

1. 正常灌在ext4上面 2. 開啟新安裝的系統，安裝ZFS 3. USB開機，將root fs複製到ZFS上面 4. chroot進去，update-grub 5. 重開機