Fault tolerance and performance of dm-mirror

MSC Project Laboratory 2 (https://www.vik.bme.hu/kepzes/targyak/VIMIM865/en/), Budapest

Source: https://github.com/vmiklos/projlab2/tree/master/tex/slides

Transcript

1. A dm-mirror hibat˝ urése és teljesítménye Vajna Miklós 2010. december 9. 1 / 10
2. Bevezet˝ o A dm-mirror (device-mapper’s mirror) egy tipikus 3 réteg˝ u architektúra legalsó szintje alatt található Egy szoftveres tükrözési megoldás a Linux kernelben device-mapper keretrendszerre épül (logikai kötetkezelés) Kezdeti probléma: szuboptimális teljesítmény a fizikai diszkek eltér˝ o elérési sebessége esetén Megjelenítés Üzleti logika RMI Adatelérés SQL I/O alrendszer 2 / 10
3. Motiváció A lassú I/O könnyen válhat egy szolgáltatás sz˝ uk keresztmetszetévé Szoftveres türközés: így a tükröz˝ o algoritmus könnyen módosítható Linux kernel része: szabadon hozzáférhet˝ o és módosítható Az elkészült munkát hoszútávon cél visszajuttatni a kernelbe 3 / 10
4. Feladat leírása dm-mirror kipróbálása, írási / olvasási teljesítmény mérése dm-mirror hibat˝ urésének tesztelése Mérési teszt környezet kialakítása, a teszt eszközök validálása Olvasási teljesítmény javítása abban az esetben, ha a diszkek elérési sebessége különbözik 4 / 10
5. Megoldott feladatok dm-mirror kipróbálása, írási / olvasási teljesítmény mérése projlab2 iscsitarget dm-mirror iSCSI initiator iSCSI target sávszél. korlátozás hálózati késleltetés írás olvasás logikai kötet kötetcsoport fizikai kötet 1. tükör láb fizikai kötet 2. tükör láb fizikai kötet napló Különböz˝ o diszkek esetén: lassú diszk szimulálása iSCSI-val Hálózaton késleltetés és/vagy sávszélesség-korlátozás szimulálása Tükör komponensei: 2 adat láb, 1 vagy 2 naplózó láb Ezek lehetnek helyben vagy távoli gépen 5 / 10
6. Megoldott feladatok dm-mirror hibat˝ urésének tesztelése Környezet: VMware Workstation 7.1.3, RHEL 5 Gépekben 256MB RAM Két gép között dedikált virtuális hálózat A teszt tárgya tipikusan 2MB adat írása/olvasása valamilyen típusú tükrön Teszt típusok: Írás diszkre mikor a tükör létrehozása még folyamatban van Írás diszkre közvetlenül a rendszer újraindítása után Írás / olvasás az iSCSI diszk elérhetetlensége esetén 6 / 10
7. Megoldott feladatok Teszt eszközök validálása A tc eszköz használata forgalomszabályozásra Sávszélesség-korlátozás és hálózati késleltetés Valós WAN környezet paramétereinek mérése Szimulált környezetben validálás: azonos olvasás / írás eredményeket kapunk? 7 / 10
8. Megoldott feladatok Olvasási teljesítmény javítása Eredetileg: olvasás esetén Round-Robin algoritmus váltogat a fizikai diszkek között (kék) A váltás gyakorisága állítható Javítás: a váltás kikapcsolható (ha távoli diszken áll, lassú - zöld), a használt diszk kézzel felülbírálható (pl. helyi diszkre: piros) Eredmény: 200ms hálózati késleltetés esetén 14-szeres gyorsulás 8 / 10
9. Jöv˝ obeli lehet˝ oségek Súlyozott Round-Robin olvasáskor A tükör naplózó lába nincs kihasználva abban az esetben ha az egyik adat láb elérhetetlenné válik Olvasási algoritmusok modularizálása 9 / 10
10. Összefoglalás A dm-mirror egy szoftveres tükrözési megoldás a Linux kernelben Mind teljesítmény, mind hibat˝ urés szempontjából van mit javítani rajta Elkészült egy teszt környezet, mely valósan tud szimulálni problémásan elérhet˝ o diszkeket Elkészült egy megoldás, mellyel a tükör olvasási teljesítménye nagymértékben megnövelhet˝ o bizonyos körülmények között 10/ 10