Real World Ray

Real World Ray
湛溢洋 (zhanpon)

※この資料は以下イベントで発表した内容です。
https://lycorptech-jp.connpass.com/event/328480/
#PythonFukuoka

1. Real World Ray 2024೥10݄9೔ ୷ᷓ༸ (zhanpon) 1
2. ࣗݾ঺հ • ୷ ᷓ༸ʢ͟Μ ͍͍΍Μʣ • ൒೥લʹ෱ԬʹҾͬӽ͖ͯ͠·ͨ͠ • ػցֶशγεςϜͷύϑΥʔϚϯενϡʔχϯά͕޷͖Ͱ͢ 2
3. ࠷ۙϦϦʔεͨ͠αʔϏε ϓϨεϦϦʔεΑΓ 3
4. ྨࣅը૾ݕࡧγεςϜͷ࡞Γํ 4
5. ྨࣅը૾ݕࡧγεςϜͷ࡞Γํ 1. ը૾ΛϕΫτϧʹม׵͢ΔϞσϧΛ༻ҙ͠·͢ 2. େྔͷը૾ΛϕΫτϧʹม׵ͯ͠ɺϕΫτϧDBʹΠϯσοΫε ͠·͢ 3. ׬੒ʂ 5
6. ྨࣅը૾ݕࡧγεςϜͷ࡞Γํ 1. ը૾ΛϕΫτϧʹม׵͢ΔϞσϧΛ༻ҙ͠·͢ 2. େྔͷը૾ΛϕΫτϧʹม׵ͯ͠ɺϕΫτϧDBʹΠϯσοΫε ͠·͢ → ΦϑϥΠϯόονਪ࿦ 3. ׬੒ʂ 6
7. Part I: ΦϑϥΠϯόονਪ࿦ 7
8. ΦϑϥΠϯόονਪ࿦ RayͷެࣜυΩϡϝϯτΑΓ 8
9. ΦϑϥΠϯόονਪ࿦ʹٻΊΔ΋ͷ • εέʔϥϏϦςΟ • ܭࢉࢿݯͷ༗ޮ׆༻ 9
10. εέʔϥϏϦςΟ 10
11. εέʔϥϏϦςΟͷඞཁੑ • ೖྗσʔλ͸૿͑ଓ͚Δ͕ɺδϣϒʹ͸࣮ߦ੍࣌ؒ໿͕͋Δ • ࣮ߦ੍࣌ؒ໿͕ݫ͘͠ͳ͍ΞυϗοΫͳδϣϒͰ΋ɺܭࢉϦι ʔεΛ௥Ճͯ͠ૣ͘ऴΘΒͤΒΕͨΒخ͍͠ 11
12. ෼ࢄॲཧʹΑΔεέʔϥϏϦςΟͷ֬อ RayͰ͸ෳ਺ϊʔυ͔ΒͳΔΫϥελͰ෼ࢄॲཧ͕Ͱ͖ΔʢԼਤ ͸ެࣜυΩϡϝϯτΑΓʣ 12
13. ܭࢉࢿݯͷ༗ޮ׆༻ 13
14. ಛ௃ྔநग़·Ͱͷεςοϓ 1. μ΢ϯϩʔυ (I/O) 2. લॲཧ (CPU) 3. ಛ௃ྔநग़ (GPU) 14
15. ετϦʔϛϯάॲཧ • ը૾ͷμ΢ϯϩʔυͱલॲཧ͚ͩͰԿ࣌ؒ΋͔͔ΔͷͰɺͦͷ ؒGPUΛ༡͹͓ͤͯ͘ͷ͸΋͍ͬͨͳ͍ • ը૾ͷμ΢ϯϩʔυɺલॲཧɺಛ௃ྔநग़Λ͢΂ͯಉ࣌ʹߦ͍ ͍ͨʢετϦʔϛϯάॲཧʣ 15
16. ετϦʔϛϯάॲཧͷϝϯλϧϞσϧ શࣗಈચ୕ס૩ػ vs ೋ૧ࣜચ୕ػͱચ୕෺ׯ͠ 16
17. ετϦʔϛϯάॲཧͷϝϯλϧϞσϧ શࣗಈચ୕ס૩ػ vs ೋ૧ࣜચ୕ػͱચ୕෺ׯ͠ 17
18. ࣮ࡍͷίʔυ def main(): ray.data.read_parquet(paths) # σʔλͷμ΢ϯϩʔυ .map_batches(preprocess) # લॲཧ .map_batches(extract, num_gpus=1) # ಛ௃ྔநग़ .write_parquet(out_dir) # ਪ࿦݁Ռͷॻ͖ग़͠ 18
19. લ൒ͷ·ͱΊ Ray Dataͷ෼ࢄɾετϦʔϛϯάॲཧʹΑͬͯεέʔϥϏϦςΟ ͱϦιʔεͷ༗ޮ׆༻͕ୡ੒Ͱ͖·͢ʂ 19
20. Part II: ύϑΥʔϚϯενϡʔχϯά 20
21. ϝτϦΫε • εϧʔϓοτʢ࠷ऴతͳλʔήοτʣ • ϓϩηε͝ͱͷCPU࢖༻཰ • GPU࢖༻཰ 21
22. νϡʔχϯάͷྲྀΕ ҎԼͷεςοϓΛ܁Γฦͯͩ͠ΜͩΜεϧʔϓοτΛ্͍͛ͯ͘ 1. δϣϒΛ࣮ߦͯ͠εϧʔϓοτΛܭଌ͢Δ 2. ʢδϣϒͷ࣮ߦதʹʣϘτϧωοΫΛಛఆ͢Δ 3. ϘτϧωοΫΛղফ͢ΔͨΊͷมߋΛՃ͑Δ 22
23. ྫ1: લॲཧ͕ϘτϧωοΫ • ࠷ۙͷGPU͸ΊͪΌͪ͘Ό଎͍ • GPUʹे෼ಇ͔ͤΔͨΊʹ͸1 GPU͋ͨΓ4-12 CPUඞཁʢલॲ ཧͱਪ࿦ͷॏ͞ʹΑͬͯมΘΔʣ 23
24. લॲཧ͕ϘτϧωοΫʹͳ͍ͬͯΔ༷ࢠ • લॲཧϓϩηεͷCPU࢖༻཰͕͢΂ͯ100%ʹͳ͍ͬͯΔ • GPU࢖༻཰͕௿͍ • GPUॲཧΛߦ͏εςʔδͷΩϡʔ͕ۭʹͳ͍ͬͯΔ 24
25. લॲཧϓϩηεͷCPU࢖༻཰ Ray DashboardͷΫϥελλϒͰ֬ೝ 25
26. GPU࢖༻཰͕௿͍ nvidia-smi΍nvitopͰ֬ೝͰ͖Δ 26
27. GPUॲཧͷΩϡʔ͕ۭ 27
28. ͦͷଞͷྫ • ΦϒδΣΫτετΞ͕ᷓΕΔ • reduceܥͷॲཧ͕ඇޮ཰ 28
29. ΦϒδΣΫτετΞ͕ᷓΕΔ • ϓϩηεؒͰσʔλΛड͚౉ͨ͢ΊͷྖҬΛΦϒδΣΫτετ Ξͱ͍͏ • ᷓΕΔͱσΟεΫॻ͖ग़͠଴ͪʹͳΔͷͰ஗͍ 29
30. reduceܥͷॲཧ͕ඇޮ཰ • count, sumͳͲ • map͚ͩRay Dataʹ΍Βͤͯޙॲཧ͸Pandas, PolarsͳͲͰ΍Δ ͜ͱ͕Α͋͘Δ 30
31. ·ͱΊ • ʢલ൒ʣRay Dataͷ෼ࢄɾετϦʔϛϯάॲཧʹΑͬͯεέʔ ϥϏϦςΟͱϦιʔεͷ༗ޮ׆༻͕ୡ੒Ͱ͖Δ • ʢޙ൒ʣύϑΥʔϚϯενϡʔχϯάͷ࣮ྫ • લॲཧ͕ϘτϧωοΫ • ΦϒδΣΫτετΞ͕ᷓΕΔ • reduceܥͷॲཧ͕ඇޮ཰ 31
32. એ఻: DevPods Fukuoka ෱Ԭʹ͍ΔLINEϠϑʔϝϯόʔ͕ϗετ͍ͯ͠ΔϙουΩϟετ ൪૊Ͱ͢ʂ 32