Parallel::Pipesの紹介

2025/05/31 Houtou.pm #1

1. Parallel::Pipesͷ঺հ Shoichi Kaji
2. ໨࣍ • Perlͷฒྻ/ฒߦॲཧ • PerlͷforkϞδϡʔϧ • Parallel::ForkManager • Parallel::Prefork • ฒྻCPANΫϥΠΞϯτΛ࡞Γ͍ͨʂ • Parallel::PipesΛ࡞ͬͨ • ೔ʑͷPerlεΫϦϓτʹ΋ฒྻॲཧΛ
3. Perlͷฒྻ/ฒߦॲཧ • Perlʹ͸ҰԠthread͕͋Δ͕ɺ5.20ΑΓެࣜʹ discouragedͱͳ͍ͬͯΔ • Πϕϯτۦಈʹؔͯ͠͸ɺPerlຊମʹͦͷαϙʔτ͸ ͳ͍͕ɺ͍͔ͭ͘ͷ࣭ͷߴ͍Ϟδϡʔϧ͕ͦͷػೳΛ ఏڙ͍ͯ͠Δ: AnyEvent, Mojo, IO::Async, etc • forkͯ͠ෳ਺ϓϩηε্ཱͪ͛ɺͦΕͰฒྻॲཧΛ͢ Δબ୒ࢶ΋΋ͪΖΜ͋Δɻࠓ೔͸͜͜Λѻ͍͍ͨ
4. PerlͷforkϞδϡʔϧ • forkͯ͠ෳ਺ͷchildϓϩηεΛىಈ͠ɺchildϓϩηεͷ؅ཧɺ σʔλͷड͚౉͠Λखॿ͚ͯ͘͠ΕΔϞδϡʔϧͱͯ͠༗໊ͳ΋ͷ2બ • Parallel::ForkManager • Balazs Szabo͞Μ࡞ • ͔ͳΓੲ͔Β͋ΔϞδϡʔϧ • Parallel::Prefork • Oku Kazuho͞Μ࡞ • HTTP server StartletͰ࢖ΘΕ͍ͯΔ
5. Parallel::ForkManager • preforkͰ͸ͳ͘ॲཧͷͨͼʹ ຖճforkΛݺͿελΠϧ • ൺֱతCLIͳͲͰ࢖ΘΕΔ Πϝʔδ • fi leܦ༝Ͱchildϓϩηεͷ ݁ՌΛड͚औΕΔ
6. Parallel::ForkManager ॲཧ։࢝ ॲཧऴྃ parent child child child child parent childʹೖྗσʔλΛ౉͢ child͔Β݁ՌσʔλΛड͚औΔ
7. Parallel::Prefork • σʔϞϯϓϩηε༻ • childϓϩηεͷ؂ࢹ • γάφϧϋϯυϦϯά • childϓϩηε਺ΛҰఆʹอͭ • parent, childϓϩηεؒͰͷ σʔλͷड͚౉͠ػೳ͸༗͍ͯ͠ͳ͍
8. Parallel::Prefork ॲཧ։࢝ ॲཧऴྃ parent child child child child childΛ؂ࢹ͢Δ child
9. ฒྻCPANΫϥΠΞϯτΛ࡞Γ͍ͨ! • CPANϞδϡʔϧΛฒྻʹΠϯετʔϧͰ͖ΔCPAN client cpmΛ࡞ͬͨ • "CPANϞδϡʔϧΠϯετʔϧ"ΛɺͦΕࣗ਎͸ಠཱ࣮ͯ͠ߦͰ͖Δࡉ͔͍λεΫʹΘ͚ɺͦΕ Λฒྻʹॲཧ͍ͯ͘͠ઓུΛͨͯͨɻͱͳΔͱࡉ͔͍λεΫΛͲΜͲΜchildϓϩηεʹ౤͛ Δɺॲཧ͕ऴΘͬͨΒଈ࠲ʹ݁ՌΛಘΔɺͱ͍͏࢓૊Έ͕ཉ͍͠ • Parallel::ForkManager ? • childϓϩηεىಈ࣌ʹλεΫΛ1ͭ౉ͤΔͷΈͰԿ౓΋౉ͤͳ͍ • ݁Ռͷड͚औΓ͕ fi leϕʔεͩͱɺ݁Ռ͕ग़͍ͯΔ͜ͱʹଈ࠲ʹؾ෇͚ͳ͍ • Parallel::Prefork ? • childϓϩηεͱͷσʔλͷ΍ΓͱΓͷػߏ͸༻ҙ͞Ε͍ͯͳ͍ • childϓϩηεΛ؂ࢹͯ͠΄͍͠Θ͚Ͱ͸ͳ͍
10. ฒྻCPANΫϥΠΞϯτΛ࡞Γ͍ͨ! ॲཧ։࢝ ॲཧऴྃ parent child child child child childͱ૒ํ޲ʹσʔλΛ΍ΓͱΓ͍ͨ͠ childͷॲཧ͕ऴΘͬͨ͜ͱΛଈ࠲ʹݕ஌͍ͨ͠ -> pipeͱselectͰ࣮ݱͰ͖ͦ͏ʂ child
11. Parallel::Pipes • Parallel::PipesΛ࡞ͬͨ • preforkͨ͠childϓϩηεͱ pipeͰ૒ํ޲ʹ઀ଓ͠ taskɺ݁Ռͷड͚౉͠Λߦ͏ɻ pipeΛselect͠ɺॲཧऴྃΛ ଈ࠲ʹݕ஌͢Δ • Parallel::Pipes͸cpmͷதͰ࢖ΘΕ cpmͷ଎ͦ͞ͷ΋ͷͱͳ͍ͬͯΔ
12. Parallel::Pipes • cpmͰͷParallel::Pipesͷ࢖͍ํ͸ ͋Δtaskͷ׬͕ྃผͷtaskΛੜΉ ؔ܎্ɺٕ޼తͰ͋Δ • ҰํͰParallel::Pipes::App->map͸ ୯ʹ૊ΈࠐΈؔ਺mapͷฒྻ൛ ͱࢥͬͯ࢖͏͜ͱ΋Ͱ͖Δ •
13. ೔ʑͷPerlεΫϦϓτʹ΋ ฒྻॲཧΛ • Perl͸better shellͱݴΘΕΔ • Έͳ͞Μ೔ʑͷࡉʑͨ͠λεΫΛPerlεΫϦϓτΛॻ͘͜ͱͰ͜ͳ͍ͯ͠Δͱࢥ͏ • ͦ͏ͨ͠εΫϦϓτͰฒྻॲཧΛॻ͘ͷ͸ɺͳ͔ͳ͔ͳ͍Α͏ʹࢥ͏ • ҰํͰ Parallel::Pipes::App->mapΛ͔ͳΓͷέʔεͰɺ ૊ΈࠐΈؔ਺mapͷdrop in replacement ͱͯ͠࢖͑Δ • ͪΐͬͱͨ͠΋ͷͰ΋ฒྻԽ͠଎͘ͳΔͱɺલఏ͕มΘΔ 😉 • ೔ʑͷPerlεΫϦϓτʹ΋ฒྻॲཧΛೖΕͯΈΔͷ͸Ͳ͏ ? • ྫ: https://github.com/skaji/binary-install/blob/main/src/lib/App.pm#L500 https://github.com/skaji/build.pl/blob/main/src/lib/App.pm#L242
14. ·ͱΊ • PerlͷฒྻॲཧϞδϡʔϧParallel::PipesΛ঺հ ͨ͠ • cpm಺෦Ͱ޼Έʹ࢖ΘΕ͍ͯΔ • ҰํɺͦΕ͸૊ΈࠐΈؔ਺mapͷ͓खܰฒྻ൛ͱ ͯ͠࢖͏͜ͱ΋Ͱ͖Δ • ೔ʑͷPerlεΫϦϓτͰ΋ฒྻॲཧΛ 😉