Digdag@表参道.rb #14

Transcript

1. Digdag@දࢀಓ.rb #14 @ariarijp

2. ࣗݾ঺հ • @ariarijp (Takuya Arita) • දࢀಓ.rbࢀՃ͸3ճ໨ɺൃද͸2ճ໨ • ιϑτ΢ΣΞΤϯδχΞ@ίίϥϒϧ

3. ࢓ࣄͷ8ׂ͸όονॲཧ

4. None

5. όονॲཧͷͭΒΈ • ஍ຯ • -> ผʹݏ͡Όͳ͍ • CSV • ->

   ͭΒ͍͚Ͳࠓ೔͸࿩୊ʹ͠ͳ͍ • ґଘؔ܎ͷߟྀ • -> ͭΒ͍

6. Α͋͘Δґଘؔ܎ • όονA, B, C, D, E, F, G͕͋Δ •

   A, B, C͸ฒྻ࣮ߦͰ͖Δ • D͸A, B, C͕͢΂ͯ׬͔ྃͯ͠Β࣮ߦ • E, F͸D͕׬͔ྃͯ͠Β࣮ߦɺฒྻ࣮ߦͰ͖Δ • G͸E, F͕͢΂ͯ׬͔ྃͯ͠Β࣮ߦ

7. ґଘؔ܎Λ͕Μ͹ͬͯղܾ͢Δ • ௚ྻʹ࣮ߦ • -> ॱ൪͸कΒΕΔ͠ɺΘ͔Γ΍͍͚͢Ͳ஗͍ • εςʔλεΛԿΒ͔ͷܗͰ؅ཧͯ͠ฒྻ࣮ߦΛఘΊͳ͍ • ->

   ҟৗऴྃͨ࣌͠ͷεςʔλεΫϦΞͳͲͷߟྀ͕໘౗ • ࣮ߦִؒΛௐ੔ͭͭ͠ɺͳʹ͔ى͖ͨΒӡ༻ͰΧόʔ͢ΔલఏͰ crontab΍γΣϧεΫϦϓτΛ࢖ͬͯฒྻ࣮ߦ • ->

8. ͦ͜Ͱ Digdag

9. Digdag • Fluentd, Embulkʹଓ͘Treasure DataϓϩμΫτ • JavaͳͷͰ͍͍ͩͨͲ͜Ͱ΋ಈ͘ɺΠϯετʔϧ΋ָ • YamlͰϫʔΫϑϩʔΛఆٛ͠ɺdigdag runͰ࣮ߦ

   • όονΛฒྻ࣮ߦɺόοΫάϥ΢ϯυ࣮ߦ͢Δ͜ͱ͕ Ͱ͖ɺґଘؔ܎·ΘΓͷࠔΓࣄ͸Ұ௨ΓϑΥϩʔ͞Ε ͍ͯΔҹ৅

10. Digdagʹ͍ͭͯͷޡղ • TD੡ͰEmbulk΍TD, BigQueryͱ߹Θͤͯ঺ հ͞ΕΔ͜ͱ͕ଟ͍ͨΊɺେྔͷσʔλΛѻ ͏ͨΊͷπʔϧͱࢥΘΕ͕ͪͳͷͰ͸ʁ • Digdag͸ϫʔΫϑϩʔΛ؅ཧͯ͘͠ΕΔ͚ͩ ͳͷͰɺόονॲཧશൠʹར༻Ͱ͖Δ

11. Digdag࢖ͬͯΈͨ • PHPͰॻ͔Ε͍͔ͨͭ͘ͷόονΛ࣮ߦ͢ΔϫʔΫϑϩʔΛ ఆٛ • sh> ΦϖϨʔλʔΛ࢖͑Ε͹PHPͰ΋ͳΜͱ͔ͳΔ • ఆٛͨ͠ϦετΛ࢖ͬͯ܁Γฦ࣮͠ߦͰ͖Δfor_each> ΋ศར

    • ฒྻԽΛఘΊ͍ͯͨόον΍ɺࠞಱͱͨ͠crontabʹฏ࿨ ͕΋ͨΒ͞Εͨ

12. ࠓ೔͸දࢀಓ.rbͳͷʹ ·ͩRubyͷ࿩ͯ͠ͳ͍ɾɾɾ

13. Ruby API

14. Ruby APIͷ࢖͍ํ • ϫʔΫϑϩʔͷ֤εςοϓͷॲཧΛϝιουͱͯ࣋͠ ͭΫϥεΛॻ͍ͨRubyεΫϦϓτΛಡΈࠐΉ • rb> ΦϖϨʔλʔͰͲͷϝιουΛ࣮ߦ͢Δ͔Λఆٛ ͢Δ •

    RubyεΫϦϓτ͔ΒϫʔΫϑϩʔ಺Ͱ࢖༻͢Δม਺ Λఆٛͨ͠ΓɺࢠλεΫΛ࡞੒ɾ࣮ߦ͢Δ͜ͱ΋Ͱ͖ Δ

15. Ruby APIͷ஫ҙ఺ • rubyͷύεΛࢦఆͰ͖ͳͦ͞͏ͳͷͰɺrbenvͳͲͰόʔδϣϯΛ ੾Γସ͑Δ • υΩϡϝϯτʹهࡌ͞Ε͍ͯΔαϯϓϧ͸ɺσϑΥϧτ஋ͳ͠ͷ ΩʔϫʔυҾ਺͕͋ͬͨͷͰ2.1Ҏ߱લఏͬΆ͍ • εΫϦϓτ͸ผϓϩηεͰಈ͘ͷͰɺ࣮ߦ݁ՌͳͲΛڞ༗͍ͨ͠৔

    ߹͸Digdagͷม਺΍DB, ϑΝΠϧͳͲͰڞ༗͢Δ • Ruby API͔Βઃఆͨ͠ม਺͕഑ྻͩͬͨ৔߹ɺͦͷม਺Λ࢖ͬͯ for_each> Ͱ͙Δ͙Δճ͢ͷ͸Ͱ͖ͳͦ͞͏

16. ͕࣌ؒ͋Ε͹ DigdagͱRuby APIͷσϞ

17. ·ͱΊ • ग़ੈ͠Α͏ͱ͠ͳ͘ͱ΋όονॲཧ͸ͦΕͳ Γʹॻ͘͜ͱʹͳΔ • Digdag͸σʔλΤϯδχΞϦϯάͷ༻్Ҏ֎ Ͱ΋ϫʔΫϑϩʔΤϯδϯͱͯ͠࢖͑Δ • ґଘؔ܎ͷ͋Δͪΐͬͱෳࡶͳόονॲཧ͸ Digdagͷग़൪͔΋

18. ࢀߟࢿྉ • υΩϡϝϯτ • http://www.digdag.io/ • ݹڮః೭͞ΜΠϯλϏϡʔ - Tokyo RubyKaigi

    11 #tkrk11 • http://regional.rubykaigi.org/tokyo11/interview/frsyuki/ • DigdagͰruby/pythonؒͰม਺Λ౉͢ • http://qiita.com/toru-takahashi/items/ 418eb5a4dda4e8555a00