Digdag@表参道.rb #14

表参道.rb #14のLT資料です

Transcript

1. Digdag@දࢀಓ.rb #14 @ariarijp
2. ࣗݾ঺հ • @ariarijp (Takuya Arita) • දࢀಓ.rbࢀՃ͸3ճ໨ɺൃද͸2ճ໨ • ιϑτ΢ΣΞΤϯδχΞ@ίίϥϒϧ
3. ࢓ࣄͷ8ׂ͸όονॲཧ
5. όονॲཧͷͭΒΈ • ஍ຯ • -> ผʹݏ͡Όͳ͍ • CSV • -> ͭΒ͍͚Ͳࠓ೔͸࿩୊ʹ͠ͳ͍ • ґଘؔ܎ͷߟྀ • -> ͭΒ͍
6. Α͋͘Δґଘؔ܎ • όονA, B, C, D, E, F, G͕͋Δ • A, B, C͸ฒྻ࣮ߦͰ͖Δ • D͸A, B, C͕͢΂ͯ׬͔ྃͯ͠Β࣮ߦ • E, F͸D͕׬͔ྃͯ͠Β࣮ߦɺฒྻ࣮ߦͰ͖Δ • G͸E, F͕͢΂ͯ׬͔ྃͯ͠Β࣮ߦ
7. ґଘؔ܎Λ͕Μ͹ͬͯղܾ͢Δ • ௚ྻʹ࣮ߦ • -> ॱ൪͸कΒΕΔ͠ɺΘ͔Γ΍͍͚͢Ͳ஗͍ • εςʔλεΛԿΒ͔ͷܗͰ؅ཧͯ͠ฒྻ࣮ߦΛఘΊͳ͍ • -> ҟৗऴྃͨ࣌͠ͷεςʔλεΫϦΞͳͲͷߟྀ͕໘౗ • ࣮ߦִؒΛௐ੔ͭͭ͠ɺͳʹ͔ى͖ͨΒӡ༻ͰΧόʔ͢ΔલఏͰ crontab΍γΣϧεΫϦϓτΛ࢖ͬͯฒྻ࣮ߦ • ->
8. ͦ͜Ͱ Digdag
9. Digdag • Fluentd, Embulkʹଓ͘Treasure DataϓϩμΫτ • JavaͳͷͰ͍͍ͩͨͲ͜Ͱ΋ಈ͘ɺΠϯετʔϧ΋ָ • YamlͰϫʔΫϑϩʔΛఆٛ͠ɺdigdag runͰ࣮ߦ • όονΛฒྻ࣮ߦɺόοΫάϥ΢ϯυ࣮ߦ͢Δ͜ͱ͕ Ͱ͖ɺґଘؔ܎·ΘΓͷࠔΓࣄ͸Ұ௨ΓϑΥϩʔ͞Ε ͍ͯΔҹ৅
10. Digdagʹ͍ͭͯͷޡղ • TD੡ͰEmbulk΍TD, BigQueryͱ߹Θͤͯ঺ հ͞ΕΔ͜ͱ͕ଟ͍ͨΊɺେྔͷσʔλΛѻ ͏ͨΊͷπʔϧͱࢥΘΕ͕ͪͳͷͰ͸ʁ • Digdag͸ϫʔΫϑϩʔΛ؅ཧͯ͘͠ΕΔ͚ͩ ͳͷͰɺόονॲཧશൠʹར༻Ͱ͖Δ
11. Digdag࢖ͬͯΈͨ • PHPͰॻ͔Ε͍͔ͨͭ͘ͷόονΛ࣮ߦ͢ΔϫʔΫϑϩʔΛ ఆٛ • sh> ΦϖϨʔλʔΛ࢖͑Ε͹PHPͰ΋ͳΜͱ͔ͳΔ • ఆٛͨ͠ϦετΛ࢖ͬͯ܁Γฦ࣮͠ߦͰ͖Δfor_each> ΋ศར • ฒྻԽΛఘΊ͍ͯͨόον΍ɺࠞಱͱͨ͠crontabʹฏ࿨ ͕΋ͨΒ͞Εͨ
12. ࠓ೔͸දࢀಓ.rbͳͷʹ ·ͩRubyͷ࿩ͯ͠ͳ͍ɾɾɾ
13. Ruby API
14. Ruby APIͷ࢖͍ํ • ϫʔΫϑϩʔͷ֤εςοϓͷॲཧΛϝιουͱͯ࣋͠ ͭΫϥεΛॻ͍ͨRubyεΫϦϓτΛಡΈࠐΉ • rb> ΦϖϨʔλʔͰͲͷϝιουΛ࣮ߦ͢Δ͔Λఆٛ ͢Δ • RubyεΫϦϓτ͔ΒϫʔΫϑϩʔ಺Ͱ࢖༻͢Δม਺ Λఆٛͨ͠ΓɺࢠλεΫΛ࡞੒ɾ࣮ߦ͢Δ͜ͱ΋Ͱ͖ Δ
15. Ruby APIͷ஫ҙ఺ • rubyͷύεΛࢦఆͰ͖ͳͦ͞͏ͳͷͰɺrbenvͳͲͰόʔδϣϯΛ ੾Γସ͑Δ • υΩϡϝϯτʹهࡌ͞Ε͍ͯΔαϯϓϧ͸ɺσϑΥϧτ஋ͳ͠ͷ ΩʔϫʔυҾ਺͕͋ͬͨͷͰ2.1Ҏ߱લఏͬΆ͍ • εΫϦϓτ͸ผϓϩηεͰಈ͘ͷͰɺ࣮ߦ݁ՌͳͲΛڞ༗͍ͨ͠৔ ߹͸Digdagͷม਺΍DB, ϑΝΠϧͳͲͰڞ༗͢Δ • Ruby API͔Βઃఆͨ͠ม਺͕഑ྻͩͬͨ৔߹ɺͦͷม਺Λ࢖ͬͯ for_each> Ͱ͙Δ͙Δճ͢ͷ͸Ͱ͖ͳͦ͞͏
16. ͕࣌ؒ͋Ε͹ DigdagͱRuby APIͷσϞ
17. ·ͱΊ • ग़ੈ͠Α͏ͱ͠ͳ͘ͱ΋όονॲཧ͸ͦΕͳ Γʹॻ͘͜ͱʹͳΔ • Digdag͸σʔλΤϯδχΞϦϯάͷ༻్Ҏ֎ Ͱ΋ϫʔΫϑϩʔΤϯδϯͱͯ͠࢖͑Δ • ґଘؔ܎ͷ͋Δͪΐͬͱෳࡶͳόονॲཧ͸ Digdagͷग़൪͔΋
18. ࢀߟࢿྉ • υΩϡϝϯτ • http://www.digdag.io/ • ݹڮః೭͞ΜΠϯλϏϡʔ - Tokyo RubyKaigi 11 #tkrk11 • http://regional.rubykaigi.org/tokyo11/interview/frsyuki/ • DigdagͰruby/pythonؒͰม਺Λ౉͢ • http://qiita.com/toru-takahashi/items/ 418eb5a4dda4e8555a00