Digdag@表参道.rb #14

Digdag@表参道.rb #14

表参道.rb #14のLT資料です

3a622e726b35fe71480166a16edcb66e?s=128

Takuya Arita

August 05, 2016
Tweet

Transcript

  1. Digdag@දࢀಓ.rb #14 @ariarijp

  2. ࣗݾ঺հ • @ariarijp (Takuya Arita) • දࢀಓ.rbࢀՃ͸3ճ໨ɺൃද͸2ճ໨ • ιϑτ΢ΣΞΤϯδχΞ@ίίϥϒϧ

  3. ࢓ࣄͷ8ׂ͸όονॲཧ

  4. None
  5. όονॲཧͷͭΒΈ • ஍ຯ • -> ผʹݏ͡Όͳ͍ • CSV • ->

    ͭΒ͍͚Ͳࠓ೔͸࿩୊ʹ͠ͳ͍ • ґଘؔ܎ͷߟྀ • -> ͭΒ͍
  6. Α͋͘Δґଘؔ܎ • όονA, B, C, D, E, F, G͕͋Δ •

    A, B, C͸ฒྻ࣮ߦͰ͖Δ • D͸A, B, C͕͢΂ͯ׬͔ྃͯ͠Β࣮ߦ • E, F͸D͕׬͔ྃͯ͠Β࣮ߦɺฒྻ࣮ߦͰ͖Δ • G͸E, F͕͢΂ͯ׬͔ྃͯ͠Β࣮ߦ
  7. ґଘؔ܎Λ͕Μ͹ͬͯղܾ͢Δ • ௚ྻʹ࣮ߦ • -> ॱ൪͸कΒΕΔ͠ɺΘ͔Γ΍͍͚͢Ͳ஗͍ • εςʔλεΛԿΒ͔ͷܗͰ؅ཧͯ͠ฒྻ࣮ߦΛఘΊͳ͍ • ->

    ҟৗऴྃͨ࣌͠ͷεςʔλεΫϦΞͳͲͷߟྀ͕໘౗ • ࣮ߦִؒΛௐ੔ͭͭ͠ɺͳʹ͔ى͖ͨΒӡ༻ͰΧόʔ͢ΔલఏͰ crontab΍γΣϧεΫϦϓτΛ࢖ͬͯฒྻ࣮ߦ • ->
  8. ͦ͜Ͱ Digdag

  9. Digdag • Fluentd, Embulkʹଓ͘Treasure DataϓϩμΫτ • JavaͳͷͰ͍͍ͩͨͲ͜Ͱ΋ಈ͘ɺΠϯετʔϧ΋ָ • YamlͰϫʔΫϑϩʔΛఆٛ͠ɺdigdag runͰ࣮ߦ

    • όονΛฒྻ࣮ߦɺόοΫάϥ΢ϯυ࣮ߦ͢Δ͜ͱ͕ Ͱ͖ɺґଘؔ܎·ΘΓͷࠔΓࣄ͸Ұ௨ΓϑΥϩʔ͞Ε ͍ͯΔҹ৅
  10. Digdagʹ͍ͭͯͷޡղ • TD੡ͰEmbulk΍TD, BigQueryͱ߹Θͤͯ঺ հ͞ΕΔ͜ͱ͕ଟ͍ͨΊɺେྔͷσʔλΛѻ ͏ͨΊͷπʔϧͱࢥΘΕ͕ͪͳͷͰ͸ʁ • Digdag͸ϫʔΫϑϩʔΛ؅ཧͯ͘͠ΕΔ͚ͩ ͳͷͰɺόονॲཧશൠʹར༻Ͱ͖Δ

  11. Digdag࢖ͬͯΈͨ • PHPͰॻ͔Ε͍͔ͨͭ͘ͷόονΛ࣮ߦ͢ΔϫʔΫϑϩʔΛ ఆٛ • sh> ΦϖϨʔλʔΛ࢖͑Ε͹PHPͰ΋ͳΜͱ͔ͳΔ • ఆٛͨ͠ϦετΛ࢖ͬͯ܁Γฦ࣮͠ߦͰ͖Δfor_each> ΋ศར

    • ฒྻԽΛఘΊ͍ͯͨόον΍ɺࠞಱͱͨ͠crontabʹฏ࿨ ͕΋ͨΒ͞Εͨ
  12. ࠓ೔͸දࢀಓ.rbͳͷʹ ·ͩRubyͷ࿩ͯ͠ͳ͍ɾɾɾ

  13. Ruby API

  14. Ruby APIͷ࢖͍ํ • ϫʔΫϑϩʔͷ֤εςοϓͷॲཧΛϝιουͱͯ࣋͠ ͭΫϥεΛॻ͍ͨRubyεΫϦϓτΛಡΈࠐΉ • rb> ΦϖϨʔλʔͰͲͷϝιουΛ࣮ߦ͢Δ͔Λఆٛ ͢Δ •

    RubyεΫϦϓτ͔ΒϫʔΫϑϩʔ಺Ͱ࢖༻͢Δม਺ Λఆٛͨ͠ΓɺࢠλεΫΛ࡞੒ɾ࣮ߦ͢Δ͜ͱ΋Ͱ͖ Δ
  15. Ruby APIͷ஫ҙ఺ • rubyͷύεΛࢦఆͰ͖ͳͦ͞͏ͳͷͰɺrbenvͳͲͰόʔδϣϯΛ ੾Γସ͑Δ • υΩϡϝϯτʹهࡌ͞Ε͍ͯΔαϯϓϧ͸ɺσϑΥϧτ஋ͳ͠ͷ ΩʔϫʔυҾ਺͕͋ͬͨͷͰ2.1Ҏ߱લఏͬΆ͍ • εΫϦϓτ͸ผϓϩηεͰಈ͘ͷͰɺ࣮ߦ݁ՌͳͲΛڞ༗͍ͨ͠৔

    ߹͸Digdagͷม਺΍DB, ϑΝΠϧͳͲͰڞ༗͢Δ • Ruby API͔Βઃఆͨ͠ม਺͕഑ྻͩͬͨ৔߹ɺͦͷม਺Λ࢖ͬͯ for_each> Ͱ͙Δ͙Δճ͢ͷ͸Ͱ͖ͳͦ͞͏
  16. ͕࣌ؒ͋Ε͹ DigdagͱRuby APIͷσϞ

  17. ·ͱΊ • ग़ੈ͠Α͏ͱ͠ͳ͘ͱ΋όονॲཧ͸ͦΕͳ Γʹॻ͘͜ͱʹͳΔ • Digdag͸σʔλΤϯδχΞϦϯάͷ༻్Ҏ֎ Ͱ΋ϫʔΫϑϩʔΤϯδϯͱͯ͠࢖͑Δ • ґଘؔ܎ͷ͋Δͪΐͬͱෳࡶͳόονॲཧ͸ Digdagͷग़൪͔΋

  18. ࢀߟࢿྉ • υΩϡϝϯτ • http://www.digdag.io/ • ݹڮః೭͞ΜΠϯλϏϡʔ - Tokyo RubyKaigi

    11 #tkrk11 • http://regional.rubykaigi.org/tokyo11/interview/frsyuki/ • DigdagͰruby/pythonؒͰม਺Λ౉͢ • http://qiita.com/toru-takahashi/items/ 418eb5a4dda4e8555a00