行動ログ処理基盤の構築

 行動ログ処理基盤の構築

データとML周辺エンジニアリングを考える会#2の発表資料です。
https://data-engineering.connpass.com/event/136756/
#data_ml_engineering

8274bab3875ee7d5d7482c4aae4f6990?s=128

hsasakawa

July 19, 2019
Tweet

Transcript

  1. ߦಈϩάॲཧج൫ͷߏங Hirohito Sasakawa, data engineer at M3, inc.

  2. ࿩͢͜ͱ w ."*νʔϜͷ঺հ w ߦಈϩάॲཧج൫ͷߏஙʹ͍ͭͯ w ·ͱΊ

  3. M3 AIνʔϜͷ঺հ • ΤϜεϦʔͷαʔϏε (20਺ݸఔ౓͋Δ) ʹରͯ͠
 ԣஅతʹؔΘΓɺػցֶशࢪࡦΛ୲౰͢ΔνʔϜ • ML ΤϯδχΞ

    7ਓ • ػցֶशΞϧΰϦζϜɺ֤छόονͳͲͷ։ൃ୲౰ • Data ΤϯδχΞ 5ਓ • σʔλج൫ɺΠϯϑϥɺΞϓϦͳͲͷ։ൃ୲౰ • ྆ऀ͸͔ͳΓΦʔόʔϥοϓ͋Γ • MLΤϯδχΞ͕σʔλऔಘ༻ͷΞϓϦΛΠϯϑϥ·Ͱ
 ػೳҰ࣮ࣜ૷ͨ͠Γ
  4. M3 AIνʔϜͷ͍͍ͱ͜Ζ • εϐʔυײΛ࣋ͬͯ։ൃ͕Ͱ͖Δ • νʔϜ಺Ͱɺσʔλج൫ͷ؅ཧɺΠϯϑϥߏஙɺ֤छCI࣮૷ɺ
 MLΞϧΰϦζϜͷ࣮૷ɺαʔϏεఏڙɺӡ༻·ͰҰ؏ͯ͠ߦ͏ͨΊ • ࠷ॳͷϦϦʔε (≒

    ABςετ) ·ͰML1ਓɺData1ਓ͕ϖΞͰ
 ϓϩδΣΫτΛਐΊΔ • ίϛϡχέʔγϣϯίετΛ࠷খԽ (ଐਓԽΛڐ༰) ͯ͠ߴ଎લਐ • มͳਓ͕ଟ͍ (๙Ίݴ༿) • όοΫάϥ΢ϯυ: ത࢜ (CS, ਺ֶ)ɺ εύίϯ։ൃɺ఩ֶઐ߈ɺ
 झຯ͕਺ֶ • ࠷ۙ͋ͬͨҿΈձͷ࿩୊: ٖࣅཚ਺ੜ੒ΞϧΰϦζϜʹ͍ͭͯ
  5. AIνʔϜ σʔλΤϯδχΞืूத • ಛʹDataΤϯδχΞืूதʂ • k8sػցֶशج൫ͷ։ൃਐΊͯ·͢ • ઃܭɺΫϥ΢υΠϯϑϥɺόοΫΤϯυ͕
 ಘҙͳํੋඇʂ •

    ΋ͪΖΜMLΤϯδχΞ΋ʂ
  6. ࿩͢͜ͱ w ."*νʔϜͷ঺հ w ߦಈϩάॲཧج൫ͷߏஙʹ͍ͭͯ w ·ͱΊ

  7. ߦಈϩάॲཧج൫ • m3.comͱ͍͏ϙʔλϧαΠτΛӡӦ • ҩࢣݶఆձһ੍αΠτ • αΠτ಺෦ʹෳ਺αʔϏε΁ͷಋઢ͕͋Δ • ߦಈϩάॲཧج൫ •

    ໨త • αʔϏεԣஅͰΦεεϝίϯςϯπΛදࣔ͠ɺ
 ίϯςϯπͷCVΛτϦΨʹαʔϏε͕ΞΫγϣϯ͢Δ • ͓͢͢Ί͸ύʔιφϥΠζ͢Δ • CVͷัଊ͸ۃྗϦΞϧλΠϜ
  8. ߦಈϩάॲཧج൫ͷ՝୊ • ݱࡏͷγεςϜͷ໰୊఺ • γεςϜଆ͔Β֤αʔϏεʹίϯςϯπΛऔಘ͠
 ʹ͍͍ͬͯΔ • γεςϜ͕֤αʔϏεͷࣄ৘Λ஌Γ͍͗ͯͯ͢վम͕େม • αʔϏε։࢝౰ॳʹ։ൃεϐʔυΛॏࢹͨͨ͠Ί

    • ύʔιφϥΠζ͕ɺαʔϏεϨϕϧͰ͔͠Ͱ͖͍ͯͳ͍ • ݱঢ়: A͞Μ͸NewsαʔϏε͕޷͖ • ΍Γ͍ͨ: A͞Μ͸NewsαʔϏεͷ౶೘පͷهࣄ͕޷͖ ৽γεςϜ։ൃͷػӡʂ ։ൃதͷγεςϜΛ঺հ͠·͢
  9. ߦಈϩάॲཧج൫ͷ֓ཁ

  10. ߦಈϩάॲཧج൫ͷߏங αʔϏεଆ͔ΒίϯςϯπΛ QVTIͯ͠΋Β͏ํࣜʹมߋ 
 ˠαʔϏεͷ౎߹Λ
 ྑ͍ײ͡ʹ෼཭

  11. ߦಈϩάॲཧج൫ͷߏங ൃੜ͢ΔϩάΛ1VC4VC΁࿈ܞ

  12. ߦಈϩάॲཧج൫ͷߏங ίϯόʔδϣϯΛ൑ఆ͠ ͯɺαʔϏεଆʹ௨஌͢Δ 1PEΛ༻ҙ

  13. ߦಈϩάॲཧج൫ͷߏங ίϯόʔδϣϯΛ൑ఆ͠ ͯɺαʔϏεଆʹ௨஌͢Δ 1PEΛ༻ҙ ؆୯ͳJGUIFOϧʔϧͳͷͰ ZBNMͷ%4-ͰΨϯΨϯ࡞Ε ΔΑ͏ʹ੔උ

  14. දग़෦෼ͷৄࡉ 0QUJNJ[FS͸αʔϏε͔Β ௨஌͞ΕͨίϯςϯπΛ
 ύʔιφϥΠζ͢Δ ˠίϯςϯπϨϕϧͷ
 ύʔιφϥΠζ͕࣮ݱ

  15. ߦಈϩάॲཧج൫ͷ՝୊ • γεςϜ͸ݱࡏ։ൃத • 9݄຤ϦϦʔεʹ޲͚ͯ2ਓͷData ΤϯδχΞͰ։ൃத • ฒߦͯ͠αʔϏεؒͭͳ͗໨෦෼ͷௐ੔΋࣮ࢪத

  16. ·ͱΊ w ."*νʔϜͷ঺հ w ΞϓϦέʔγϣϯΤϯδχΞ w Πϯϑϥɼඇػೳཁ݅Λ୲౰͢Δ43&΋ืूதʂ w ߦಈϩάॲཧج൫ͷߏஙʹ͍ͭͯ w

    ੹຿Λ͏·͘෼཭ w ίϯςϯπϕʔεͷύʔιφϥΠζ