行動ログ処理基盤の構築

データとML周辺エンジニアリングを考える会#2の発表資料です。
https://data-engineering.connpass.com/event/136756/
#data_ml_engineering

Transcript

1. ߦಈϩάॲཧج൫ͷߏங Hirohito Sasakawa, data engineer at M3, inc.
2. ࿩͢͜ͱ w .
   "*νʔϜͷ঺հ
   w ߦಈϩάॲཧج൫ͷߏஙʹ͍ͭͯ
   w ·ͱΊ
3. M3 AIνʔϜͷ঺հ • ΤϜεϦʔͷαʔϏε (20਺ݸఔ౓͋Δ) ʹରͯ͠
 ԣஅతʹؔΘΓɺػցֶशࢪࡦΛ୲౰͢ΔνʔϜ • ML ΤϯδχΞ 7ਓ • ػցֶशΞϧΰϦζϜɺ֤छόονͳͲͷ։ൃ୲౰ • Data ΤϯδχΞ 5ਓ • σʔλج൫ɺΠϯϑϥɺΞϓϦͳͲͷ։ൃ୲౰ • ྆ऀ͸͔ͳΓΦʔόʔϥοϓ͋Γ • MLΤϯδχΞ͕σʔλऔಘ༻ͷΞϓϦΛΠϯϑϥ·Ͱ
 ػೳҰ࣮ࣜ૷ͨ͠Γ
4. M3 AIνʔϜͷ͍͍ͱ͜Ζ • εϐʔυײΛ࣋ͬͯ։ൃ͕Ͱ͖Δ • νʔϜ಺Ͱɺσʔλج൫ͷ؅ཧɺΠϯϑϥߏஙɺ֤छCI࣮૷ɺ
 MLΞϧΰϦζϜͷ࣮૷ɺαʔϏεఏڙɺӡ༻·ͰҰ؏ͯ͠ߦ͏ͨΊ • ࠷ॳͷϦϦʔε (≒ ABςετ) ·ͰML1ਓɺData1ਓ͕ϖΞͰ
 ϓϩδΣΫτΛਐΊΔ • ίϛϡχέʔγϣϯίετΛ࠷খԽ (ଐਓԽΛڐ༰) ͯ͠ߴ଎લਐ • มͳਓ͕ଟ͍ (๙Ίݴ༿) • όοΫάϥ΢ϯυ: ത࢜ (CS, ਺ֶ)ɺ εύίϯ։ൃɺ఩ֶઐ߈ɺ
 झຯ͕਺ֶ • ࠷ۙ͋ͬͨҿΈձͷ࿩୊: ٖࣅཚ਺ੜ੒ΞϧΰϦζϜʹ͍ͭͯ
5. AIνʔϜ σʔλΤϯδχΞืूத • ಛʹDataΤϯδχΞืूதʂ • k8sػցֶशج൫ͷ։ൃਐΊͯ·͢ • ઃܭɺΫϥ΢υΠϯϑϥɺόοΫΤϯυ͕
 ಘҙͳํੋඇʂ • ΋ͪΖΜMLΤϯδχΞ΋ʂ
6. ࿩͢͜ͱ w .
   "*νʔϜͷ঺հ
   w ߦಈϩάॲཧج൫ͷߏஙʹ͍ͭͯ
   w ·ͱΊ
7. ߦಈϩάॲཧج൫ • m3.comͱ͍͏ϙʔλϧαΠτΛӡӦ • ҩࢣݶఆձһ੍αΠτ • αΠτ಺෦ʹෳ਺αʔϏε΁ͷಋઢ͕͋Δ • ߦಈϩάॲཧج൫ • ໨త • αʔϏεԣஅͰΦεεϝίϯςϯπΛදࣔ͠ɺ
 ίϯςϯπͷCVΛτϦΨʹαʔϏε͕ΞΫγϣϯ͢Δ • ͓͢͢Ί͸ύʔιφϥΠζ͢Δ • CVͷัଊ͸ۃྗϦΞϧλΠϜ
8. ߦಈϩάॲཧج൫ͷ՝୊ • ݱࡏͷγεςϜͷ໰୊఺ • γεςϜଆ͔Β֤αʔϏεʹίϯςϯπΛऔಘ͠
 ʹ͍͍ͬͯΔ • γεςϜ͕֤αʔϏεͷࣄ৘Λ஌Γ͍͗ͯͯ͢վम͕େม • αʔϏε։࢝౰ॳʹ։ൃεϐʔυΛॏࢹͨͨ͠Ί • ύʔιφϥΠζ͕ɺαʔϏεϨϕϧͰ͔͠Ͱ͖͍ͯͳ͍ • ݱঢ়: A͞Μ͸NewsαʔϏε͕޷͖ • ΍Γ͍ͨ: A͞Μ͸NewsαʔϏεͷ౶೘පͷهࣄ͕޷͖ ৽γεςϜ։ൃͷػӡʂ ։ൃதͷγεςϜΛ঺հ͠·͢
9. ߦಈϩάॲཧج൫ͷ֓ཁ
10. ߦಈϩάॲཧج൫ͷߏங αʔϏεଆ͔ΒίϯςϯπΛ QVTIͯ͠΋Β͏ํࣜʹมߋ
    
 ˠ
    αʔϏεͷ౎߹Λ
 ྑ͍ײ͡ʹ෼཭
11. ߦಈϩάॲཧج൫ͷߏங ൃੜ͢ΔϩάΛ1VC4VC΁࿈ܞ
12. ߦಈϩάॲཧج൫ͷߏங ίϯόʔδϣϯΛ൑ఆ͠ ͯɺαʔϏεଆʹ௨஌͢Δ 1PEΛ༻ҙ
13. ߦಈϩάॲཧج൫ͷߏங ίϯόʔδϣϯΛ൑ఆ͠ ͯɺαʔϏεଆʹ௨஌͢Δ 1PEΛ༻ҙ ؆୯ͳJGUIFOϧʔϧͳͷͰ ZBNMͷ%4-ͰΨϯΨϯ࡞Ε ΔΑ͏ʹ੔උ
14. දग़෦෼ͷৄࡉ 0QUJNJ[FS͸αʔϏε͔Β ௨஌͞ΕͨίϯςϯπΛ
 ύʔιφϥΠζ͢Δ
    ˠ
    ίϯςϯπϨϕϧͷ
 ύʔιφϥΠζ͕࣮ݱ
15. ߦಈϩάॲཧج൫ͷ՝୊ • γεςϜ͸ݱࡏ։ൃத • 9݄຤ϦϦʔεʹ޲͚ͯ2ਓͷData ΤϯδχΞͰ։ൃத • ฒߦͯ͠αʔϏεؒͭͳ͗໨෦෼ͷௐ੔΋࣮ࢪத
16. ·ͱΊ w .
    "*νʔϜͷ঺հ
    w ΞϓϦέʔγϣϯΤϯδχΞ
    w Πϯϑϥɼඇػೳཁ݅Λ୲౰͢Δ43&΋ืूதʂ
    w ߦಈϩάॲཧج൫ͷߏஙʹ͍ͭͯ
    w ੹຿Λ͏·͘෼཭
    w ίϯςϯπϕʔεͷύʔιφϥΠζ