行動ログ処理基盤の構築

by hsasakawa

Slide 1

Slide 1 text

ߦಈϩάॲཧج൫ͷߏங Hirohito Sasakawa, data engineer at M3, inc.

Slide 2

Slide 2 text

࿩͢͜ͱ w ."*νʔϜͷ঺հ w ߦಈϩάॲཧج൫ͷߏஙʹ͍ͭͯ w ·ͱΊ

Slide 3

Slide 3 text

M3 AIνʔϜͷ঺հ • ΤϜεϦʔͷαʔϏε (20਺ݸఔ౓͋Δ) ʹରͯ͠  ԣஅతʹؔΘΓɺػցֶशࢪࡦΛ୲౰͢ΔνʔϜ • ML ΤϯδχΞ 7ਓ • ػցֶशΞϧΰϦζϜɺ֤छόονͳͲͷ։ൃ୲౰ • Data ΤϯδχΞ 5ਓ • σʔλج൫ɺΠϯϑϥɺΞϓϦͳͲͷ։ൃ୲౰ • ྆ऀ͸͔ͳΓΦʔόʔϥοϓ͋Γ • MLΤϯδχΞ͕σʔλऔಘ༻ͷΞϓϦΛΠϯϑϥ·Ͱ  ػೳҰ࣮ࣜ૷ͨ͠Γ

Slide 4

Slide 4 text

M3 AIνʔϜͷ͍͍ͱ͜Ζ • εϐʔυײΛ࣋ͬͯ։ൃ͕Ͱ͖Δ • νʔϜ಺Ͱɺσʔλج൫ͷ؅ཧɺΠϯϑϥߏஙɺ֤छCI࣮૷ɺ  MLΞϧΰϦζϜͷ࣮૷ɺαʔϏεఏڙɺӡ༻·ͰҰ؏ͯ͠ߦ͏ͨΊ • ࠷ॳͷϦϦʔε (≒ ABςετ) ·ͰML1ਓɺData1ਓ͕ϖΞͰ  ϓϩδΣΫτΛਐΊΔ • ίϛϡχέʔγϣϯίετΛ࠷খԽ (ଐਓԽΛڐ༰) ͯ͠ߴ଎લਐ • มͳਓ͕ଟ͍ (๙Ίݴ༿) • όοΫάϥ΢ϯυ: ത࢜ (CS, ਺ֶ)ɺ εύίϯ։ൃɺ఩ֶઐ߈ɺ  झຯ͕਺ֶ • ࠷ۙ͋ͬͨҿΈձͷ࿩୊: ٖࣅཚ਺ੜ੒ΞϧΰϦζϜʹ͍ͭͯ

Slide 5

Slide 5 text

AIνʔϜ σʔλΤϯδχΞืूத • ಛʹDataΤϯδχΞืूதʂ • k8sػցֶशج൫ͷ։ൃਐΊͯ·͢ • ઃܭɺΫϥ΢υΠϯϑϥɺόοΫΤϯυ͕  ಘҙͳํੋඇʂ • ΋ͪΖΜMLΤϯδχΞ΋ʂ

Slide 6

Slide 6 text

࿩͢͜ͱ w ."*νʔϜͷ঺հ w ߦಈϩάॲཧج൫ͷߏஙʹ͍ͭͯ w ·ͱΊ

Slide 7

Slide 7 text

ߦಈϩάॲཧج൫ • m3.comͱ͍͏ϙʔλϧαΠτΛӡӦ • ҩࢣݶఆձһ੍αΠτ • αΠτ಺෦ʹෳ਺αʔϏε΁ͷಋઢ͕͋Δ • ߦಈϩάॲཧج൫ • ໨త • αʔϏεԣஅͰΦεεϝίϯςϯπΛදࣔ͠ɺ  ίϯςϯπͷCVΛτϦΨʹαʔϏε͕ΞΫγϣϯ͢Δ • ͓͢͢Ί͸ύʔιφϥΠζ͢Δ • CVͷัଊ͸ۃྗϦΞϧλΠϜ

Slide 8

Slide 8 text

ߦಈϩάॲཧج൫ͷ՝୊ • ݱࡏͷγεςϜͷ໰୊఺ • γεςϜଆ͔Β֤αʔϏεʹίϯςϯπΛऔಘ͠  ʹ͍͍ͬͯΔ • γεςϜ͕֤αʔϏεͷࣄ৘Λ஌Γ͍͗ͯͯ͢վम͕େม • αʔϏε։࢝౰ॳʹ։ൃεϐʔυΛॏࢹͨͨ͠Ί • ύʔιφϥΠζ͕ɺαʔϏεϨϕϧͰ͔͠Ͱ͖͍ͯͳ͍ • ݱঢ়: A͞Μ͸NewsαʔϏε͕޷͖ • ΍Γ͍ͨ: A͞Μ͸NewsαʔϏεͷ౶೘පͷهࣄ͕޷͖ ৽γεςϜ։ൃͷػӡʂ ։ൃதͷγεςϜΛ঺հ͠·͢

Slide 9

Slide 9 text

ߦಈϩάॲཧج൫ͷ֓ཁ

Slide 10

Slide 10 text

ߦಈϩάॲཧج൫ͷߏங αʔϏεଆ͔ΒίϯςϯπΛ QVTIͯ͠΋Β͏ํࣜʹมߋ   ˠαʔϏεͷ౎߹Λ  ྑ͍ײ͡ʹ෼཭

Slide 11

Slide 11 text

ߦಈϩάॲཧج൫ͷߏங ൃੜ͢ΔϩάΛ1VC4VC΁࿈ܞ

Slide 12

Slide 12 text

ߦಈϩάॲཧج൫ͷߏங ίϯόʔδϣϯΛ൑ఆ͠ ͯɺαʔϏεଆʹ௨஌͢Δ 1PEΛ༻ҙ

Slide 13

Slide 13 text

ߦಈϩάॲཧج൫ͷߏங ίϯόʔδϣϯΛ൑ఆ͠ ͯɺαʔϏεଆʹ௨஌͢Δ 1PEΛ༻ҙ ؆୯ͳJGUIFOϧʔϧͳͷͰ ZBNMͷ%4-ͰΨϯΨϯ࡞Ε ΔΑ͏ʹ੔උ

Slide 14

Slide 14 text

දग़෦෼ͷৄࡉ 0QUJNJ[FS͸αʔϏε͔Β ௨஌͞ΕͨίϯςϯπΛ  ύʔιφϥΠζ͢Δ ˠίϯςϯπϨϕϧͷ  ύʔιφϥΠζ͕࣮ݱ

Slide 15

Slide 15 text

ߦಈϩάॲཧج൫ͷ՝୊ • γεςϜ͸ݱࡏ։ൃத • 9݄຤ϦϦʔεʹ޲͚ͯ2ਓͷData ΤϯδχΞͰ։ൃத • ฒߦͯ͠αʔϏεؒͭͳ͗໨෦෼ͷௐ੔΋࣮ࢪத

Slide 16

Slide 16 text

·ͱΊ w ."*νʔϜͷ঺հ w ΞϓϦέʔγϣϯΤϯδχΞ w Πϯϑϥɼඇػೳཁ݅Λ୲౰͢Δ43&΋ืूதʂ w ߦಈϩάॲཧج൫ͷߏஙʹ͍ͭͯ w ੹຿Λ͏·͘෼཭ w ίϯςϯπϕʔεͷύʔιφϥΠζ