CTRオンライン予測システムのアーキテクチャ

「Ameba広告システムの裏側見せます - オレシカナイトvol3」発表資料です。
https://cyberagent.connpass.com/event/64176/

Transcript

1. CTRΦϯϥΠϯ༧ଌ γεςϜͷΞʔΩςΫνϟ ΦϨγΧφΠτvol.3 גࣜձࣾαΠόʔΤʔδΣϯτ ྛ ۍ๎
2. ࣗݾ঺հ ྛɹۍ๎ʢ͸΍͠Α͠ͱ΋ʣ αʔόʔαΠυΤϯδχΞ 2011೥ αΠόʔΤʔδΣϯτೖࣾ ೖࣾޙ͍͔ͭ͘ͷwebαʔϏε୲౰ 2015೥͔ΒMDHͰ഑৴ϩδοΫͷվળ
3. ࣗݾ঺հ झຯ ίʔώʔ ՈͰυϦοϓͨ͠Γ ίʔϧυϒϦϡʔ࡞ͬͨΓ Netflix Ξχϝ ΢ΥʔΩϯάɾσου
4. CTRΦϯϥΠϯ༧ଌ γεςϜͷΞʔΩςΫνϟ
5. CTRͱ͸ʁ
6. CTRͱ͸? CTRʢΫϦοΫ཰ʣ CTR = Click / Impression
7. ͳͥ༧ଌ͕ඞཁͳͷ͔ʁ
8. ޿ࠂͷऩӹ ΫϦοΫ՝ۚ ޿ࠂ1ΫϦοΫ͋ͨΓʓʓԁʢCPCʣ
9. ޿ࠂͷऩӹ ΫϦοΫ՝ۚ ޿ࠂ1ΫϦοΫ͋ͨΓʓʓԁʢCPCʣ ΑΓΫϦοΫ͞ΕΔ CPC͕ߴ͍޿ࠂΛ഑৴͍ͨ͠
10. ޿ࠂΛϥϯΩϯά CTR × CPCʹΑΔϥϯΩϯά CTR͸όϯσΟοτΞϧΰϦζϜͰࢉग़ ࣮੷ͷimp, clickΛ࢖༻ ࣮੷ͷूܭ [޿ࠂ࿮ × Ϣʔβʔଐੑ × ޿ࠂ] ຖʹimp, clickΛܭଌ
11. ͜Ε·ͰͷϥϯΩϯάͷ՝୊ ࣮੷͕গͳ͍৔߹ʹ͏·͘࠷దԽ͞Εͳ͍ Ϣʔβʔຖʹ࠷దͳ޿ࠂΛ഑৴ग़དྷ͍ͯͳ͍
12. ػցֶशʹΑΔCTR༧ଌ ਺ଟ͘ͷૉੑΛ௥ՃՄೳ ࣮੷͕গͳͯ͘΋͋Δఔ౓༧ଌՄೳ ύʔιφϥΠζ͞ΕͨϥϯΩϯά
13. ։ൃମ੍ ॳظ γεςϜΤϯδχΞ2ਓ σʔλαΠΤϯςΟετ1ਓʢळ༿ݪϥϘʣ ݱࡏ γεςϜΤϯδχΞ2ʙ3ਓ σʔλαΠΤϯςΟετ2ਓʢळ༿ݪϥϘ1ਓʣ
14. ΞʔΩςΫνϟ
15. ΞʔΩςΫνϟ ֶशσʔλ JoinࡁΈͷ ϩά ϩά ϩά ػցֶश ϝτϦΫε Ϟσϧ ϑΝΠϧ Ϟσϧ ϑΝΠϧ Stream Aggregator Data Joiner Learner Predictor ModelStore
16. Data-Joiner
17. Data-Joinerͷ໾ׂ ޿ࠂ͕click͞Ε͔ͨͲ͏͔Λ൑ఆ͢Δ imp౸ୡޙɺҰఆظؒclickͷ౸ୡΛ଴ͭ impͱclickͷσʔλͷࠩҟΛແ͘͢ refererͷ஋ʹࠩҟ͕͋ͬͨ
18. Apache IgniteΛ࢖༻࣮ͨ͠૷ Event Notifications imp click Stream Data Joiner Aggregator
19. Apache IgniteΛ࢖༻࣮ͨ͠૷ Event Notifications put-event impͷ৔߹͸ TTLΛ5෼ʹઃఆ͠อଘ imp click Stream Data Joiner Aggregator
20. Apache IgniteΛ࢖༻࣮ͨ͠૷ Event Notifications put-event impͷ৔߹͸ TTLΛ5෼ʹઃఆ͠อଘ put-event clickͷ৔߹͸ରԠ͢Δ impΛݕࡧ͠click͞Εͨ impͱͯ͠Aggregatorʹૹ৴ imp click Stream Data Joiner Aggregator
21. Apache IgniteΛ࢖༻࣮ͨ͠૷ Event Notifications put-event impͷ৔߹͸ TTLΛ5෼ʹઃఆ͠อଘ put-event clickͷ৔߹͸ରԠ͢Δ impΛݕࡧ͠click͞Εͨ impͱͯ͠Aggregatorʹૹ৴ expired-event 5෼ܦͬͯ΋click͕དྷͳ͍৔ ߹͸click͞Εͳ͔ͬͨimpͱ ͯ͠Aggregatorʹૹ৴ imp click Stream Data Joiner Aggregator
22. Aggregator
23. Aggregatorͷ໾ׂ ֶशʹඞཁͳσʔλΛऩू ϩά͔Βऔಘग़དྷΔ΋ͷ ϩά͔ΒऔಘͰ͖ͳ͍΋ͷ ऩूͨ͠σʔλΛLearnerʹૹΔ σʔλ͸αϯϓϦϯά͠100݅ͣͭ
24. ϩά͔ΒऔಘՄೳͳσʔλ Ϣʔβʔͷ৘ใ UA, IPΞυϨε, referer, ϦλήϢʔβʔ͔ etc. ޿ࠂͷ৘ใ ۀछID, ޿ࠂओID, ΫϦΤΠςΟϒID etc. ໘ͷ৘ใ ޿ࠂ࿮ID, ϝσΟΞID etc.
25. ϩά͔ΒऔಘෆՄೳͳσʔλ Ϣʔβʔͷ৘ใ σϞάϥʢੑผɾ೥ྸʣ ಠࣗʹ࡞੒ͨ͠ૉੑ ߦಈཤྺΛϕʔεʹͨ͠ϢʔβʔΫϥελ ޿ࠂςΩετΫϥελ
26. Learner
27. Learnerͷ໾ׂ Aggregator͔Βड͚औͬͨσʔλΛ࢖༻͠ϞσϧΛߏங͢Δ ϞσϧΛߏங͢ΔίΞ෦෼͸C++ʢσʔλαΠΤϯςΟ ετ୲౰ʣ 15෼ִؒͰϞσϧΛߋ৽ Ϟσϧ͸ϑΝΠϧͰϞσϧετΞʢS3ʣʹอଘ ػցֶशϝτϦΫεʢauroc, logloss etc.ʣΛDBʹอଘ
28. Learner͕ੜ੒͢Δ ϞσϧϑΝΠϧ ֶश༻ϚελϑΝΠϧʢ12ִ࣌ؒؒͰߋ৽ʣ Learner͸͜ͷϑΝΠϧΛ࢖༻ֶͯ͠श͢Δ ༧ଌ༻ϚελϑΝΠϧʢ12ִ࣌ؒؒͰߋ৽ʣ Predictor͕CTRΛ༧ଌ͢Δࡍʹ࢖༻͢Δ ༧ଌ༻ύονϑΝΠϧ ༧ଌ༻ϚελϑΝΠϧ͔Βͷࠩ෼ϑΝΠϧ ͜ͷϑΝΠϧ͕LearnerʹΑͬͯ15෼ִؒͰߋ৽͞ΕΔ
29. Predictor
30. Predictor ༧ଌʹඞཁͳσʔλΛड͚औΓ༧ଌCTRΛฦ͢API 15෼ִؒͰϞσϧετΞ͔Β࠷৽ͷϞσϧϑΝΠ ϧΛऔಘ͠ߋ৽͢Δ
31. ༧ଌ͕։࢝ग़དྷΔ·Ͱ ىಈ࣌ʹϚελϑΝΠϧΛಡΈࠐΉ ϚελϑΝΠϧಡΈࠐΈޙ͔Β༧ଌՄೳ ϚελϑΝΠϧͷ࠷ऴߋ৽೔͔࣌Βͷࠩ෼ύον ϑΝΠϧΛద༻͍ͯ͘͠ʢ࠷େͰ47ϑΝΠϧʣ 1ύονϑΝΠϧ5ʙ6ඵͰద༻ՄೳͳͷͰɺ5෼ Ҏ಺Ͱ׬ྃ
32. CTR༧ଌγεςϜಋೖޙ
33. CPMൺֱ ϥϯμϜ ࣮੷CTR ༧ଌCTR ࣮੷CTRରൺ໿7ˋվળ ϥϯμϜରൺ໿50ˋվળ
34. CTRൺֱ ࣮੷CTRରൺ໿6ˋվળ ϥϯμϜରൺ໿8ˋվળ ϥϯμϜ ࣮੷CTR ༧ଌCTR
35. ͓·͚
36. Real-Time Optimizer ʢROʣ
37. Real- Time OptimizerʢROʣ 2017೥6݄ϦϦʔε ໨ඪCPAʹ߹ΘͤͯCPCΛࣗಈௐ੔͢Δ
38. CPCͷࢉग़ํ๏ CPC = ໨ඪCPA × CVR ໨ඪCPA 1CVಘΔͷʹࢧ෷ͬͯ΋ྑ͍අ༻ ޿ࠂओ͕ܾఆ CVRʢίϯόʔδϣϯ཰ʣ CV / Click
39. ͜Ε·ͰͷCVRࢉग़ํ๏ աڈ࣮੷ΛݩʹώϡʔϦεςΟοΫͳCVRࢉग़ ޿ࠂ࿮ × ΞΧ΢ϯτຖʹCVRΛࢉग़ ϦλήϢʔβʔͷ৔߹ิਖ਼Ϩʔτ
40. ݱঢ়ͷ՝୊ CV͕ग़ʹ͍͘Ҋ݅ͷ৔߹ʹCVRͷਫ਼౓͕ѱ͍ ৽نΞΧ΢ϯτͷ৔߹࣮੷͕ແ͍໰୊ ۀछશମͷ࣮੷Λࢀর ৽ن޿ࠂ࿮ͷ৔߹ʹ࣮੷͕ͳ͍໰୊ ޿ࠂ࿮άϧʔϓͷ࣮੷Λࢀর
41. CTR༧ଌγεςϜͷࢿ࢈Λ ׆༻ͨ͠CVR༧ଌγεςϜ
42. CVR༧ଌγεςϜ Ϟσϧͷߏங͸೔࣍όονʢBatch-Learnerʣ Clickൃੜ͔ΒCVൃੜ·Ͱͷ͕࣌ؒ௕͍ͷͰϦΞ ϧλΠϜͰֶश͸͠ͳ͍ LearnerͷίΞ෦෼΍ɺੜ੒͞ΕΔϞσϧϑΝΠ ϧɺPredictor͸ͦͷ··࢖༻
43. ΞʔΩςΫνϟ Predictor ModelStore Batch-Learner ϞσϧϑΝΠϧ ϞσϧϑΝΠϧ ػցֶश ϝτϦΫε ֶशσʔλ
44. CVR༧ଌͷঢ়گ ༧ଌCVR ࣮੷CVR ࣮੷CVRରൺ໿3ˋվળ
45. ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠