Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ネット広告配信サービスにおけるMLシステムの実装と運用

 ネット広告配信サービスにおけるMLシステムの実装と運用

Machine Learning System on Online Advertising Platform.

Takashi Nishibayashi

July 13, 2018

Transcript

35 slides
  1. ͓લͩΕΑ Name: Takashi Nishibayashi twitter.com/@hagino3000 Job: Software Engineer VOYAGE GROUPͰωοτ޿ࠂ഑৴αʔϏε࡞ͬͯ

    ·͢ɻओʹ഑৴ϩδοΫ͔Βσʔλ෼ੳج൫·Ͱɻ
 ࠷ۙͷڵຯ͸ϛΫϩܦࡁֶͱϝΧχζϜσβΠϯɻ  
  2. ࠷ۙͷ׆ಈ ਓ޻஌ೳֶձࢽ Vol. 32 No. 4 (2017/07) ͷʮ޿ࠂͱ AI ಛूʯʹʮΞυωοτϫʔΫʹ͓͚Δ޿ࠂ഑৴ܭ

    ըͷ࠷దԽʯ͕ܝࡌ͞Ε·ͨ͠ɻ   ΦϥΠϦʔ͔Βʮ࢓ࣄͰ͸͡ΊΔػցֶशʯ͕ग़· ͨ͠ɻ @chezou, @tokorotenͱڞஶ ࢴ൛ɾిࢠॻ੶྆ํ͋Γ·͢
  3. ωοτ޿ࠂ഑৴γεςϜͱ.- λεΫͷྫ Ϟνϕʔγϣϯ Ξϓϩʔν ΫϦοΫ༧ଌ ޿ࠂ͕ΫϦοΫ͞ΕΔ֬཰͕஌Γ͍ͨ Ϋϥε෼ྨ ίϯόʔδϣϯ༧ଌ ΫϦοΫޙʹίϯόʔδϣϯ͢Δ֬཰͕஌Γ͍ͨ Ϋϥε෼ྨ

    ഑৴͢Δ޿ࠂͷܾఆ ͋ΔظؒͷऩӹΛ࠷େʹ͢ΔͨΊʹɺͲͷ޿ࠂΛ දࣔ͢΂͖͔ܾΊ͍ͨ ଟ࿹όϯσΟοτ ૊߹ͤ࠷దԽ ޿ࠂ࿮ͷΫϥελϦϯά ࣅ͍ͯΔ޿ࠂ࿮Λ·ͱΊͯѻ͍͍ͨ ΫϥελϦϯά ΫϩεσόΠεਪఆ ୺຤Λԣஅͨ͠ΦʔσΟΤϯεͷτϥοΩϯά͕ ͍ͨ͠ ଟΫϥε෼ྨ
  4. ޿ࠂΠϯϓϨογϣϯͷՁ஋ධՁ ޿ࠂഔମ ɾ 441 ഑৴ࣄۀऀ ޿ࠂϦΫΤετ9 ޿ࠂ ޿ࠂ ޿ࠂO 

    ऩӹ༧ଌϩδοΫ ޿ࠂબ୒ϩδοΫ ԁ ԁ ԁ ޿ࠂϨεϙϯε ޿ࠂZ
  5. ޿ࠂϦΫΤετ9 ࿮ɾΦʔσΟΤϯεɾίϯςΩετʜ ʹରͯ͠ɺԠ౴ Մೳͳ޿ࠂ͕Oݸ͋Δɻ͜ͷ࣌ʹͦΕͧΕͷ޿ࠂB㱨\  ʜO^Λදࣔ͠ ͨ࣌ͷऩӹ༧ଌ஋͕ཉ͍͠ɻ ऩӹ༧ଌ஋͸ΫϦοΫ཰ $53 ΍ίϯόʔδϣϯ཰

    $73 ΛͦΕͧΕͷ޿ࠂ ʹ͍ͭͯ༧ଌͯ͠ར༻͢Δɻ CTR = P(click=1 | X, a)
 CVR = P(conversion=1 | X, a, click=1) ͨͩ͠શͯͷॲཧ͕NTҎ಺ʹऴΔࣄ ޿ࠂΠϯϓϨογϣϯͷՁ஋ධՁ ଓ͖
  6. "84&$4$MVTUFS &$*OTUBODF γεςϜߏ੒ 4 $53༧ଌث ܇࿅λεΫ $*%FQMPZ $73༧ଌث ܇࿅λεΫ -VJHJ

    4DIFEVMFS $53༧ଌث +40/ $73༧ଌث +40/ ऩӹ༧ଌϩδοΫ $53༧ଌ ॲཧ $73༧ଌ ॲཧ #JH2VFSZ ഑৴ϩά ϩάͷ&5- 'FUDI %BJMZ 6QEBUF 2VFSZ ܇࿅σʔλ )551 ޿ࠂબ୒ϩδοΫ
  7. શମͷઃܭ w 8FCαʔόʔͰϦΫΤετΛॲཧ͢Δϓϩηε಺Ͱਪ࿦ 4DBMBͰ࣮૷  w ϨΠςϯγͱ҆ఆੑΛ༏ઌ w ଞͷબ୒ࢶͩͱ"1*αʔόʔԽ 

    w ϩδεςΟοΫճؼ -ਖ਼ଇԽ w ഑෍͞Εͨ༧ଌϞσϧΛΦϯϝϞϦͰอ࣋͢Δ w ܇࿅͸σΠϦʔͷόονॲཧ w ೔ʑ௥Ճ͞ΕΔ৽ن޿ࠂΩϟϯϖʔϯɾ৽ن޿ࠂ࿮ʹରԠ͢ΔͨΊຖ೔ ֶशΛ΍Γͳ͓͢ɻݹ͍աڈ͸๨Εͤ͞Δɻ w 1ZUIPOͰ࣮૷
  8. όον࣮ߦ؀ڥ w "84&$4্ͷ%PDLFSίϯςφͰಈ࡞ w 1ZUIPO؀ڥͷ࠶ݱੑ୲อͷͨΊʹ1JQpMFΛ࢖༻ w ϫʔΫϑϩʔΤϯδϯ͸-VJHJΛ࠾༻ w λεΫؒͷґଘղܾ w

    &5-ɾ༧ଌϞσϧͷ܇࿅ɾϞσϧͷ഑෍ͱෳࡶʹͳΓ͕ͪͳॴ w FHར༻͢Δσʔλछʹ͍ͭͯલ೔࣌୆ͷσʔλऔࠐΈ͕ऴͬͨ ΒલॲཧΛ։࢝ɻલॲཧ͕ऴͬͨΒ"ͱ#ͷ܇࿅ΛฒྻͰ։࢝ w ֎෦ཁҼͰίέͨ࣌ͷϦτϥΠɾฒྻ࣮ߦ੍ޚ
  9. ܇࿅ w TDJLJUMFBSOΛ࢖ͬͯϩδεςΟοΫճؼ w ΧςΰϦΧϧม਺ͷPOFIPUFODPEJOHͰ਺ສ࣍ݩʹͳΔ͕ɺ-ਖ਼ଇԽͰ
 ສҎԼ·Ͱམ͍ͪͯΔ w ޿ࠂΩϟϯϖʔϯຖʹ༧ଌثΛ࡞Δ w ঎ࡐ

    ϦλʔήςΟϯάPSʜ ʹΑͬͯ࢖͑Δૉੑ͕ҟͳΔ w ਖ਼ྫෛྫͷόϥϯε͕ͩͬͨΓͩͬͨΓͯ͠Ұॹʹѻ͏ ͷ͕೉͍͠ w $MBTT*NCBMBODFରࡦͱͯ͠/FHBUJWF%PXOTBNQMJOH͍ͯ͠Δ
  10. ܇࿅݁Ռͷ֬ೝ w ࣮ݧ࣌ w 5JNF4FSJFT4QMJUͰ$SPTT7BMJEBUJPO "6$  w ੾ย߲ͷ஋͕पลԽͨ࣌͠ͷ֬཰ͱҰக͍ͯ͠ΔࣄΛ֬ೝ w

    ཉ͍͠ͷ͸֬཰ w શମͷΫϦοΫ཰TJHNPJE ΫϦοΫ༧ଌثͷ੾ย߲ͷ஋ ͳΒ0, w "6$΍MPHMPTT͚ͩݟͯ΋0WFS1SFEJDUJPOʹ͸ؾ͚ͮͳ͍
  11. ༧ଌϞσϧͷ഑෍ w ܇࿅݁Ռ΍ύϥϝʔλΛ+40/ʹͯ͠4ʹ഑ஔ 1SPUPDPM#V⒎FSͷํ͕ྑ͔͔ͬͨ΋ʜ  w ϑΝΠϧͷ಺༰ w ϝλ৘ใ όονॲཧىಈ࣌ࠁɾόʔδϣϯ

     w ඇθϩͷ܎਺ XFJHIU ͱରԠϥϕϧ ֶश݁Ռ  w લॲཧύϥϝʔλ w ࿈ଓม਺ͷฏۉɾ෼ࢄ w /FHBUJWF%PXOTBNQMJOH཰ w όονىಈຖʹϑΝΠϧΛ࢒͍ͯ͠ΔͷͰɺ-BUFTUΛ೚ҙͷ࣌఺ʹ໭ͤΔ
  12. ༧ଌϞσϧͷੑೳ؂ࢹ ଓ͖ w Ϗδωεࢦඪͷ؂ࢹ w ച্ɾૈརɾ$1" ίϯόʔδϣϯ֫ಘ݅͋ͨΓͷίετ  w ༧ଌث͕ࣄۀʹߩݙͰ͖͍ͯΔ͔Θ͔Δ

    w ٸܹʹѱԽͨ͠৔߹ɺେ఍γεςϜʹԿ͔͕ى͖ͯΔ w ༧ଌਫ਼౓ w ࣮ࡍͷ഑৴࣌ͷ༧ଌ஋ͱ഑৴݁ՌΛ࢖ͬͯ޿ࠂΩϟϯϖʔϯຖʹ"6$ ͷ࣌ܥྻΛϓϩοτ w Ωϟϯϖʔϯຖʹϓϩοτ͢ΔࣄͰ঎ࡐʹΑΔ܏޲ͷ͕ࠩݟ͑Δ
  13. ༧ଌϞσϧͷੑೳ؂ࢹ ଓ͖ w ༧ଌثຖͷ࢖༻ঢ়گ w ݺग़ճ਺ɾൃੜച্ ো֐ൃੜ࣌ͷϦΧόϦ༏ઌ౓  w ޿ࠂӡ༻ऀ͕഑৴ϩδοΫ

    ༧ଌث Λબ΂Δέʔε w ྑ͍෺Ͱ΋ʮಈ࡞͕೺ѲͰ͖ͳ͍͔Β࢖ͬͯͳ͍ʯͱ͍͏ࣄ΋͋Δ w ίϛϡχέʔγϣϯऔ͍ͬͯ͘ w ࢖ΘΕͳ͘ͳͬͨ෺͸ୀ໾ͤ͞Δ w ࢖͍ͬͯͳͯ͘΋ҡ࣋අ͕͔͔Δ
  14. ܇࿅σʔλͷ܏޲ͷมԽ w σʔλੜ੒ܦ࿏ͷো֐ w ܇࿅σʔλͷݩʹͳΔ্ྲྀͷϑΟϧλ͕ނো w ܭଌܥͷো֐ FHίϯόʔδϣϯܭଌ͕ࢭ·ͬͨ  w

    ো֐ͳΒ܇࿅σʔλΛ៉ྷʹͯ͠࠶܇࿅͢Δͱੑೳ͕ݩʹ໭Δ w Ϗδωεঢ়گͷมԽ w ༧ଌର৅ͷ܏޲͕มΘͬͨ w ܏޲ͷมԽ͕Θ͔Ε͹࣍ͷҰखΛܾΊ΍͍͢ɻ৳ͼ͠Ζͷ͋Δ෦෼ͷ νϡʔχϯά΍৽ن։ൃʹணखɻ
  15. ΦϑϥΠϯධՁ w ৽͍͠༧ଌثͷ࣮ݧɺϏδωεࢦඪ͕Ͳ͏ͳΔ͔Λ֬ೝ͢Δ w աڈͷ഑৴ϩάΛ࢖ͬͯධՁ w աڈͷ഑৴ϩάߦຖʹ༧ଌ஋Λੜ੒ w #JH2VFSZ͔ΒಡΜͰ#JH2VFSZ΁ॻ͖ࠐΉͷ͸$MPVE%BUBqPX͕ศར w

    ͔͠͠ϩάΛ࢖ͬͨ൓࣮Ծ૝੓ࡦͷධՁ͸ݫີʹ͸Ͱ͖ͳ͍ w ܇࿅σʔλ΁ͷϑΟʔυόοΫ͕γϛϡϨʔτͰ͖ͳ͍ w ඇఆৗੑ w ධՁ݁Ռ͸ࢀߟఔ౓ʹ
  16. ΦϯϥΠϯධՁ w ͪ͜Β͕ຊ໋ w ϩδοΫ ༧ଌث ͷ"#ςετ w ϓϩμΫγϣϯ؀ڥͰαϯϓϧΛແ࡞ҝʹ܈ʹ෼͚ΔϥϯμϜԽൺֱࢼݧ w

    ࣌ؒมԽͷӨڹɾηϨΫγϣϯόΠΞεͷআڈ w ίϯτϩʔϧ܈ͱτϦʔτϝϯτ܈ͷϏδωεࢦඪͷ͕ࠩҼՌޮՌ w ϏδωεΠϯύΫτͰධՁ ౷ܭతʹ༗ҙͰ΋͕ࠩখ͍͞ͱඍົ
  17. ΦϯϥΠϯධՁ w ͪ͜Β͕ຊ໋ w ϩδοΫ ༧ଌث ͷ"#ςετ w ϓϩμΫγϣϯ؀ڥͰαϯϓϧΛແ࡞ҝʹ܈ʹ෼͚ΔϥϯμϜԽൺֱࢼݧ w

    ࣌ؒมԽͷӨڹɾηϨΫγϣϯόΠΞεͷআڈ w ίϯτϩʔϧ܈ͱτϦʔτϝϯτ܈ͷϏδωεࢦඪͷ͕ࠩҼՌޮՌ w ϏδωεΠϯύΫτͰධՁ ౷ܭతʹ༗ҙͰ΋͕ࠩখ͍͞ͱඍົ ஌Γ͍ͨͷ͸ίί ྫૈར͕ͲΕ͚ͩ૿͑Δ͔
  18. ·ͱΊ w ޿ࠂ഑৴αʔόʔͷதͰ༧ଌॲཧ͕ಈ͍͍ͯΔ w ϦϦʔε͔ͯ͠Β΋΍Δࣄ͸ͨ͘͞Μ͋Δ w ো֐ରԠɾػೳվળ w ؂ࢹ͸ॏཁ w

    ݕূɾϦϦʔεɾୀ໾Λ΍Γ΍͘͢ w "#5FTU3FBEZʹ͓ͯ͘͠ͱָ w πϥΠ࿩͋Μ·Γͳ͔ͬͨʜʜ
  19. ࢀߟจݙ <>8BMMBDF #ZSPO$ FUBM$MBTTJNCBMBODF SFEVY%BUB.JOJOH *$%.  *&&&UI*OUFSOBUJPOBM$POGFSFODFPO*&&&  <>$IBQFMMF

    0MJWJFS &SFO.BOBWPHMV BOE3PNFS3PTBMFT4JNQMFBOE TDBMBCMFSFTQPOTFQSFEJDUJPOGPSEJTQMBZBEWFSUJTJOH"$.5SBOTBDUJPOTPO *OUFMMJHFOU4ZTUFNTBOE5FDIOPMPHZ 5*45    <>)F 9JOSBO FUBM1SBDUJDBMMFTTPOTGSPNQSFEJDUJOHDMJDLTPOBETBU GBDFCPPL1SPDFFEJOHTPGUIF&JHIUI*OUFSOBUJPOBM8PSLTIPQPO%BUB .JOJOHGPS0OMJOF"EWFSUJTJOH"$.  <>4DVMMFZ % FUBM)JEEFOUFDIOJDBMEFCUJONBDIJOFMFBSOJOH TZTUFNT"EWBODFTJOOFVSBMJOGPSNBUJPOQSPDFTTJOHTZTUFNT

More Decks by Takashi Nishibayashi

Other Decks in Technology