Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Google BigQueryを用いた次世代の検索手法 - 公開加筆版

Google BigQueryを用いた次世代の検索手法 - 公開加筆版

Dev7++ Study Night 第3回 登壇資料 公開加筆版
[スライド右下のコメント枠内に加筆しています]
----
発表時資料 : https://speakerdeck.com/hikawa/google-bigquerywoyong-itaci-shi-dai-falsejian-suo-shou-fa-1

Kunpei Hikawa

October 30, 2017
Tweet

More Decks by Kunpei Hikawa

Other Decks in Technology

Transcript

  1. Google BigQueryΛ༻͍ͨ ࣍ੈ୅ͷݕࡧख๏ ! Mediba System Development Department Kumpei Hikawa

    hikawa@mediba.jp ͜ͷӈԼίϝϯτ࿮͸ɺ ެ։ࢿྉ༻ͱͯ͠ɺ ௥هɾิ଍ͨ͠΋ͷͰ͢
  2. ςʔϚ (PPHMF͕ఏڙ͢Δɺେن໛෼ࢄσʔλ΢ΣΞϋ΢ε ࣗݾ঺հɿ
 ൃදऀ͸ɺגࣜձࣾNFEJCBॴଐ ࡀαʔόΤϯδχΞͷṤ઒Ͱ͢ ॳ-5Ͱ͢ʂ

  3. ςʔϚ ߴ଎ ௿Ձ֨ ϑϧϚωʔδϝϯτ αʔόʔϨε ϖλόΠτڃσʔλ 42-ߏจ 6%' ಛʹେ͖ͳར఺ͱͯ͠͸ɺ Ϋϥελ؅ཧෆཁͳ఺ͱ

    6%'ͱݴ͑·͢
  4. ςʔϚ ߴ଎ ௿Ձ֨ ϑϧϚωʔδϝϯτ αʔόʔϨε ϖλόΠτڃσʔλ 42-ߏจ 6%' ಛʹେ͖ͳར఺ͱͯ͠͸ɺ Ϋϥελ؅ཧෆཁͳ఺ͱ

    6%'ͱݴ͑·͢
  5. User Defined Functions 42-ؔ਺Λಠࣗʹ࡞੒͠ɺӡ༻ +BWBTDSJQUɾ42- ूܭ΍จࣈྻ੍ޚͳͲΛɺ #JH2VFSZͷ෼ࢄԋࢉ ؀ڥԼͰಈ͔ͤ·͢

  6. 'J[[#V[[ؔ਺ $ ʮؔ਺Λ࡞੒ɾ֦ு͢Δʯ ͱ͍͏఺ʹ͓͍ͯɺ ཧղ͠΍͍͢ 'J[[#V[[Λྫʹग़͠·͢

  7. +BWBTDSJQU͕ॻ͚Δ ΤϯδχΞͰ͋Ε͹ɺ ෳࡶͳॲཧΛ42-ߏจ͔Β ෼཭ͤ͞Δ͜ͱ͕ग़དྷ·͢

  8. ػցֶश લॲཧ ֶश ਪ࿦ ػցֶशͰ΋6%'Λ
 ׆༻Ͱ͖Δ৔໘͕
 ͍͔ͭ͋͘Γ·͢

  9. ػցֶश લॲཧ ֶश ਪ࿦ ػցֶशͰ΋6%'Λ
 ׆༻Ͱ͖Δ৔໘͕
 ͍͔ͭ͋͘Γ·͢

  10. ೔ຊޠ෼͔ͪॻ͖ؔ਺ લॲཧ͕ ग़དྷ͍ͯ·͢Ͷʂ

  11. ! +TϥΠϒϥϦͱͯ͠༗໊ͳ
 5JOZ4FHNFOUFSΛ ར༻ͤͯ͞௖͖·ͨ͠
 D 5BLV,VEP

  12. ʮେྔͷσʔλʯʮߴ଎Ͱ҆ՁͳΫϥ΢υ؀ڥʯ Կ͕ग़དྷΔΑ͏ʹͳΔͷ͔ʁ ຊ୊ʹೖΓ·͢

  13. ैདྷͷݕࡧ ςΩετݕࡧ ΧςΰϦɾλάݕࡧ ͋Γ͕ͪͳ ख๏Ͱ͢

  14. ! ීஈ͓ੈ࿩ʹͳ͍ͬͯΔ ͋ͷαΠτ

  15. ! Կ͕࣍ੈ୅Ͱ͸ ແ͍ͷͰ͠ΐ͏͔ʁ

  16. ίϯςϯπͷதͰԿ͕ॏཁ͔ɺߟྀͯ͠ͳ͍ݕࡧ هࣄA MySQL BigQuery هࣄB MySQL BigQuery هࣄC MySQL BigQuery

    ʹશͯಉ͡ѻ͍ ͭ·Γɺ ୯ޠͷ ൑ఆͰ͢ɻ
  17. ίϯςϯπͷதͰԿ͕ॏཁ͔ɺߟྀͯ͠ͳ͍ݕࡧ هࣄA MySQL BigQuery هࣄB MySQL BigQuery هࣄC MySQL BigQuery

    ʹશͯಉ͡ѻ͍ ΋͏গ͠ݡ͘ ͳͬͯ໯͍͍ͨ
  18. هࣄD MySQL BigQuery هࣄE MySQL BigQuery هࣄF MySQL BigQuery هࣄG

    MySQL BigQuery ॏΈΛอ࣋ͨ͠ɺۃΊ͍ͯۙίϯςϯπͷݕࡧ هࣄA MySQL BigQuery Կ͕ॏཁ͔ɺ൑அͯ͠ ݕࡧ͕ग़དྷΕ͹ ྑͦ͞͏Ͱ͢
  19. ͲͷΑ͏ʹԋࢉ͢Δ͔ʁ ର৅ͱͳΔυΩϡϝϯτ"ͱυΩϡϝϯτ#$%&Λ ൺֱ͠ɺྨࣅ౓ॱʹฒ΂ସ͑Δ $ ίϯςϯπ಺ͷಛ௃Λ ߟྀͯ͠ɺ ྨࣅ౓ΛٻΊΔख๏͕ඞཁͰ͢

  20. ίαΠϯྨࣅ౓ʢίαΠϯڑ཭ʣ O࣍ݩͷϕΫτϧಉ࢜Λൺֱ͠ɺʙͷൣғͰྨࣅ౓ΛٻΊΔ σʔλΛϕΫτϧԽͯ͠ λάԽͨ͠΋ͷΛ ར༻͢Ε͹ྑͦ͞͏Ͱ͢

  21. ϕΫτϧΛBigQueryʹ֨ೲ͢Δ Ұൠతʹ͸)BEPPQ΍"QBDIF4QBSLΛ༻͍ͯ
 ܭࢉͨ͠಺༰Λσʔλ΢ΣΞϋ΢εʹ֨ೲ͢Δ ϕΫτϧͷܭࢉʹ͸ʮେྔͷσʔλʯʮߴ଎ͳ؀ڥʯ͕ඞཁ #JH2VFSZͷߴ଎͞Λ׆͔͠ɺ ϕΫτϧͷൺֱ΍ܭࢉΛ ߦ͍͖ͬͯ·͠ΐ͏ $

  22. ࣮༻Մೳͳ
 4ͭͷख๏ ୅දతͳ΋ͷΛઆ໌͠·͢

  23. έʔε1. Word2Vec จষʹ͓͚Δ୯ޠؒͷҙຯ߹͍ΛϕΫτϧԽ จ຺Λར༻ͨ͠ݕࡧ͕ ՄೳʹͳΓ·͢

  24. έʔε2. Doc2Vec 8PSE7FDΛ֦ு จষؒͷҙຯ߹͍ΛϕΫτϧԽ ίϯςϯπ จষ Λԣஅͨ͠ จ຺ݕࡧ͕ՄೳͰ͢ɻ

  25. έʔε3. TF-IDF จষʹ͓͚Δॏཁ୯ޠͷநग़ ௿ෛՙͰɺࣅͨจষͷݕࡧΛ ߴ͍ਫ਼౓Ͱ࣮ݱͰ͖·͢

  26. BigQueryͰυΩϡϝϯτͷϕΫτϧΛٻΊΔ Ͱԋࢉͯ͠ϦΞϧλΠϜʹϕΫτϧԽɾྨࣅ౓൑அ΋Մೳ 5'*%'ͳΒɺશͯͷܭࢉΛ #JH2VFSZ͚ͩͰ׬݁ͨ͠ ϨίϝϯυΤϯδϯ͕࡞Ε·͢

  27. %&.0 #JH2VFSZͷΈͰɺ ॏཁޠ۟ͷநग़ͱ
 ྨࣅίϯςϯπͷݕࡧ

  28. έʔε4. ػցֶश ίϯςϯπʹ͓͚Δಛ௃ϕΫτϧͷநग़ ಠࣗͷϞσϧΛར༻͢Δ ͜ͱ΋໪࿦ՄೳͰ͢

  29. ݶΒΕͨσʔλΛ
 ਓྗͰλά෇͚ ςΩετσʔλ ը૾ Ի੠ ࣌ܥྻσʔλ ·ͱΊͰ͢ɻ
 ࠓ·Ͱͷݕࡧ͸͜͏Ͱͨ͠

  30. ݶΒΕͨσʔλΛ
 ਓྗͰλά෇͚ ςΩετσʔλ ը૾ Ի੠ ࣌ܥྻσʔλ ͦΖͦΖࣙΊ·͠ΐ͏ʂ

  31. ςΩετσʔλ ը૾ Ի੠ ࣌ܥྻσʔλ σʔλΛϕΫτϧԽ͠ɺ
 ػցʹΑΔεϚʔτͳϥϕϧ෇͚ $ ػցʹ೚ͤͯ ࣗಈͰλάʢϕΫτϧʣΛ ෇͚͍͖ͯ·͠ΐ͏

  32. ϕΫτϧσʔλʹΑͬͯɺ
 ػց͕ҙຯΛཧղͨ͠ɺ εϚʔτͰݡ͍σʔλ΢ΣΞϋ΢ε ैདྷͱҧ͍ɺػց͕ҙຯΛ ཧղͰ͖ΔΑ͏ʹʂ

  33. Ϣʔβ͕ٻΊΔ΋ͷΛɺΑΓ൓ө͍ͤͯ͘͞ ࣍ੈ୅ͷݕࡧख๏ ΑΓൃలͨ͠ݕࡧख๏Λ ࣮ݱग़དྷΔΑ͏ʹ
 ੔උ͍͖ͯ͠·͠ΐ͏

  34. Google BigQueryΛ༻͍ͨ ࣍ੈ୅ͷݕࡧख๏ ͝੩ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ ! ͓ಡΈ௖͖ ͋Γ͕ͱ͏͍͟͝·ͨ͠

  35. ຊ೔࣋ͪؼͬͯ௖͖͍ͨςʔϚ #JH2VFSZ 6%'
 ϕΫτϧʹΑΔλά෇͚
 ίαΠϯྨࣅ౓
 NFEJCB ͜ͷΑ͏ͳ෼໺ʹڵຯ͕͋Γ·ͨ͠Βɺ ͍ͭͰ΋͓੠͕͚Լ͍͞ ɹIJLBXB!NFEJCBKQ
 


    ौ୩ͷϛʔτΞοϓͰ͓ձ͍͠·͠ΐ͏ʂ Mediba System Development Department Kumpei Hikawa hikawa@mediba.jp