Google BigQueryを用いた次世代の検索手法

Dev7++ Study Night 第3回 登壇資料
----
公開加筆版 : https://speakerdeck.com/hikawa/google-bigquerywoyong-itaci-shi-dai-falsejian-suo-shou-fa-gong-kai-jia-bi-ban

Transcript

1. Google BigQueryΛ༻͍ͨ ࣍ੈ୅ͷݕࡧख๏
2. ςʔϚ (PPHMF͕ఏڙ͢Δɺେن໛෼ࢄσʔλ΢ΣΞϋ΢ε
3. ςʔϚ ߴ଎ ௿Ձ֨ ϑϧϚωʔδϝϯτ αʔόʔϨε ϖλόΠτڃσʔλ 42-ߏจ
   6%'
4. ςʔϚ ߴ଎ ௿Ձ֨ ϑϧϚωʔδϝϯτ αʔόʔϨε ϖλόΠτڃσʔλ 42-ߏจ
   6%'
5. User Defined Functions 42-ؔ਺Λಠࣗʹ࡞੒͠ɺӡ༻ +BWBTDSJQUɾ42-
6. 'J[[#V[[
   ؔ਺
8. ػցֶश લॲཧ ֶश ਪ࿦
9. ػցֶश લॲཧ ֶश ਪ࿦
10. ೔ຊޠ෼͔ͪॻ͖
    ؔ਺
12. ʮେྔͷσʔλʯʮߴ଎Ͱ҆ՁͳΫϥ΢υ؀ڥʯ Կ͕ग़དྷΔΑ͏ʹͳΔͷ͔ʁ
13. ैདྷͷݕࡧ ςΩετݕࡧ ΧςΰϦɾλάݕࡧ
16. ίϯςϯπͷதͰԿ͕ॏཁ͔ɺߟྀͯ͠ͳ͍ݕࡧ هࣄA MySQL BigQuery هࣄB MySQL BigQuery هࣄC MySQL BigQuery ʹશͯಉ͡ѻ͍
17. ίϯςϯπͷதͰԿ͕ॏཁ͔ɺߟྀͯ͠ͳ͍ݕࡧ هࣄA MySQL BigQuery هࣄB MySQL BigQuery هࣄC MySQL BigQuery ʹશͯಉ͡ѻ͍
18. هࣄD MySQL BigQuery هࣄE MySQL BigQuery هࣄF MySQL BigQuery هࣄG MySQL BigQuery ॏΈΛอ࣋ͨ͠ɺۃΊ͍ͯۙίϯςϯπͷݕࡧ هࣄA MySQL BigQuery
19. ͲͷΑ͏ʹԋࢉ͢Δ͔ʁ ର৅ͱͳΔυΩϡϝϯτ"ͱυΩϡϝϯτ#$%&Λ ൺֱ͠ɺྨࣅ౓ॱʹฒ΂ସ͑Δ
20. ίαΠϯྨࣅ౓ʢίαΠϯڑ཭ʣ O࣍ݩͷϕΫτϧಉ࢜Λൺֱ͠ɺʙͷൣғͰྨࣅ౓ΛٻΊΔ
21. ϕΫτϧΛBigQueryʹ֨ೲ͢Δ Ұൠతʹ͸)BEPPQ΍
    "QBDIF
    4QBSLΛ༻͍ͯ
 ܭࢉͨ͠಺༰Λσʔλ΢ΣΞϋ΢εʹ֨ೲ ϕΫτϧͷܭࢉʹ͸ʮେྔͷσʔλʯʮߴ଎ͳ؀ڥʯ͕ඞཁ
22. ࣮༻Մೳͳ
 4ͭͷख๏
23. έʔε1. Word2Vec จষʹ͓͚Δ୯ޠؒͷҙຯ߹͍ΛϕΫτϧԽ
24. έʔε2. Doc2Vec 8PSE7FDΛ֦ு จষؒͷҙຯ߹͍ΛϕΫτϧԽ
25. έʔε3. TF-IDF จষʹ͓͚Δॏཁ୯ޠͷநग़
26. BigQueryͰυΩϡϝϯτͷϕΫτϧΛٻΊΔ Ͱԋࢉͯ͠ϦΞϧλΠϜʹϕΫτϧԽɾྨࣅ౓൑அ΋Մೳ 5'*%'ͳΒɺશͯͷܭࢉΛ
27. %&.0
28. έʔε4. ػցֶश ίϯςϯπʹ͓͚Δಛ௃ϕΫτϧͷநग़
29. ݶΒΕͨσʔλΛ
 ਓྗͰλά෇͚ ςΩετσʔλ ը૾ Ի੠ ࣌ܥྻσʔλ
30. ݶΒΕͨσʔλΛ
 ਓྗͰλά෇͚ ςΩετσʔλ ը૾ Ի੠ ࣌ܥྻσʔλ
31. ςΩετσʔλ ը૾ Ի੠ ࣌ܥྻσʔλ σʔλΛϕΫτϧԽ͠ɺ
 ػցʹΑΔεϚʔτͳϥϕϧ෇͚
32. ϕΫτϧσʔλʹΑͬͯɺ
 ػց͕ҙຯΛཧղͨ͠ɺ
    εϚʔτͰݡ͍σʔλ΢ΣΞϋ΢ε
33. Ϣʔβ͕ٻΊΔ΋ͷΛɺΑΓ൓ө͍ͤͯ͘͞ ࣍ੈ୅ͷݕࡧख๏
34. Google BigQueryΛ༻͍ͨ ࣍ੈ୅ͷݕࡧख๏ ͝੩ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠
35. ຊ೔࣋ͪؼͬͯ௖͖͍ͨςʔϚ #JH2VFSZ
    6%'
 ϕΫτϧʹΑΔλά෇͚
 ίαΠϯྨࣅ౓
 NFEJCB