$30 off During Our Annual Pro Sale. View Details »

Google BigQueryを用いた次世代の検索手法

Google BigQueryを用いた次世代の検索手法

Kunpei Hikawa

October 30, 2017
Tweet

More Decks by Kunpei Hikawa

Other Decks in Technology

Transcript

  1. Google BigQueryΛ༻͍ͨ ࣍ੈ୅ͷݕࡧख๏

  2. ςʔϚ (PPHMF͕ఏڙ͢Δɺେن໛෼ࢄσʔλ΢ΣΞϋ΢ε

  3. ςʔϚ ߴ଎ ௿Ձ֨ ϑϧϚωʔδϝϯτ αʔόʔϨε ϖλόΠτڃσʔλ 42-ߏจ 6%'

  4. ςʔϚ ߴ଎ ௿Ձ֨ ϑϧϚωʔδϝϯτ αʔόʔϨε ϖλόΠτڃσʔλ 42-ߏจ 6%'

  5. User Defined Functions 42-ؔ਺Λಠࣗʹ࡞੒͠ɺӡ༻ +BWBTDSJQUɾ42-

  6. 'J[[#V[[ؔ਺

  7. None
  8. ػցֶश લॲཧ ֶश ਪ࿦

  9. ػցֶश લॲཧ ֶश ਪ࿦

  10. ೔ຊޠ෼͔ͪॻ͖ؔ਺

  11. None
  12. ʮେྔͷσʔλʯʮߴ଎Ͱ҆ՁͳΫϥ΢υ؀ڥʯ Կ͕ग़དྷΔΑ͏ʹͳΔͷ͔ʁ

  13. ैདྷͷݕࡧ ςΩετݕࡧ ΧςΰϦɾλάݕࡧ

  14. None
  15. None
  16. ίϯςϯπͷதͰԿ͕ॏཁ͔ɺߟྀͯ͠ͳ͍ݕࡧ هࣄA MySQL BigQuery هࣄB MySQL BigQuery هࣄC MySQL BigQuery

    ʹશͯಉ͡ѻ͍
  17. ίϯςϯπͷதͰԿ͕ॏཁ͔ɺߟྀͯ͠ͳ͍ݕࡧ هࣄA MySQL BigQuery هࣄB MySQL BigQuery هࣄC MySQL BigQuery

    ʹશͯಉ͡ѻ͍
  18. هࣄD MySQL BigQuery هࣄE MySQL BigQuery هࣄF MySQL BigQuery هࣄG

    MySQL BigQuery ॏΈΛอ࣋ͨ͠ɺۃΊ͍ͯۙίϯςϯπͷݕࡧ هࣄA MySQL BigQuery
  19. ͲͷΑ͏ʹԋࢉ͢Δ͔ʁ ର৅ͱͳΔυΩϡϝϯτ"ͱυΩϡϝϯτ#$%&Λ ൺֱ͠ɺྨࣅ౓ॱʹฒ΂ସ͑Δ

  20. ίαΠϯྨࣅ౓ʢίαΠϯڑ཭ʣ O࣍ݩͷϕΫτϧಉ࢜Λൺֱ͠ɺʙͷൣғͰྨࣅ౓ΛٻΊΔ

  21. ϕΫτϧΛBigQueryʹ֨ೲ͢Δ Ұൠతʹ͸)BEPPQ΍"QBDIF4QBSLΛ༻͍ͯ
 ܭࢉͨ͠಺༰Λσʔλ΢ΣΞϋ΢εʹ֨ೲ ϕΫτϧͷܭࢉʹ͸ʮେྔͷσʔλʯʮߴ଎ͳ؀ڥʯ͕ඞཁ

  22. ࣮༻Մೳͳ
 4ͭͷख๏

  23. έʔε1. Word2Vec จষʹ͓͚Δ୯ޠؒͷҙຯ߹͍ΛϕΫτϧԽ

  24. έʔε2. Doc2Vec 8PSE7FDΛ֦ு จষؒͷҙຯ߹͍ΛϕΫτϧԽ

  25. έʔε3. TF-IDF จষʹ͓͚Δॏཁ୯ޠͷநग़

  26. BigQueryͰυΩϡϝϯτͷϕΫτϧΛٻΊΔ Ͱԋࢉͯ͠ϦΞϧλΠϜʹϕΫτϧԽɾྨࣅ౓൑அ΋Մೳ 5'*%'ͳΒɺશͯͷܭࢉΛ

  27. %&.0

  28. έʔε4. ػցֶश ίϯςϯπʹ͓͚Δಛ௃ϕΫτϧͷநग़

  29. ݶΒΕͨσʔλΛ
 ਓྗͰλά෇͚ ςΩετσʔλ ը૾ Ի੠ ࣌ܥྻσʔλ

  30. ݶΒΕͨσʔλΛ
 ਓྗͰλά෇͚ ςΩετσʔλ ը૾ Ի੠ ࣌ܥྻσʔλ

  31. ςΩετσʔλ ը૾ Ի੠ ࣌ܥྻσʔλ σʔλΛϕΫτϧԽ͠ɺ
 ػցʹΑΔεϚʔτͳϥϕϧ෇͚

  32. ϕΫτϧσʔλʹΑͬͯɺ
 ػց͕ҙຯΛཧղͨ͠ɺ εϚʔτͰݡ͍σʔλ΢ΣΞϋ΢ε

  33. Ϣʔβ͕ٻΊΔ΋ͷΛɺΑΓ൓ө͍ͤͯ͘͞ ࣍ੈ୅ͷݕࡧख๏

  34. Google BigQueryΛ༻͍ͨ ࣍ੈ୅ͷݕࡧख๏ ͝੩ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠

  35. ຊ೔࣋ͪؼͬͯ௖͖͍ͨςʔϚ #JH2VFSZ 6%'
 ϕΫτϧʹΑΔλά෇͚
 ίαΠϯྨࣅ౓
 NFEJCB