ピクシブ流データ活用基盤のこれまでとこれから #pixivTECHSALON / 20190305

0e557ffd26105887d41ada5a5f58cad1?s=47 minamitary
March 05, 2019

ピクシブ流データ活用基盤のこれまでとこれから #pixivTECHSALON / 20190305

pixiv TECH SALON https://techsalon.pixiv.co.jp/
メインセッションで使用した発表資料です。

0e557ffd26105887d41ada5a5f58cad1?s=128

minamitary

March 05, 2019
Tweet

Transcript

  1. ϐΫγϒྲྀσʔλ׆༻ج൫ͷ ͜Ε·Ͱͱ͜Ε͔Β  pixiv.inc minamitary

  2. σʔλ׆༻ج൫ ࠓ೔࿩͢͜ͱ

  3. @minamitary / ৿ా༸հ 2015೥த్ೖࣾ pixivӡӦຊ෦ + σʔλۦಈਪਐࣨ ΤϯδχΞ + UX

    Ϧαʔνϟʔ ྖҬԣஅతͳಈ͖ํΛ͢Δ͜ͱ͕ଟ͍ ࣗݾ঺հ
  4. • 2015೥ɿೖࣾޙʮsenseiʯͷ্ཱͪ͛ʹϦʔυΤϯδχΞͱͯ͠ࢀՃ • 2016೥ɿsenseiͷϦϦʔεޙάϩʔεΛ୲౰ɺͦͷޙʮpixivʯ΁ • Ҏ߱ΫϦΤΠλʔΛத৺ͱͨ͠UXϦαʔνΛओʹ୲౰ • ఆྔతϦαʔνͰBigQueryΛୟ͖࢝Ίͯ໿̏೥ ࣗݾ঺հ ʴ

  5. ͓ֆ͔͖ྺ̏೥

  6. σʔλ׆༻ج൫ ࠓ೔࿩͢͜ͱ

  7. ϐΫγϒʹ͓͚Δσʔλ׆༻ج൫ ≒ BigQuery

  8. • BigQueryʹσʔλΛूΊ͚ͨͩͰ͸μϝ • ࢖ΘΕͳ͚Ε͹σʔλʮ׆༻ʯج൫Ͱ͸ͳ͍ ϐΫγϒʹ͓͚Δσʔλ׆༻ج൫

  9. ʮ׆༻ʯʹͲ͏ཱͪ޲͔͏͔

  10. • ʮ׆༻ʯΛ८ͬͯɺ̏೥ͷؒʹ৭ʑͳมԽ͕͋ͬͨ • ٕज़తͳมԽ͚ͩͰͳ͘ɺ૊৫తͳมԽ΋େ͖͔ͬͨ ϐΫγϒʹ͓͚Δσʔλ׆༻ج൫

  11. • ͜ͷ̏೥Ͱσʔλ׆༻ج൫ʹੜͨ͡มԽ ‣ ٕज़తͳมԽ ‣ ૊৫తͳมԽ • ϐΫγϒʹ͓͚Δσʔλ׆༻ج൫ͷ͜Ε͔Β ࠓ೔࿩͢͜ͱ

  12. ʮΦʔφʔγοϓʯ

  13. Φʔφʔγοϓʁ ୲౰͢ΔϓϩμΫτʹର͢ΔΦʔφʔγοϓ

  14. Φʔφʔγοϓʁ ʮԶ͕͜ͷϓϩμΫτΛੈքҰʹ͢ΔΜ΍ʂʯ

  15. • શ৬छ͕ϢʔβʔΛத৺ʹΈͯಈ͘ • Ϣʔβʔ࠷༏ઌ = ৬छؒͷ͕֞ࠜ௿͍ • ϓϩμΫτѪɾΧϧνϟʔѪ͕ڧ͍ϝϯόʔ͕ଟ͍ લఏɿϐΫγϒͷاۀจԽ

  16. ʮΦʔφʔγοϓ͕ڧ͍ʯ ͱ͍͏ͷ͕ϐΫγϒʹ͓͚Δେલఏ

  17. υϝΠϯཧղ͕σʔλ׆༻ͷਫ਼౓ΛߴΊΔ υϝΠϯཧղͷਂ͍ਓ͕σʔλΛ׆༻͍ͯ͘͠΂͖   Φʔφʔγοϓ͸ͳͥॏཁʁ

  18. Φʔφʔγοϓ͕υϝΠϯཧղΛਂΊΔ ͭ·ΓΦʔφʔγοϓ͕σʔλ׆༻ͷਫ਼౓ΛߴΊΔ Φʔφʔγοϓͷڧ͍։ൃऀ͕σʔλΛ׆༻͍ͯ͘͠΂͖   Φʔφʔγοϓ͸ͳͥॏཁʁ

  19. σʔλ׆༻͸ Φʔφʔγοϓͱηοτ جຊݪଇɿ

  20. ΋͏ҰͭͷϐΫγϒͷಛ௃

  21. ଟछଟ༷ͳϓϩμΫτ

  22. • υϝΠϯྖҬ͸͢΂ͯʮ૑࡞׆ಈʯ • αʔϏεܗଶ͸ҟͳΓͭͭ΋ɺϢʔβʔ૚͸ಉ͡ • Ϣʔβʔ୯ҐͰͷ݁ͼ͚͕ͭେࣄʂ ϐΫγϒͷ๊͑ΔϓϩμΫτ

  23. • ʮσʔλ׆༻͸Φʔφγοϓͱηοτʯ͸ҡ࣋ • σʔλ׆༻ͷʮڮ౉͠ʯ΋ඞཁ ͦΕΏ͑ʹ……

  24. ʮΦʔφʔγοϓʯ ʮڮ౉͠ʯ ೋͭͷϙΠϯτɿ

  25. 1. ͜ͷ3೥Ͱੜͨ͡มԽ ʙٕज़ฤʙ 2. ͜ͷ3೥Ͱੜͨ͡มԽ ʙ૊৫ฤʙ 3. ͜Ε͔Βͷ࿩

  26. ࣌͸ḪΔ͜ͱ3೥……

  27. • σʔλ͸طʹBigQueryʹ৐ͬͯͨ • ར༻։࢝͸2014೥ʂ ٕज़ฤ -3೥લ-

  28. • DBϨϓϦΧΛ౎౓ୟ͘ • Google AnalyticsͷAPIΛୟ͍ͯूܭ • ൿ఻ͷεϓϨουγʔτͷཚཱ • σʔλ΋෦෼తʹ্͔͕͍ͬͯ͠ͳ͍ʂ ʮ׆༻ʯ͸ݶఆత……

  29. 3೥ޙ

  30. σʔλ͸BigQueryʹू໿ JOIN͠์୊ʂ

  31. • ൿ఻ͷεϓϨουγʔτɿ΄΅ফ໓ʂ • ൿ఻ͷूܭεΫϦϓτɿ΄΅ফ໓ʂ • ؅ཧը໘্ʹ఺ࡏ͍ͯͨ͠άϥϑ܈ɿ΄΅ফ໓ʂ • શͯͷσʔλॲཧ͕SQLͰهड़͞ΕΔੈքʹ ෼ੳखஈ΋BigQueryʹ౷Ұ

  32. • WITH۟΍ϏϡʔͰલॲཧΛ؆ུԽ • ࢖͍ճ͠΍͍͢WITH۟Λࢿ࢈ͱͯ͠อଘɾγΣΞ • SQLͷڞ௨ࢿ࢈Խʂ શ͕ͯSQLͰهड़͞ΕΔੈք

  33. • SQL֮͑͑͞Ε͹σʔλΛ׆༻Ͱ͖Δੈք • BigQuery্Ͱσʔλॲཧ͕׬݁ • ϚγϯϦιʔεΛҙࣝ͢Δඞཁ͕ͳ͍ શ͕ͯSQLͰهड़͞ΕΔੈք

  34. • ʮSQLศརʯʮSQLΠέͯΔʯ • ݁ՌϏδωεଆͷਓؒʹ΋SQLར༻͕֦େ • ΦʔφʔγοϓͷԸܙʂ શ͕ͯSQLͰهड़͞ΕΔੈք

  35. ʮڮ౉͠ʯ͠΍͍͢؀ڥ͕Ͱ͖ͨʂ

  36. • ͢΂ͯͷσʔλ͕BigQueryʹू໿͞Εͨ • ෼ੳखஈ͕SQLʹ౷Ұ͞Εͨ • ʮڮ౉͠ʯ͕΍Γ΍͘͢ͳͬͨ ٕज़తͳมԽ·ͱΊ

  37. 1. ͜ͷ3೥Ͱੜͨ͡มԽ ʙٕज़ฤʙ 2. ͜ͷ3೥Ͱੜͨ͡มԽ ʙ૊৫ฤʙ 3. ͜Ε͔Βͷ࿩

  38. ࠶ͼḪΔ͜ͱ3೥……

  39. • ֤෦ॺ͕ͦΕͧΕͰؤுΔ • Ϗδωεܥͷ෦ॺΛத৺ʹσʔλ͕׆༻͞Εͯ͸͍ͨ • μογϡϘʔυɺ؅ཧը໘ɺεϓϨουγʔτͷཚཱ ૊৫ฤ -3೥લ-

  40. എܠɿ૿͑Ώ͘ϓϩμΫτ 9ݸ 2016/01 20ݸ 2019/01 ͜ͷ3೥ؒͰϓϩμΫτͷ਺͸2ഒҎ্ʹ

  41. • ͦΕʹԠͯ͡νʔϜͷ਺΋૿Ճ • νʔϜʹσʔλಘҙϚϯ͕͍ͳ͍ • ยखؒσʔλΤϯδχΞϦϯά എܠɿ૿͑Ώ͘ϓϩμΫτ

  42. ෼ੳઐ໳ͷ෦ॺΛ࡞Δ΂͖ʁ

  43. • جຊݪଇʮσʔλ׆༻͸ΦʔφʔγοϓͱηοτͰʯ • ʮσʔλ͸͋ͷ෦ॺͷਓ͕ݟͯ͘ΕΔʯͱ͍͏ҙࣝ͸ ආ͚͍ͨ ౴͑͸NOʂ

  44. ෼ੳ୲౰ऀ͸֤෦ॺ಺ʹ͍Δ΂͖ ͱ͸͍͑ԣͷܨ͕Γ͸ඞཁ……

  45. ରࡦ

  46. ରࡦ SlackνϟϯωϧΛ࡞͚ͬͨͩ

  47. • ࣾ಺ษڧձ༻ͷSlackνϟϯωϧΛ࡞Δ • ษڧձऴྃޙɺओ࠵ϝϯόʔ͕݁ୗ • ʮσʔλʹڵຯ͋Δਓ͸͜͜ʹདྷͯ͘ΕʂʯΞϐʔϧ ܦҢ

  48. • νϟϯωϧʹਓ͕ू·Γ͸͡ΊΔ • ଟ਺ͷ૬ஊ͕دͤΒΕΔ • ଞ෦ॺͷৄ͍͠ਓ͕ͦΕʹԠ͡ΔจԽ • ʮ͜͜ʹߦ͚͹ղܾ͢Δʯ͞Βʹਓ͕૿͑Δʂ ܦҢ

  49. • ि࣍Ͱ෼ੳ୲౰͕ू·ΔΑ͏ʹ ‣ ৽نσʔληοτ௥Ճͷ࿈བྷ ‣ ৽͍͠μογϡϘʔυͷڞ༗ ‣ BigQueryͷ৽ػೳ঺հ ‣ ௕ظతͳํ਑ܾΊ

    ‣ ͳͲͳͲ   ܦҢ
  50. ઐ໳෦ॺۦಈͰ͸ͳ͍ ࣗൃతͳʮ׆༻ʯج൫ͷվળ

  51.   Why?

  52. • ʮΦʔφʔγοϓʯͱ͍͏ϐΫγϒͷاۀจԽ͋Γ͖ • ʮϓϩμΫτΛ੒௕ͤ͞Δ্Ͱɺඞཁ͔ͩΒ΍Δʯ Why?

  53. • Φʔφʔγοϓ + ϕετϓϥΫςΟεͷಉظ • ʮ͜Ε͕ϕετϓϥΫςΟεʯ͕ಉظ͞ΕΔ͜ͱͰ…… →ʮͪΐͬͱख͕ۭ͖ؾຯͳͷͰΨοͱվળ͓͖ͯ͠·͢ʯ →ʮߋʹϥΫʹͰ͖Δํ๏Λࢥ͍͖ͭ·ͨ͠ʯ →ʮ͜ͷBigQueryͷ৽ػೳ͸ศརͦ͏ͳͷͰ࢖ͬͯΈ·͠ΐ͏ʯ 

     Why?
  54. • ʮΦʔφʔγοϓʯͷൃشઌΛಉظ͢Δඞཁੑ • ͦͷͨΊͷɺSlack౳ʹ͓͚Δʮڮ౉͠ʯͷઃܭ   Why?

  55. • Slackνϟϯωϧ࡞੒͕มԽͷ͖͔͚ͬ • νϟϯωϧʹਓ͕ू·Γɺԣͷ࿈ܞ͕ڧԽ • ʮڮ౉͠ʯʹΑΔϕετϓϥΫςΟεͷಉظ • ʮΦʔφʔγοϓʯϕʔεͰԣஅతͳج൫վળ͕Մೳʹʂ  

    ૊৫తͳมԽ·ͱΊ
  56. 1. ͜ͷ3೥Ͱੜͨ͡มԽ ʙٕज़ฤʙ 2. ͜ͷ3೥Ͱੜͨ͡มԽ ʙ૊৫ฤʙ 3. ͜Ε͔Βͷ࿩

  57. ͦͷલʹ

  58. • ٕज़తͳมԽ͚ͩΛਐΊ͍ͯͨΒ……ʁ • ૊৫తͳมԽ͚ͩΛਐΊ͍ͯͨΒ……ʁ • ͲͪΒ΋ʮ׆༻ʯ͸੒Γཱͨͳ͍ʂ ৼΓฦͬͯΈΔͱ……

  59.   ৼΓฦͬͯΈΔͱ… ٕज़తมԽ ૊৫తมԽ

  60. σʔλ׆༻͸ Φʔφʔγοϓͱηοτ جຊݪଇɿ

  61. ٕज़తมԽ͸ ૊৫తมԽͱηοτ ΋͏Ұͭͷجຊݪଇɿ

  62. 1. ͜ͷ3೥Ͱੜͨ͡มԽ ʙٕज़ฤʙ 2. ͜ͷ3೥Ͱੜͨ͡มԽ ʙ૊৫ฤʙ 3. ͜Ε͔Βͷ࿩

  63. ࡢ೥຤ CTO ෦ॺ࡞ͬͪΌ͓ʂ

  64. ࡢ೥຤ ʮσʔλۦಈਪਐࣨʯͷ஀ੜ

  65. • جຊݪଇʮσʔλ׆༻͸ΦʔφʔγοϓͱηοτͰʯ • ෼ੳͷ࣮຿͸୲౰͠ͳ͍ʂ • ֤෦ॺͷσʔλ׆༻Λαϙʔτɾਪਐ͢Δ໾ׂ • Ϗδωε໘ɾUX໘ɾٕज़໘͢΂͕ͯର৅ʂ σʔλۦಈʮਪਐʯࣨ

  66. None
  67. ΑΓΞΫϩόςΟοΫʹ ʮಈ͚Δʯ Α͏ʹ෦ॺԽ

  68. ۩ମతͳΞϓϩʔν https://inside.pixiv.blog/jaggy/6421 ϢʔβʔʹՁ஋Λ࠷଎Ͱಧ͚ΔͨΊʹɻ ϐΫγϒͷʮσʔλຽओԽʯʹ޲͚ͨ௅ઓ

  69. • ٕज़తͳτϐοΫ΋ͨ͘͞Μ ‣ BigQuery্Ͱେن໛ͳσʔλΛѻ͏ࡍͷϊ΢ϋ΢ ‣ BigQueryपลͰར༻͍ͯ͠Δπʔϧ܈ɾ۩ମతͳ࣮૷಺༰ ‣ ϐΫγϒͳΒͰ͸ͷσʔλ׆༻ࣄྫ͋Ε͜Ε ‣ ͳͲͳͲ……

    • ৄ͘͠ฉ͖͍ͨํ͸࠙਌ձͰʂ   ۩ମతͳΞϓϩʔν
  70. • σʔλ׆༻͸Φʔφʔγοϓͱηοτ • ٕज़తมԽ͸૊৫తมԽͱηοτ • σʔλۦಈਪਐ͕ࣨͰ͖ͨ ·ͱΊ

  71. ࣾһ΋ϓϩμΫτ΋૿͑ଓ͚Δ͚Ͳɺ ʮ૑࡞׆ಈ͕΋ͬͱָ͘͠ͳΔ৔ॴΛ૑Δʯؾ࣋ͪ͸มΘΒͳ͍ɻ ϐΫγϒ͸σʔλͷྗͰ૑࡞׆ಈΛࢧ͍͑ͯ͘ɻ