ピクシブ流データ活用基盤のこれまでとこれから #pixivTECHSALON / 20190305

pixiv TECH SALON https://techsalon.pixiv.co.jp/
メインセッションで使用した発表資料です。

Transcript

1. ϐΫγϒྲྀσʔλ׆༻ج൫ͷ ͜Ε·Ͱͱ͜Ε͔Β  pixiv.inc minamitary
2. σʔλ׆༻ج൫ ࠓ೔࿩͢͜ͱ
3. @minamitary / ৿ా༸հ 2015೥த్ೖࣾ pixivӡӦຊ෦ + σʔλۦಈਪਐࣨ ΤϯδχΞ + UX Ϧαʔνϟʔ ྖҬԣஅతͳಈ͖ํΛ͢Δ͜ͱ͕ଟ͍ ࣗݾ঺հ
4. • 2015೥ɿೖࣾޙʮsenseiʯͷ্ཱͪ͛ʹϦʔυΤϯδχΞͱͯ͠ࢀՃ • 2016೥ɿsenseiͷϦϦʔεޙάϩʔεΛ୲౰ɺͦͷޙʮpixivʯ΁ • Ҏ߱ΫϦΤΠλʔΛத৺ͱͨ͠UXϦαʔνΛओʹ୲౰ • ఆྔతϦαʔνͰBigQueryΛୟ͖࢝Ίͯ໿̏೥ ࣗݾ঺հ ʴ
5. ͓ֆ͔͖ྺ̏೥
6. σʔλ׆༻ج൫ ࠓ೔࿩͢͜ͱ
7. ϐΫγϒʹ͓͚Δσʔλ׆༻ج൫ ≒ BigQuery
8. • BigQueryʹσʔλΛूΊ͚ͨͩͰ͸μϝ • ࢖ΘΕͳ͚Ε͹σʔλʮ׆༻ʯج൫Ͱ͸ͳ͍ ϐΫγϒʹ͓͚Δσʔλ׆༻ج൫
9. ʮ׆༻ʯʹͲ͏ཱͪ޲͔͏͔
10. • ʮ׆༻ʯΛ८ͬͯɺ̏೥ͷؒʹ৭ʑͳมԽ͕͋ͬͨ • ٕज़తͳมԽ͚ͩͰͳ͘ɺ૊৫తͳมԽ΋େ͖͔ͬͨ ϐΫγϒʹ͓͚Δσʔλ׆༻ج൫
11. • ͜ͷ̏೥Ͱσʔλ׆༻ج൫ʹੜͨ͡มԽ ‣ ٕज़తͳมԽ ‣ ૊৫తͳมԽ • ϐΫγϒʹ͓͚Δσʔλ׆༻ج൫ͷ͜Ε͔Β ࠓ೔࿩͢͜ͱ
12. ʮΦʔφʔγοϓʯ
13. Φʔφʔγοϓʁ ୲౰͢ΔϓϩμΫτʹର͢ΔΦʔφʔγοϓ
14. Φʔφʔγοϓʁ ʮԶ͕͜ͷϓϩμΫτΛੈքҰʹ͢ΔΜ΍ʂʯ
15. • શ৬छ͕ϢʔβʔΛத৺ʹΈͯಈ͘ • Ϣʔβʔ࠷༏ઌ = ৬छؒͷ͕֞ࠜ௿͍ • ϓϩμΫτѪɾΧϧνϟʔѪ͕ڧ͍ϝϯόʔ͕ଟ͍ લఏɿϐΫγϒͷاۀจԽ
16. ʮΦʔφʔγοϓ͕ڧ͍ʯ ͱ͍͏ͷ͕ϐΫγϒʹ͓͚Δେલఏ
17. υϝΠϯཧղ͕σʔλ׆༻ͷਫ਼౓ΛߴΊΔ υϝΠϯཧղͷਂ͍ਓ͕σʔλΛ׆༻͍ͯ͘͠΂͖
     Φʔφʔγοϓ͸ͳͥॏཁʁ
18. Φʔφʔγοϓ͕υϝΠϯཧղΛਂΊΔ ͭ·ΓΦʔφʔγοϓ͕σʔλ׆༻ͷਫ਼౓ΛߴΊΔ Φʔφʔγοϓͷڧ͍։ൃऀ͕σʔλΛ׆༻͍ͯ͘͠΂͖
     Φʔφʔγοϓ͸ͳͥॏཁʁ
19. σʔλ׆༻͸ Φʔφʔγοϓͱηοτ جຊݪଇɿ
20. ΋͏ҰͭͷϐΫγϒͷಛ௃
21. ଟछଟ༷ͳϓϩμΫτ
22. • υϝΠϯྖҬ͸͢΂ͯʮ૑࡞׆ಈʯ • αʔϏεܗଶ͸ҟͳΓͭͭ΋ɺϢʔβʔ૚͸ಉ͡ • Ϣʔβʔ୯ҐͰͷ݁ͼ͚͕ͭେࣄʂ ϐΫγϒͷ๊͑ΔϓϩμΫτ
23. • ʮσʔλ׆༻͸Φʔφγοϓͱηοτʯ͸ҡ࣋ • σʔλ׆༻ͷʮڮ౉͠ʯ΋ඞཁ ͦΕΏ͑ʹ……
24. ʮΦʔφʔγοϓʯ ʮڮ౉͠ʯ ೋͭͷϙΠϯτɿ
25. 1. ͜ͷ3೥Ͱੜͨ͡มԽ ʙٕज़ฤʙ 2. ͜ͷ3೥Ͱੜͨ͡มԽ ʙ૊৫ฤʙ 3. ͜Ε͔Βͷ࿩
26. ࣌͸ḪΔ͜ͱ3೥……
27. • σʔλ͸طʹBigQueryʹ৐ͬͯͨ • ར༻։࢝͸2014೥ʂ ٕज़ฤ -3೥લ-
28. • DBϨϓϦΧΛ౎౓ୟ͘ • Google AnalyticsͷAPIΛୟ͍ͯूܭ • ൿ఻ͷεϓϨουγʔτͷཚཱ • σʔλ΋෦෼తʹ্͔͕͍ͬͯ͠ͳ͍ʂ ʮ׆༻ʯ͸ݶఆత……
29. 3೥ޙ
30. σʔλ͸BigQueryʹू໿ JOIN͠์୊ʂ
31. • ൿ఻ͷεϓϨουγʔτɿ΄΅ফ໓ʂ • ൿ఻ͷूܭεΫϦϓτɿ΄΅ফ໓ʂ • ؅ཧը໘্ʹ఺ࡏ͍ͯͨ͠άϥϑ܈ɿ΄΅ফ໓ʂ • શͯͷσʔλॲཧ͕SQLͰهड़͞ΕΔੈքʹ ෼ੳखஈ΋BigQueryʹ౷Ұ
32. • WITH۟΍ϏϡʔͰલॲཧΛ؆ུԽ • ࢖͍ճ͠΍͍͢WITH۟Λࢿ࢈ͱͯ͠อଘɾγΣΞ • SQLͷڞ௨ࢿ࢈Խʂ શ͕ͯSQLͰهड़͞ΕΔੈք
33. • SQL֮͑͑͞Ε͹σʔλΛ׆༻Ͱ͖Δੈք • BigQuery্Ͱσʔλॲཧ͕׬݁ • ϚγϯϦιʔεΛҙࣝ͢Δඞཁ͕ͳ͍ શ͕ͯSQLͰهड़͞ΕΔੈք
34. • ʮSQLศརʯʮSQLΠέͯΔʯ • ݁ՌϏδωεଆͷਓؒʹ΋SQLར༻͕֦େ • ΦʔφʔγοϓͷԸܙʂ શ͕ͯSQLͰهड़͞ΕΔੈք
35. ʮڮ౉͠ʯ͠΍͍͢؀ڥ͕Ͱ͖ͨʂ
36. • ͢΂ͯͷσʔλ͕BigQueryʹू໿͞Εͨ • ෼ੳखஈ͕SQLʹ౷Ұ͞Εͨ • ʮڮ౉͠ʯ͕΍Γ΍͘͢ͳͬͨ ٕज़తͳมԽ·ͱΊ
37. 1. ͜ͷ3೥Ͱੜͨ͡มԽ ʙٕज़ฤʙ 2. ͜ͷ3೥Ͱੜͨ͡มԽ ʙ૊৫ฤʙ 3. ͜Ε͔Βͷ࿩
38. ࠶ͼḪΔ͜ͱ3೥……
39. • ֤෦ॺ͕ͦΕͧΕͰؤுΔ • Ϗδωεܥͷ෦ॺΛத৺ʹσʔλ͕׆༻͞Εͯ͸͍ͨ • μογϡϘʔυɺ؅ཧը໘ɺεϓϨουγʔτͷཚཱ ૊৫ฤ -3೥લ-
40. എܠɿ૿͑Ώ͘ϓϩμΫτ 9ݸ 2016/01 20ݸ 2019/01 ͜ͷ3೥ؒͰϓϩμΫτͷ਺͸2ഒҎ্ʹ
41. • ͦΕʹԠͯ͡νʔϜͷ਺΋૿Ճ • νʔϜʹσʔλಘҙϚϯ͕͍ͳ͍ • ยखؒσʔλΤϯδχΞϦϯά എܠɿ૿͑Ώ͘ϓϩμΫτ
42. ෼ੳઐ໳ͷ෦ॺΛ࡞Δ΂͖ʁ
43. • جຊݪଇʮσʔλ׆༻͸ΦʔφʔγοϓͱηοτͰʯ • ʮσʔλ͸͋ͷ෦ॺͷਓ͕ݟͯ͘ΕΔʯͱ͍͏ҙࣝ͸ ආ͚͍ͨ ౴͑͸NOʂ
44. ෼ੳ୲౰ऀ͸֤෦ॺ಺ʹ͍Δ΂͖ ͱ͸͍͑ԣͷܨ͕Γ͸ඞཁ……
45. ରࡦ
46. ରࡦ SlackνϟϯωϧΛ࡞͚ͬͨͩ
47. • ࣾ಺ษڧձ༻ͷSlackνϟϯωϧΛ࡞Δ • ษڧձऴྃޙɺओ࠵ϝϯόʔ͕݁ୗ • ʮσʔλʹڵຯ͋Δਓ͸͜͜ʹདྷͯ͘ΕʂʯΞϐʔϧ ܦҢ
48. • νϟϯωϧʹਓ͕ू·Γ͸͡ΊΔ • ଟ਺ͷ૬ஊ͕دͤΒΕΔ • ଞ෦ॺͷৄ͍͠ਓ͕ͦΕʹԠ͡ΔจԽ • ʮ͜͜ʹߦ͚͹ղܾ͢Δʯ͞Βʹਓ͕૿͑Δʂ ܦҢ
49. • ि࣍Ͱ෼ੳ୲౰͕ू·ΔΑ͏ʹ ‣ ৽نσʔληοτ௥Ճͷ࿈བྷ ‣ ৽͍͠μογϡϘʔυͷڞ༗ ‣ BigQueryͷ৽ػೳ঺հ ‣ ௕ظతͳํ਑ܾΊ ‣ ͳͲͳͲ
     ܦҢ
50. ઐ໳෦ॺۦಈͰ͸ͳ͍ ࣗൃతͳʮ׆༻ʯج൫ͷվળ
51. 
     Why?
52. • ʮΦʔφʔγοϓʯͱ͍͏ϐΫγϒͷاۀจԽ͋Γ͖ • ʮϓϩμΫτΛ੒௕ͤ͞Δ্Ͱɺඞཁ͔ͩΒ΍Δʯ Why?
53. • Φʔφʔγοϓ + ϕετϓϥΫςΟεͷಉظ • ʮ͜Ε͕ϕετϓϥΫςΟεʯ͕ಉظ͞ΕΔ͜ͱͰ…… →ʮͪΐͬͱख͕ۭ͖ؾຯͳͷͰΨοͱվળ͓͖ͯ͠·͢ʯ →ʮߋʹϥΫʹͰ͖Δํ๏Λࢥ͍͖ͭ·ͨ͠ʯ →ʮ͜ͷBigQueryͷ৽ػೳ͸ศརͦ͏ͳͷͰ࢖ͬͯΈ·͠ΐ͏ʯ
     Why?
54. • ʮΦʔφʔγοϓʯͷൃشઌΛಉظ͢Δඞཁੑ • ͦͷͨΊͷɺSlack౳ʹ͓͚Δʮڮ౉͠ʯͷઃܭ
     Why?
55. • Slackνϟϯωϧ࡞੒͕มԽͷ͖͔͚ͬ • νϟϯωϧʹਓ͕ू·Γɺԣͷ࿈ܞ͕ڧԽ • ʮڮ౉͠ʯʹΑΔϕετϓϥΫςΟεͷಉظ • ʮΦʔφʔγοϓʯϕʔεͰԣஅతͳج൫վળ͕Մೳʹʂ
     ૊৫తͳมԽ·ͱΊ
56. 1. ͜ͷ3೥Ͱੜͨ͡มԽ ʙٕज़ฤʙ 2. ͜ͷ3೥Ͱੜͨ͡มԽ ʙ૊৫ฤʙ 3. ͜Ε͔Βͷ࿩
57. ͦͷલʹ
58. • ٕज़తͳมԽ͚ͩΛਐΊ͍ͯͨΒ……ʁ • ૊৫తͳมԽ͚ͩΛਐΊ͍ͯͨΒ……ʁ • ͲͪΒ΋ʮ׆༻ʯ͸੒Γཱͨͳ͍ʂ ৼΓฦͬͯΈΔͱ……
59. 
     ৼΓฦͬͯΈΔͱ… ٕज़తมԽ ૊৫తมԽ
60. σʔλ׆༻͸ Φʔφʔγοϓͱηοτ جຊݪଇɿ
61. ٕज़తมԽ͸ ૊৫తมԽͱηοτ ΋͏Ұͭͷجຊݪଇɿ
62. 1. ͜ͷ3೥Ͱੜͨ͡มԽ ʙٕज़ฤʙ 2. ͜ͷ3೥Ͱੜͨ͡มԽ ʙ૊৫ฤʙ 3. ͜Ε͔Βͷ࿩
63. ࡢ೥຤ CTO ෦ॺ࡞ͬͪΌ͓ʂ
64. ࡢ೥຤ ʮσʔλۦಈਪਐࣨʯͷ஀ੜ
65. • جຊݪଇʮσʔλ׆༻͸ΦʔφʔγοϓͱηοτͰʯ • ෼ੳͷ࣮຿͸୲౰͠ͳ͍ʂ • ֤෦ॺͷσʔλ׆༻Λαϙʔτɾਪਐ͢Δ໾ׂ • Ϗδωε໘ɾUX໘ɾٕज़໘͢΂͕ͯର৅ʂ σʔλۦಈʮਪਐʯࣨ
67. ΑΓΞΫϩόςΟοΫʹ ʮಈ͚Δʯ Α͏ʹ෦ॺԽ
68. ۩ମతͳΞϓϩʔν https://inside.pixiv.blog/jaggy/6421 ϢʔβʔʹՁ஋Λ࠷଎Ͱಧ͚ΔͨΊʹɻ ϐΫγϒͷʮσʔλຽओԽʯʹ޲͚ͨ௅ઓ
69. • ٕज़తͳτϐοΫ΋ͨ͘͞Μ ‣ BigQuery্Ͱେن໛ͳσʔλΛѻ͏ࡍͷϊ΢ϋ΢ ‣ BigQueryपลͰར༻͍ͯ͠Δπʔϧ܈ɾ۩ମతͳ࣮૷಺༰ ‣ ϐΫγϒͳΒͰ͸ͷσʔλ׆༻ࣄྫ͋Ε͜Ε ‣ ͳͲͳͲ…… • ৄ͘͠ฉ͖͍ͨํ͸࠙਌ձͰʂ
     ۩ମతͳΞϓϩʔν
70. • σʔλ׆༻͸Φʔφʔγοϓͱηοτ • ٕज़తมԽ͸૊৫తมԽͱηοτ • σʔλۦಈਪਐ͕ࣨͰ͖ͨ ·ͱΊ
71. ࣾһ΋ϓϩμΫτ΋૿͑ଓ͚Δ͚Ͳɺ ʮ૑࡞׆ಈ͕΋ͬͱָ͘͠ͳΔ৔ॴΛ૑Δʯؾ࣋ͪ͸มΘΒͳ͍ɻ ϐΫγϒ͸σʔλͷྗͰ૑࡞׆ಈΛࢧ͍͑ͯ͘ɻ