プロダクト分析サービスの超高速集計レイヤーとしてのTiDB - 株式会社プレイド - TiDB User Day 2023

イベント開催日：2023年7月7日
講演者：株式会社プレイド　Lead Product Engineer　小川 拓也 氏

CXプラットフォームを開発および運営するPLAIDでは「データによって人の価値を最大化する」というミッションのもとKARTEというプロダクトをはじめ様々な製品開発を行っています。その中でもユーザーを理解するための機能群は重要な位置付けであり、大量データを扱う技術基盤やそれらを活用した分析機能の開発によって、より解像度の高いユーザー理解の上でより良いサービス提供ができる環境の実現を目指しています。このスライドでは、新規開発しているProductAnalyticsサービスにおいて大量の行動ログを超高速かつ柔軟に分析処理するデータベースの1つとしてTiDBを採用したモチベーションやポテンシャルをお話しします。

アーカイブ動画：https://youtu.be/ZbSwGu25BtE

Transcript

1. 1 ϓϩμΫτ෼ੳαʔϏεͷ ௒ߴ଎ूܭϨΠϠʔͱͯ͠ͷTiDB גࣜձࣾϓϨΠυɹখ઒ ୓໵ ɹɹʛɹɹ© PLAID Inc. 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ
2. ɹɹʛɹɹ© 2019 PLAID Inc. 2 ࣗݾ঺հ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ ɹɹʛɹɹ© PLAID Inc. খ઒ ୓໵ Lead Product Engineer @ 2009೥ʹϠϑʔʹ৽ଔೖࣾ͠ɺΤϯδχΞͱͯ͠޿ࠂγεςϜ΍toCαʔϏεͷ։ൃɾӡ༻ɾϚ ωʔδϝϯτ౳ʹैࣄɻ ͦͷޙ2019೥12݄ʹϓϨΠυʹೖࣾ͠ɺϢʔβʔ෼ੳͷػೳͰ͋ΔʮKARTE Insightʯ΍ ʮKARTE LiveʯΛத৺ʹϓϩμΫτ։ൃΛߦͳ͍ɺݱࡏ͸࣍ੈ୅ܕͷϓϩμΫτ෼ੳSaaS ʮWicleʯͷ্ཱͪ͛΋ߦͳ͍ͬͯΔɻ
3. 3 ɹɹʛɹɹ© PLAID Inc. ձࣾɾαʔϏε঺հ ෼ੳج൫ͷΞʔΩςΫνϟͱ՝୊ײ TiDBͷධՁϙΠϯτͱݕূߏ੒ νϡʔχϯάϙΠϯτ ૯߹తͳධՁͱࠓޙ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ ΞδΣϯμ 👉
4. ɹɹʛɹɹ© PLAID Inc. 4 גࣜձࣾϓϨΠυʹ͍ͭͯ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ גࣜձࣾϓϨΠυ ౦ژ౎தԝ۠ۜ࠲6-10-1 GINZA SIX 10F ઃཱɿ2011೥10݄ ैۀһɿ282໊ ※2023೥3݄຤࣌఺
5. 5 ɹɹʛɹɹ© PLAID Inc. PLAIDͷ໨ࢦ͢΋ͷ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ ”Ϛϧννϟωϧ × 1st Party Customer Data × ϦΞϧ λΠϜ” ΛϫϯετοϓͰఏڙ͢Δσʔλ׆༻ͷ৽͍͠ ϓϥοτϑΥʔϜ
6. KARTEʹ͍ͭͯ 6 ɹɹʛɹɹ© PLAID Inc. 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ ֬ೝ͢Δ جຊαʔϏε΍͝ར༻ํ๏Λ͝঺հ͠·͢ɻ ͓ಘͳಛయ΍໾ཱͭ৘ใ͕ຬࡌͰ͢ɻ ॳΊͯͷํ΁ いますぐ確認する UIデザイナーだけどなかなか上達しない、今 よりスキルアップしたいという⽅必読です。 UIデザイナーが知っておくべき 7つのデザインルール DESIGN RULES » CHECK ずっと使えるアイテムだけを揃えました。 この機会をお⾒逃しなく。 絶対、 欲しい！ ౙͷओ໾ɺ Ξ΢λʔ COLLECTION OUTER 検索条件を少し変更するだけで、あなたの理 想の物件に出会える可能性が⾼くなります。 条件を変えて検索してみてください。 ご希望の物件は ⾒つかりませんでしたか？ 閉じる ҰਓҰਓʹ߹Θͤͨ ސ٬ମݧΛఏڙ WebαΠτͷ๚໰ऀͷߦಈΛ
 ސ٬͝ͱʹϦΞϧλΠϜʹղੳ $9 ސ٬ମݧ ϓϥοτϑΥʔϜ
7. Stats of KARTE 7 ɹɹʛɹɹ© PLAID Inc. 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ σʔλن໛΋രൃతʹ૿Ճ 199 ԯUU ྦྷܭϢʔβʔ਺ ※1 0.x ඵ/ղੳ ղੳ଎౓ 134,000 over ඵؒτϥοΩϯά਺ ※3 2.59 ஹԁ ೥ؒղੳྲྀ௨ֹۚ ※2 ※1 ϩʔϯνʙ2023೥2݄·ͰͷϢχʔΫϢʔβʔ਺ͷ࣮੷ ※2 ECྖҬʹ͓͚Δղੳྲྀ௨ֹۚɻ2022೥3݄ʙ2023೥2݄·Ͱͷ୯೥ͷ࣮੷ 
 ※3 ӾཡɺΫϦοΫɺߪೖͳͲKARTEͰܭଌ͍ͯ͠ΔϢʔβʔͷશΠϕϯτ͕ ର৅ɻϩʔϯνʙ2023೥3݄·Ͱʹ͓͚Δ࠷େ஋ 8 + PB ஝ੵσʔλྔ 180 + PB ݄ؒղੳσʔλྔ
8. KARTEͷ෼ੳػೳ 8 ɹɹʛɹɹ© PLAID Inc. 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ KARTE Insightͷओͳػೳ
9. Wicle 9 ɹɹʛɹɹ© PLAID Inc. 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ IUUQTXJDMFJP
10. 10 ɹɹʛɹɹ© PLAID Inc. ձࣾɾαʔϏε঺հ ෼ੳج൫ͷΞʔΩςΫνϟͱ՝୊ײ TiDBͷධՁϙΠϯτͱݕূߏ੒ νϡʔχϯάϙΠϯτ ૯߹తͳධՁͱࠓޙ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ ΞδΣϯμ 👉
11. 11 ɹɹʛɹɹ© PLAID Inc. ΞʔΩςΫνϟͱ՝୊ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ ˞શମͷΞʔΩςΫνϟ͔ΒҰ෦ൈ͖ग़͠؆ུԽ σʔλ෼ੳपลͷΞʔΩςΫνϟ֓ཁ
12. 12 ɹɹʛɹɹ© PLAID Inc. ΞʔΩςΫνϟͱ՝୊ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ ɾ෼ੳػೳͰ͸BigQueryΛϝΠϯDBͱͯ͠ར༻ ɾϚϧνςφϯτߏ଄Ͱɺଟ༷ͳσʔλಛੑ(਺ɾ࣭)ΛҰݩͰѻ͏ ɾେྔͷϨίʔυ਺Λ࣋ͭimmutableͳΠϕϯτσʔλͱmutable ͳಛੑͰେྔͷߋ৽ॲཧ͕ඞཁͳϢʔβʔσʔλ ɾͦΕͧΕͷσʔλΛ૊Έ߹Θͤͨର࿩తͳݕࡧɾՄࢹԽػೳ ɾΠϕϯτσʔλ͸ࣗ༝౓ͷ͋ΔεΩʔϚϨεσʔλͰ͋ΒΏΔ ϑΟʔϧυʹରԠ
13. 13 ɹɹʛɹɹ© PLAID Inc. ΞʔΩςΫνϟͱ՝୊ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ
14. 14 ɹɹʛɹɹ© PLAID Inc. ΞʔΩςΫνϟͱ՝୊ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ 0.xඵҎ಺ͷΦʔμʔͰಈ࡞͢ΔΠϯλϥΫςΟϒͳσʔλ෼ੳମݧΛ࣮ݱ͍ͨ͠ ɾBigQueryͰ͸਺ेTBҎ্ͷن໛Ͱͷσʔλूܭॲཧʹ΋εέʔϧ͢Δ ɾҰํͰΞϯίϯτϩʔϥϒϧͳ෦෼΋ଟ͘User facingͳ૚ͷDBͱͯ͠ͷར༻ʹ͸޲͔ͳ͍ଆ໘͸ଟ͍ ɾϦιʔεΛ૬౰ྔ֬อ͠਺ඵ͔Βे਺ඵϨϕϧͷ଎౓ײ͸࣮ݱͰ͖Δ͕࠷ߴͷମݧͱ͸·ͩݴ͑ͳ͍ ɾσʔλ෼ੳͷ଴ͪ࣌ؒ͸࡞ۀίετͱϞνϕʔγϣϯʹଟେͳӨڹΛ༩͑Δ ɾ࠷ߴͷମݧͰ෼ੳͰ͖Δ؀ڥΛ࡞Δ͜ͱ͕ɺΫϥΠΞϯτ͕ϢʔβʔΛ஌Δ͜ͱɺͻ͍ͯ͸Ϣʔβʔʹ࠷ దͳମݧ ( CX ) Λಧ͚Δ͜ͱʹͭͳ͕Δ ɾ0.xඵҎ಺Ͱ෼ੳॲཧΛࡹ͚Δ͜ͱΛ໨ࢦ͢
15. 15 ɹɹʛɹɹ© PLAID Inc. ΞʔΩςΫνϟͱ՝୊ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ ͦͷҝͷΠϯλϥΫςΟϒϨΠϠʔ༻ͷDBΛ୳ࡧ ɾOLAPಛԽͷσʔλϕʔεͷબ୒ࢶ΋͍͔ͭ͋͘Δ ( Druid, Clickhouse, PinotͳͲ) ɾҰํͰϢʔεέʔεͷ෯͕޿͘ɺσʔλ௥Ճ͚ͩͰແ͘ߋ৽ॲཧ΋ߟྀͨ͠ΞʔΩςΫνϟͷγϯϓϧ͞΍ߦ ࢦ޲ͱྻࢦ޲Λ૊Έ߹ΘͤͨΫΤϦॲཧͷඞཁੑ΋Ұఆ͋ΔͨΊHTAPσʔλϕʔε΋ݕ౼ ɾTiDBҎ֎ʹ΋AlloyDB΍Unistoreͱ͍͏બ୒ࢶ΋͋Δ
16. 16 ɹɹʛɹɹ© PLAID Inc. ձࣾɾαʔϏε঺հ ෼ੳج൫ͷΞʔΩςΫνϟͱ՝୊ײ TiDBͷධՁϙΠϯτͱݕূߏ੒ νϡʔχϯάϙΠϯτ ૯߹తͳධՁͱࠓޙ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ ΞδΣϯμ 👉
17. 17 ɹɹʛɹɹ© PLAID Inc. TiDB΁ͷظ଴஋ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ TiDBݕূͷૂ͍ͱண໨ͨ͠ϙΠϯτ TiDBͷίϯηϓτͰ΋͋ΔɺOLTP/OLAPཱ྆͢ΔDBΛ΋ͬͯΞʔΩςΫνϟΛSimplifyͰ͖Δύλʔϯ͸ັྗɻ ·ͣେྔσʔλͱεΩʔϚϨεͳੑ࣭ʹରͯ͠෼ੳಛԽܕDBʹ͋Δఔ౓Ͱ΋ର߅Ͱ͖Δੑೳ͕͋Ε͹ ཧ૝తͳ׆༻έʔεͷՄೳੑ͕ੜ·ΕΔͨΊɺOLAPͷੑೳ͕ୈҰʹؾʹͳΔϙΠϯτͩͬͨɻ TiDBʹ͸ ɾMySQLޓ׵Λ࣮ݱ͠ΫΤϦΦϓςΟϚΠζΛ୲͏TiDB ɾߦࢦ޲ॲཧΛ୲͏TiKV ɾྻࢦ޲ॲཧΛ୲͏TiFlash ͷ3͕ͭओཁͳίϯϙʔωϯτ ಛʹOLAPͰඞཁෆՄܽͳʮྻࢦ޲ॲཧΛ୲͏TiFlashʯ Λॏ఺తʹ׆༻
18. 18 ɹɹʛɹɹ© PLAID Inc. TiDB΁ͷظ଴஋ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ TiFlash ɾྻࢦ޲ܕετϨʔδίϯϙʔωϯτ ɾTiDB͕TiFlashͰॲཧ͢΂͖͔ίετϕʔε/ϧʔϧϕʔεͰΦϓςΟϚΠζ 
 ɾTiKVಉ༷ʹɺTiFlashͷ֤ϊʔυ΋Coprocessorͱͯ͠ಈ࡞ͤͨ͞ΓMPP workerͱͯ͠ॲཧͷେ෦෼ΛPushdown͞ ͤΔ͜ͱ͕Ͱ͖Δ ɾTiKV͔ΒRaft learnerϓϩτίϧͰTiFlashʹ΋MVCCԼͰҰ؏ੑΛอͬͯσʔλ͕࿈ܞ͞ΕΔ ɾҰ؏ੑΛߴ͘อͭঢ়ଶ͕σϑΥ͕ͩɺͦͷҰ؏ੑΛ٘ਜ਼ʹͯ͠ύϑΥʔϚϯεΛ޲্ͤ͞ΔΦϓγϣϯͳͲ΋͋Δ
19. 19 ɹɹʛɹɹ© PLAID Inc. TiDB΁ͷظ଴஋ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ ɾOSSͰ͋Δ ɾTiDB֤ίϯϙʔωϯτ͸ಠཱతʹ։ൃ͞Ε͍ͯͯɺબ୒తʹಋೖ֦͠ுͰ͖Δߏ੒ͳ͕ΒγϯϓϧͳΦϖϨʔγϣ ϯͰ࣮ݱͰ͖ΔϞμϯͳ࡞Γ ɹɾTiDBΛ௨ͯ͠ɺTiKV/TiFlashΛಁաతʹ࢖͑Δ ɾਫฏεέʔϧੑ͕ॏࢹ͞Ε͍ͯͯɺଟ༷ͳ͓٬͞·ͷେྔͷσʔλΛѻ͏ϚϧνςφϯτܕαʔϏεͷDBͱͯ͠΋ े෼࢖͑ΔՄೳੑΛΞʔΩςΫνϟʹײͨ͡ ɾPingCAPࣾʹΑΔϑϧϚωʔδυܕαʔϏεɾαϙʔτͷଘࡏ ɾ౰ॳJSON_EXTRACTͳͲ࢖༻͍ͨ͠JSONؔ਺͕TiFlashͰαϙʔτ͕ແ͘Feature requestͱͳ͕ͬͨͦͷ࣍ͷ verͰରԠ͞Εͨ։ൃαΠΫϧͷ଎͞ TiDBͷݕূΛ։࢝͠Α͏ͱߟ͑ͨϙΠϯτ
20. 20 ɹɹʛɹɹ© PLAID Inc. TiDB΁ͷظ଴஋ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ ɾϢʔβʔσʔλ͸mutableͳಛੑ͕ͩɺେྔʹൃੜ͢ΔΠϕϯτσʔλ͸immutable͕ݪଇ ɾ͜ͷಛੑ͕͋ΔͨΊɺྻࢦ޲ετϨʔδଆͰ΋σʔλߋ৽଎౓Λҙࣝͨ͠ΞʔΩςΫνϟʹͳ͍ͬͯΔTiDBͰ͸ ଞͷOLAPಛԽDBʹରͯ͠ಡΈऔΓͷϨΠςϯγʔͳͲ͕τϨʔυΦϑʹͳ͍ͬͯΔͷͰ͸ʁͱ͍͏఺ ҰํͰݒ೦ࣄ߲΋ IUUQTXXXQJOHDBQDPNCMPHUIFMPOHFYQFEJUJPOUPXBSENBLJOHBSFBMUJNFIUBQEBUBCBTF
21. 21 ɹɹʛɹɹ© PLAID Inc. TiDBݕূͷߏ੒ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ ˞όʔδϣϯ͸ݱࡏ͸WΛ࢖༻ TiDBݕূͷߏ੒ ౰໘ͷධՁϙΠϯτ͸OLAPͷੑೳ΍ͦͷӡ༻ͷ༰қੑʹͳΔҝɺWriteଆͷվमͱධՁ͸޻਺ͷ؍఺͔Β ΋είʔϓ͔Β֎ͨ͠ɻ ͦͷͨΊɺBigQueryΛσʔλιʔεͱͯ͠पظతʹσʔλΛಉظ͠TiDBͰOLAPΛ࣮ߦ͢ΔܗΛऔ͍ͬͯΔɻ ※ϕετͰ͸ແ͍΋ͷͷɺαʔϏεͷಛੑ্σʔλͷ઱౓Λ͋Δఔ౓མͱ͢͜ͱ͕ڐ༰Ͱ͖ΔҝऔΕΔߏ੒
22. 22 ɹɹʛɹɹ© PLAID Inc. TiDBݕূͷߏ੒ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ TiDBݕূͷߏ੒
23. 23 ɹɹʛɹɹ© PLAID Inc. ձࣾɾαʔϏε঺հ ෼ੳج൫ͷΞʔΩςΫνϟͱ՝୊ײ TiDBͷධՁϙΠϯτͱݕূߏ੒ νϡʔχϯάϙΠϯτ ૯߹తͳධՁͱࠓޙ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ ΞδΣϯμ 👉
24. 24 ɹɹʛɹɹ© PLAID Inc. νϡʔχϯάϙΠϯτ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ νϡʔχϯάϙΠϯτ - ςʔϒϧεΩʔϚ JSON_EXTRACT౳ͷؔ਺͕TiFlash pushdownͰαϙʔτ͞Εͨ΋ͷͷɺ ϥϑʹେྔͷJSONσʔλΛύʔεͤ͞ΔΫΤϦΛ࣮ߦͯ͠΋TiFlashͷCPUෛՙ͕ߴ͘ΫΤϦ୯ମͰ͸͋Δఔ౓ͷ଎౓ ͸ग़Δ΋ͷͷฒྻ਺͕ߴ·Δ͕ҰؾʹϨΠςϯγʔ͕ߴ·ͬͯ͠·ͬͨɻ scale-out/upͰղܾͰ͖Δ໘΋͋Δ͕ɺίετߏ଄ΛΑΓ࠷దԽ͍ͨ͠ͱߟ͑ͨɻ ૉ௚ͳΞϓϩʔνͱͯ͠ΧϥϜͷ෼ׂ͢Δߏ੒ʹஈ֊తʹมߋɻεΩʔϚϨεͳσʔλͰ͸͋Δ͕ɺϢʔβʔ͕ຖ೔ຖ ճࢀর͢Δॏཁͳσʔλ͸ݶΒΕΔੑ࣭΋͋Δҝɺ͋Β͔͡ΊॏཁͳϑΟʔϧυΛఆٛ͠ΧϥϜԽɻͦΕҎ֎ͷϑΟʔ ϧυ͸JSONΛಡΈʹߦ͘ɻ
25. 25 ɹɹʛɹɹ© PLAID Inc. νϡʔχϯάϙΠϯτ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ νϡʔχϯάϙΠϯτ - ςʔϒϧεΩʔϚ(ύʔςΟγϣχϯά) ɾTiFlashͰ͸ςʔϒϧͷಡΈऔΓ͸ύʔςΟγϣϯͷ୯ҐͰ෼཭Ͱ͖Δ ɾద੾ͳύʔςΟγϣχϯά͕ൈຊతͳΫΤϦෛՙͷܰݮʹ ɾҰํͰ෼ׂ୯Ґ͕ࡉ͔͚Ε͹ࡉ͔͍΄ͲύϑΥʔϚϯε্͕͕Δ༁Ͱ͸ແ͘ɺύʔςΟγϣϯ؅ཧͷΦʔόʔϔου͕ ߴ͘ͳΓ͗͢ΔՄೳੑ͕͋Δҝɺσʔλͷಛੑʹ߹Θͤͨߏ੒͕ඞཁɻʢ·ͩฐࣾ͸νϡʔχϯά్தஈ֊ʣ ɾ(*Request) BigQuery΍SnowflakeͷClustering keyɺRedshiftͷSort keyͷ༷ͳܗͰσʔλͷϨΠΞ΢τΛಡΈऔ Γॲཧʹ߹Θͤͯ࠷దԽ͢Δ༷ͳػೳ͕͋Δͱ͞ΒͳΔύϑΥʔϚϯεͱ؅ཧੑͷ޲্͕ݟࠐΊͦ͏
26. 26 ɹɹʛɹɹ© PLAID Inc. νϡʔχϯάϙΠϯτ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ v6ܥͷஈ֊Ͱ͸·ͩ࠷దԽ͞Ε͍ͯͳ͍ύϥϝʔλΛઃఆ͍ͯ͠Δ͜ͱ΋͕͋ͬͨ ݱࡏv7.1·Ͱver upͯ͠ຆͲͷύϥϝʔλ͸͋·ΓखΛՃ͑ͣͱ΋໰୊ແ͘ɺઃఆ͍ͯ͠Δͷ͸ҎԼ͚ͩʹ͍ͯ͠Δɻ tiflash_fastscan=ON; tidb_txn_mode=optimistic; tidb_mem_quota_query=-1; tidb_opt_force_inline_cte=ON; νϡʔχϯάϙΠϯτ - ֤छύϥϝʔλ
27. 27 ɹɹʛɹɹ© PLAID Inc. νϡʔχϯάϙΠϯτ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ tiflash_fastscan: https://docs.pingcap.com/tidb/stable/use-fastscan TiFlashͷFastScanΛ༗ޮʹ͢Δɻ 
 ࣅͨػೳͱͯ͠Stale read͕͋Δ͕ɺͪ͜Β͸ڥքʹ͢Δ࣌ؒΛઃఆͳͲ͸ͤͣεΩϟϯ࣌ͷσʔλҰ؏ੑʹؔ͢ΔҰ෦ॲཧࣗ ମΛεΩοϓͯ͠σʔλΛऔಘ͢ΔػೳɻεΩοϓ͞ΕΔҝɺͦͷ࣌఺Ͱॻ͖ࠐ·Εͨσʔλɺͱ͍͏݁Ռʹ͸ͳΔ͕ͦΕͰ໰ ୊ແ͍έʔεͰ͸εϧʔϓοτ͕޲্͢Δɻ 
 ݱ࣌఺Ͱ͸Late materializationػೳͱ͸τϨʔυΦϑͰ྆ํಉ࣌ʹ࢖͏͜ͱ͸࢓༷ͱͯ͠ෆՄೳͱͷ͜ͱɻͦͷͨΊonʹ͢Δ͜ ͱͰύϑΥʔϚϯε͕མͪΔΫΤϦ΋͋Δɻ tidb_txn_mode: https://docs.pingcap.com/tidb/stable/optimistic-transaction ָ؍తτϥϯβΫγϣϯϞʔυΛ༗ޮʹ͢Δɻ ࠓճͷέʔεͰ͸όονॲཧతʹσʔλΛॻ͖ࠐΉྲྀΕͳͷͱɺϝΠϯͷΠϕϯτσʔλ͕immutableͳಛੑͳҝߦϩοΫ͸ຆ ͲͷෆཁͳͨΊॻ͖ࠐΈ଎౓Λ্͛ΔͨΊʹઃఆɻ tidb_mem_quota_query / tidb_opt_force_inline_cte ͋͑ͯΫΤϦͷϝϞϦ࢖༻ྔ͕େ͖͘͢Δέʔε΋͋ΓɺαΠζ੍ݶ؇࿨ͱ࢖༻ྔܰݮͷͨΊʹઃఆɻ νϡʔχϯάϙΠϯτ - ֤छύϥϝʔλ
28. 28 ɹɹʛɹɹ© PLAID Inc. νϡʔχϯάϙΠϯτ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ νϡʔχϯάϙΠϯτ - ΫΤϦ جຊతʹ͸ΫΤϦͰ͸ओʹઌʹڍ͛ͨςʔϒϧεΩʔϚͷνϡʔχϯάʹ߹ΘͤྻɾύʔςΟγϣϯͷબ୒͕ద੾ͳߦΘ Ε༨ܭͳεΩϟϯ͕ͳ͍͔ɺద੾ͳengineʹpushdown͞Ε͍ͯΔ͔ͳͲΛ࣮ߦܭըΛݩʹ֬ೝ͍ͯͬͨ͠ɻ TiDB CloudͷMonitoringػೳͰ΋Slow Query΍ͦͷ࣮ߦܭըɺϝϞϦ࢖༻ྔɺࡉ෼Խ͞Ε࣮ͨߦ࣌ؒ౳͕֬ೝՄೳɻ ʮద੾ͳengineʹpushdown͞Ε͍ͯΔ͔ʯ͸ɺΫΤϦͷॻ͖ํ͔Βύϥϝʔλɺςʔϒϧߏ੒ɺ౷ܭ৘ใͷঢ়گͳͲʹ ΋ΑΓɺ࣮ߦܭըͷಡΈऔΓ΋ಠࣗͷߟ͑ํ͕ඞཁͳ෦෼΋͋ΓΩϟονΞοϓʹ͸͕͔͔࣌ؒͬͨɻ ͦ͜͸υΩϡϝϯτࣗମ͸๛෋Ͱ͋Δͷͱɺ࣮ߦܭըͷධՁ΍࠷దͳ࣮ߦϓϥϯΛऔΔҝͷύϥϝʔλͷϨίϝϯυɺ OOM΁ͷରॲ౳࣮ࡍͷΫΤϦΛҰॹʹ֬ೝ͠ͳ͕Βαϙʔτͯ͠΋Β͑ɺϚΠάϨʔγϣϯͰ͸ແ͘୳ࡧతͳධՁͩͬ ͨͷ΋͋Γඇৗʹॿ͔ͬͨɻ ·ͨɺؾʹͳ͍ͬͯͨϙΠϯτͩͬͨTiKVͱTiFlashΛ૊Έ߹ΘͤͨΫΤϦʹ͍ͭͯ΋ྑ޷ͳύϑΥʔϚϯεΛग़ͨ͠ɻ
29. 29 ɹɹʛɹɹ© PLAID Inc. νϡʔχϯάϙΠϯτ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ EXPLAIN SELECT event.*, user.* FROM event_xxx event JOIN usersummary_xxx user USING (user_hash) WHERE view_uri_url LIKE '%hoge%' ORDER BY sync_date DESC LIMIT 10 avg 6,486ms
30. 30 ɹɹʛɹɹ© PLAID Inc. νϡʔχϯάϙΠϯτ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ EXPLAIN WITH filtered_events AS ( SELECT event_hash, user_hash FROM event_xxx event WHERE view_uri_url LIKE '%hoge%' ORDER BY sync_date DESC LIMIT 10 ) SELECT event.*, user.* FROM filtered_events JOIN event_xxx event ON filtered_events.event_hash = event.event_hash JOIN usersummary_xxx user ON filtered_events.user_hash = user.user_hash ORDER BY 
 sync_date DESC avg 682ms
31. 31 ɹɹʛɹɹ© PLAID Inc. νϡʔχϯάϙΠϯτ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ νϡʔχϯάϙΠϯτ - ͦͷଞ ɾͦ͜·Ͱ଎౓͕ग़ͳ͍ΫΤϦ͕͋ΓɺαϙʔτΤϯδχΞͷํʹϓϩϑΝΠϧΛऔͬͯ΋Βͬͨͱ͜ΖTiFlash୯ମͷ ଎౓͸ѱ͘ແ͍΋ͷͷ࠷ऴతʹ݁Ռ͕TiDBʹ౉͞ΕϨεϙϯε͢Δ෦෼Ͱॲཧͷ଺ཹ͕ى͖͍ͯΔͱ͍͏͜ͱ͕͋ͬͨ ɹɾσʔλͷಛੑ΍ߏ੒ʹదͨ͠ύϥϝʔλΛఏҊ௖͖ҰఆͷޮՌ͕͋ͬͨ ɹɾར༻ऀ໨ઢͰ͸ݪҼͷ੾Γ෼͚͸೉͔ͬͨ͠ͷ͸೉఺͕ͩɺαϙʔτʹΑΓςϯϙྑ͘ڀ໌Ͱ͖ͨ ɾʮALTER TABLE ... COMPACT TIFLASH REPLICAʯʹΑΓTiFlashͷ࡟আ͞ΕͨϨίʔυͷ෺ཧ࡟আͳͲετϨʔδͷ ࠷దԽ͕ߦΘΕΔ͕ɺݕূԾఆͰ͜ͷ࣮ߦલޙͰ1 - 2ׂఔ౓ΫΤϦͷ଎౓͕վળ͞Εͨ ɹɾ಺෦తʹपظతʹࣗಈ࣮ߦ͞Ε͍ͯΔ͕ɺධՁݕূաఔͰ͸ҙࣝతʹ࣮ߦ͢Δ͜ͱͰΑΓྑ޷ͳੑೳ͕ग़ͨ
32. 32 ɹɹʛɹɹ© PLAID Inc. νϡʔχϯάϙΠϯτ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ νϡʔχϯάϙΠϯτ - ͦͷଞ ɾ௕ظؒඍྔͳ͕ΒTiDBͷಛఆϊʔυͷCPU͕ফඅ͞Εଓ͚Δͱ͍͏ঢ়ଶ͕͋ΓௐࠪΛґཔͨ͠ͱ͜ΖANALYZE TABLE͕಺෦తʹࣗಈͰ࣮ߦ͞ΕΔதͰɺϨίʔυ͕0͔͘͝গྔͷύʔςΟγϣϯ͕ଘࡏ͢Δͱ౷ܭ৘ใͷߋ৽ॲཧ͕ ࣦഊͦ͠ͷϦτϥΠॲཧ͕௕ظԽ͍ͯ͠Δɺ͔ͭखಈͰͷ࣮ߦΛߦΘͳ͍ͱ౷ܭ৘ใ͕ߋ৽͞Εͳ͍͜ͱ͕͋ͬͨ ɹɾݪҼڀ໌ʹਚྗ௖͖ɺى͖͍ͯͨ͜ͱ΋ৄࡉΛղઆͯ͠௖͖ॿ͔ͬͨ ɹɾ಺෦తͳAuto analyzeͷ࢓༷͕བྷΉΤοδέʔεͰ͸͋Δͱͷ͜ͱ͕ͩɺࠓޙվળ͸ر๬͍ͨ͠ϙΠϯτ
33. 33 ɹɹʛɹɹ© PLAID Inc. ձࣾɾαʔϏε঺հ ෼ੳج൫ͷΞʔΩςΫνϟͱ՝୊ײ TiDBͷධՁϙΠϯτͱݕূߏ੒ νϡʔχϯάϙΠϯτ ૯߹తͳධՁͱࠓޙ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ ΞδΣϯμ 👉
34. 34 ɹɹʛɹɹ© PLAID Inc. ϨΠςϯγʔͷൺֱ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ ɾಉҰͷσʔλ͕ಘΒΕΔBQ/TiDBͦΕͧΕͷ σʔλऔಘʹؔ͢Δ୅දతͳػೳͷE2EͷϨΠ ςϯγʔͷൺֱ 
 ɾBigQueryଆͰ΋े෼ͳεϩοτ͕͋Δঢ়ଶ ԼΛҙ͍ࣝͯ͠Δ΋ͷͷ׬શʹϑΣΞͳൺֱ͸ ೉͍͠ҝΠϝʔδϨϕϧ ɾTiDBଆ͸νϡʔχϯά༨஍΋·ͩ࢒͍ͯ͠Δ ΋ͷͷಉ౳ͷσʔλྔΛࡹ͘ػೳͰେ͖ͳ଎౓ վળ͕Ͱ͖͍ͯΔ ݱஈ֊ͰͷBQ/TiDBͦΕͧΕͷE2EͷϨΠςϯγʔͷൺֱ
35. 35 ɹɹʛɹɹ© PLAID Inc. TiDB vs Pinot vs Rockset 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ ɾTiDB / Apache Pinot / Rockset ͷ؆қతͳOLAPੑೳൺֱ ɾwikipediaͷެ։σʔληοτͷҰ෦(໿1000ສߦ)Λ࢖༻ ɾ୯७ͳΧ΢ϯτ͔Β࣌ܥྻΧ΢ϯτɺߴ/௿ΧʔσΟφϦςΟΧϥϜ ͷfacetܭࢉͳͲͷΫΤϦͷฏۉϨΠςϯγʔΛܭଌ OLAP query latency Pinot͸௿ϨΠςϯγʔ͕ಛ௃ͷOLAPʹಛԽͨ͠ྻࢦ޲DBɻඇৗʹ ߴύϑΥʔϚϯε͕ͩɺσʔλಛੑʹ߹Θͤͨηάϝϯτνϡʔχϯ ά౳΋ඞཁͰӡ༻ʹ͸ਓతίετ͕͔ͳΓ͔͔Δ Rockset͸Rockset͕ࣾఏڙ͢ΔOLAPʹಛԽͨ͠ϑϧϚωʔδυܕ ͷDBɻߦ/ྻࢦ޲྆ํͷಛੑΛ࣋ͪɺεϚʔτεΩʔϚͱ͍͏ػೳͰ εΩʔϚϨεͳJSONσʔλΛࣗಈͰߏ଄Խσʔλͱಉ౳ͷύϑΥʔ ϚϯεͰѻ͑Δͷ͕ಛ௃
36. 36 ɹɹʛɹɹ© PLAID Inc. TiDBͷධՁ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ TiDBͷධՁΛ௨ͯ͠ັྗͱײ͡Δɾ͞ΒʹධՁΛਂΊ͍ͨϙΠϯτ ύϑΥʔϚϯεɾεέʔϥϏϦςΟ ઌͷεϥΠυͷ௨ΓOLAPಛԽܕͷDB͸७ਮͳੑೳ͸༏Ε͍ͯΔ͕ɺTiDB΋ൺݞ͠ಘΔੑೳɻ TiFlashͷਫฏεέʔϧੑͷߴ͞΋͋ΓɺαʔϏε੒௕ͱڞʹඇઢܗతʹσʔλྔ΍ϫʔΫϩʔυ͕૿Ճ͢Δ ؀ڥԼͰ΋े෼࢖༻Ͱ͖Δϙςϯγϟϧ͕͋Δͱײͨ͡ɻ ࠷ॳͷҹ৅Ͱ͸Ͳ͏ͯ͠΋τϨʔυΦϑ͕ੜ·Εͯόϥϯε͸ྑ͍͕ϋϚΓ͖Γ͸͠ͳ͍ͱࢥ͍͕ͬͯͨɺ OLTP/OLAP྆໘Ͱߴ͍ਫ४ͰϢʔεέʔεͷջ͸ਂ͍ɺͱ͍͏ҹ৅ʹมΘͬͨɻ ϑϧϚωʔδυαʔϏεΛར༻͢Ε͹؅ཧίετΛେ͖͘Լ͛Δ͜ͱ͕Ͱ͖Δ͜ͱ͕Ͱ͖ɺ τϥϒϧγϡʔςΟϯά΍ਂ͍νϡʔχϯά͕ඞཁͳ࣌͸۩ମ·Ͱαϙʔτͯ͘͠ΕΔϓϩϑΣογϣφϧ αʔϏε΋ͱͯ΋ྑ͍ϙΠϯτͩͬͨɻ ӡ༻ͷ༰қੑ
37. 37 ɹɹʛɹɹ© PLAID Inc. TiDBͷධՁ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ TiDBͷධՁΛ௨ͯ͠ັྗͱײ͡Δɾ͞ΒʹධՁΛਂΊ͍ͨϙΠϯτ ίετޮ཰ ੑೳϙςϯγϟϧ΋͋Γਫฏεέʔϧੑ΋ߴ͍͕ɺσʔλαΠζ΍QPSΛ૿΍ͨ࣌͠ʹίετޮ཰ͷ࠷దԽ ͕Ͳ͜·ͰͰ͖Δ͔͸ࠓޙධՁΛਂΊ͍ͨϙΠϯτɻ ػೳͱͯ͠͸ɺࠓޙΦʔτεέʔϦϯάͷػೳ΍Clusteringͱ͍ͬͨσʔλϨΠΞ΢τͷ࠷దԽͳͲ͕ΑΓ Ͱ͖Δ༷ʹͳΔͱར༻ن໛͕ॊೈʹͳΓελʔτΞοϓͱͯ͠͸ΑΓ࢖͍΍͘͢ͳΔͱײͨ͡ɻ
38. 38 ɹɹʛɹɹ© PLAID Inc. ·ͱΊ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ ฐࣾPLAIDͰ͸1st Party Customer DataΛத৺ʹ༷ʑͳϓϩμΫτΛ։ൃ͍ͯ͠Δ ɾϢʔβʔʹΑΓྑ͍ମݧΛಧ͚ΔͨΊʹɺϢʔβʔΛ஌ΕΔ͜ͱΛಛʹେ੾ʹ͍ͯ͠Δ ɾ๲େͳimmutableͳΠϕϯτσʔλɺmutableͳϢʔβʔσʔλΛBigQueryΛϝΠϯDBͱͯ͠ѻ͍෼ੳػೳΛఏڙ ɾ࠷ߴͷମݧͰσʔλ෼ੳͰ͖Δ؀ڥΛ໨ࢦͯ͠վળ͠ଓ͚͍ͯΔ 0.xඵͰσʔλ෼ੳͰ͖ΔDBΛ୳ࡧ ɾHTAP΋ࢹ໺ʹೖΕTiDB͸༗ྗͱײ͡ݕূ ɾOLAPಛԽ͍ͯ͠ͳ͍෼ɺେ͖ͳτϨʔυΦϑ͕͋Δ͔͸ݒ೦ͩͬͨ TiDBͷதͰ΋ಛʹTiFlashʹண໨ͯ͠ݕূ ɾԾ૝ͷσʔλ͚ͩͰແ͘ɺ࣮σʔλͷ౤ೖɾαʔϏεʹ઀ଓ΋ͯ͠ݕূ(ஈ֊త͕ͩಋೖࡁ) ɾPingCAPͷαϙʔτͷྗ΋͓आΓ͠ͳ͕Β༷ʑઃܭɾνϡʔχϯά(·ͩಓ൒͹) ·ͩνϡʔχϯά༨஍͕͋Δ͕ߴ͍ύϑΥʔϚϯεΛൃشͤ͞ΒΕ͍ͯΔ ɾOLAPಛԽܕͷDBͱൺݞ͠ಘΔੑೳϙςϯγϟϧ ɾύϑΥʔϚϯεҎ֎ͷεέʔϥϏϦςΟ΍ӡ༻༰қੑ͕ߴ͘૯߹ྗʹ༏Ε͍ͯΔ ɾίετޮ཰ʹ͍ͭͯ͸ར༻ن໛ͷ֦େͱڞʹྑ͘Ͱ͖Δ͔͸ࠓޙධՁΛਂΊ͍ͨ
39. 39 ɹɹʛɹɹ© PLAID Inc. We are hiring! 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ PLAID ࠾༻৘ใ https://recruit.plaid.co.jp/ WicleΤϯδχΞืूϖʔδ https://recruit.plaid.co.jp/requisitions/wicle-engineer