Share
Embed
プロダクト分析サービスの超高速集計レイヤーとしてのTiDB - 株式会社プレイド - TiDB User Day 2023
イベント開催日:2023年7月7日
講演者:株式会社プレイド Lead Product Engineer 小川 拓也 氏
CXプラットフォームを開発および運営するPLAIDでは「データによって人の価値を最大化する」というミッションのもとKARTEというプロダクトをはじめ様々な製品開発を行っています。その中でもユーザーを理解するための機能群は重要な位置付けであり、大量データを扱う技術基盤やそれらを活用した分析機能の開発によって、より解像度の高いユーザー理解の上でより良いサービス提供ができる環境の実現を目指しています。このスライドでは、新規開発しているProductAnalyticsサービスにおいて大量の行動ログを超高速かつ柔軟に分析処理するデータベースの1つとしてTiDBを採用したモチベーションやポテンシャルをお話しします。
アーカイブ動画:https://youtu.be/ZbSwGu25BtE
PingCAP-Japan
July 11, 2023
Transcript
40 slides
-
ɹɹʛɹɹ© 2019 PLAID Inc. 2 ࣗݾհ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ ɹɹʛɹɹ©
PLAID Inc. খ Lead Product Engineer @ 2009ʹϠϑʔʹ৽ଔೖࣾ͠ɺΤϯδχΞͱͯ͠ࠂγεςϜtoCαʔϏεͷ։ൃɾӡ༻ɾϚ ωʔδϝϯτʹैࣄɻ ͦͷޙ201912݄ʹϓϨΠυʹೖࣾ͠ɺϢʔβʔੳͷػೳͰ͋ΔʮKARTE Insightʯ ʮKARTE LiveʯΛத৺ʹϓϩμΫτ։ൃΛߦͳ͍ɺݱࡏ࣍ੈܕͷϓϩμΫτੳSaaS ʮWicleʯͷ্ཱͪ͛ߦͳ͍ͬͯΔɻ -
ɹɹʛɹɹ© PLAID Inc. 4 גࣜձࣾϓϨΠυʹ͍ͭͯ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ גࣜձࣾϓϨΠυ ౦ژதԝ۠ۜ࠲6-10-1
GINZA SIX 10F ઃཱɿ201110݄ ैۀһɿ282໊ ※20233݄࣌ -
5 ɹɹʛɹɹ© PLAID Inc. PLAIDͷࢦ͢ͷ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ ”Ϛϧννϟωϧ ×
1st Party Customer Data × ϦΞϧ λΠϜ” ΛϫϯετοϓͰఏڙ͢Δσʔλ׆༻ͷ৽͍͠ ϓϥοτϑΥʔϜ -
KARTEʹ͍ͭͯ 6 ɹɹʛɹɹ© PLAID Inc. 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ ֬ೝ͢Δ جຊαʔϏε͝ར༻ํ๏Λ͝հ͠·͢ɻ
͓ಘͳಛయཱͭใ͕ຬࡌͰ͢ɻ ॳΊͯͷํ いますぐ確認する UIデザイナーだけどなかなか上達しない、今 よりスキルアップしたいという⽅必読です。 UIデザイナーが知っておくべき 7つのデザインルール DESIGN RULES » CHECK ずっと使えるアイテムだけを揃えました。 この機会をお⾒逃しなく。 絶対、 欲しい! ౙͷओɺ Ξλʔ COLLECTION OUTER 検索条件を少し変更するだけで、あなたの理 想の物件に出会える可能性が⾼くなります。 条件を変えて検索してみてください。 ご希望の物件は ⾒つかりませんでしたか? 閉じる ҰਓҰਓʹ߹Θͤͨ ސ٬ମݧΛఏڙ WebαΠτͷ๚ऀͷߦಈΛ ސ٬͝ͱʹϦΞϧλΠϜʹղੳ $9 ސ٬ମݧ ϓϥοτϑΥʔϜ -
Stats of KARTE 7 ɹɹʛɹɹ© PLAID Inc. 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ
σʔλنരൃతʹ૿Ճ 199 ԯUU ྦྷܭϢʔβʔ ※1 0.x ඵ/ղੳ ղੳ 134,000 over ඵؒτϥοΩϯά ※3 2.59 ஹԁ ؒղੳྲྀ௨ֹۚ ※2 ※1 ϩʔϯνʙ20232݄·ͰͷϢχʔΫϢʔβʔͷ࣮ ※2 ECྖҬʹ͓͚Δղੳྲྀ௨ֹۚɻ20223݄ʙ20232݄·Ͱͷ୯ͷ࣮ ※3 ӾཡɺΫϦοΫɺߪೖͳͲKARTEͰܭଌ͍ͯ͠ΔϢʔβʔͷશΠϕϯτ͕ ରɻϩʔϯνʙ20233݄·Ͱʹ͓͚Δ࠷େ 8 + PB ੵσʔλྔ 180 + PB ݄ؒղੳσʔλྔ -
12 ɹɹʛɹɹ© PLAID Inc. ΞʔΩςΫνϟͱ՝ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ ɾੳػೳͰBigQueryΛϝΠϯDBͱͯ͠ར༻ ɾϚϧνςφϯτߏͰɺଟ༷ͳσʔλಛੑ(ɾ࣭)ΛҰݩͰѻ͏
ɾେྔͷϨίʔυΛ࣋ͭimmutableͳΠϕϯτσʔλͱmutable ͳಛੑͰେྔͷߋ৽ॲཧ͕ඞཁͳϢʔβʔσʔλ ɾͦΕͧΕͷσʔλΛΈ߹ΘͤͨରతͳݕࡧɾՄࢹԽػೳ ɾΠϕϯτσʔλࣗ༝ͷ͋ΔεΩʔϚϨεσʔλͰ͋ΒΏΔ ϑΟʔϧυʹରԠ -
14 ɹɹʛɹɹ© PLAID Inc. ΞʔΩςΫνϟͱ՝ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ 0.xඵҎͷΦʔμʔͰಈ࡞͢ΔΠϯλϥΫςΟϒͳσʔλੳମݧΛ࣮ݱ͍ͨ͠ ɾBigQueryͰेTBҎ্ͷنͰͷσʔλूܭॲཧʹεέʔϧ͢Δ
ɾҰํͰΞϯίϯτϩʔϥϒϧͳ෦ଟ͘User facingͳͷDBͱͯ͠ͷར༻ʹ͔ͳ͍ଆ໘ଟ͍ ɾϦιʔεΛ૬ྔ֬อ͠ඵ͔ΒेඵϨϕϧͷײ࣮ݱͰ͖Δ͕࠷ߴͷମݧͱ·ͩݴ͑ͳ͍ ɾσʔλੳͷͪ࣌ؒ࡞ۀίετͱϞνϕʔγϣϯʹଟେͳӨڹΛ༩͑Δ ɾ࠷ߴͷମݧͰੳͰ͖ΔڥΛ࡞Δ͜ͱ͕ɺΫϥΠΞϯτ͕ϢʔβʔΛΔ͜ͱɺͻ͍ͯϢʔβʔʹ࠷ దͳମݧ ( CX ) Λಧ͚Δ͜ͱʹͭͳ͕Δ ɾ0.xඵҎͰੳॲཧΛࡹ͚Δ͜ͱΛࢦ͢ -
15 ɹɹʛɹɹ© PLAID Inc. ΞʔΩςΫνϟͱ՝ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ ͦͷҝͷΠϯλϥΫςΟϒϨΠϠʔ༻ͷDBΛ୳ࡧ ɾOLAPಛԽͷσʔλϕʔεͷબࢶ͍͔ͭ͋͘Δ
( Druid, Clickhouse, PinotͳͲ) ɾҰํͰϢʔεέʔεͷ෯͕͘ɺσʔλՃ͚ͩͰແ͘ߋ৽ॲཧߟྀͨ͠ΞʔΩςΫνϟͷγϯϓϧ͞ߦ ࢦͱྻࢦΛΈ߹ΘͤͨΫΤϦॲཧͷඞཁੑҰఆ͋ΔͨΊHTAPσʔλϕʔεݕ౼ ɾTiDBҎ֎ʹAlloyDBUnistoreͱ͍͏બࢶ͋Δ -
17 ɹɹʛɹɹ© PLAID Inc. TiDBͷظ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ TiDBݕূͷૂ͍ͱணͨ͠ϙΠϯτ TiDBͷίϯηϓτͰ͋ΔɺOLTP/OLAPཱ྆͢ΔDBΛͬͯΞʔΩςΫνϟΛSimplifyͰ͖Δύλʔϯັྗɻ
·ͣେྔσʔλͱεΩʔϚϨεͳੑ࣭ʹରͯ͠ੳಛԽܕDBʹ͋ΔఔͰର߅Ͱ͖Δੑೳ͕͋Ε ཧతͳ׆༻έʔεͷՄೳੑ͕ੜ·ΕΔͨΊɺOLAPͷੑೳ͕ୈҰʹؾʹͳΔϙΠϯτͩͬͨɻ TiDBʹ ɾMySQLޓΛ࣮ݱ͠ΫΤϦΦϓςΟϚΠζΛ୲͏TiDB ɾߦࢦॲཧΛ୲͏TiKV ɾྻࢦॲཧΛ୲͏TiFlash ͷ3͕ͭओཁͳίϯϙʔωϯτ ಛʹOLAPͰඞཁෆՄܽͳʮྻࢦॲཧΛ୲͏TiFlashʯ Λॏతʹ׆༻ -
18 ɹɹʛɹɹ© PLAID Inc. TiDBͷظ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ TiFlash ɾྻࢦܕετϨʔδίϯϙʔωϯτ
ɾTiDB͕TiFlashͰॲཧ͖͔͢ίετϕʔε/ϧʔϧϕʔεͰΦϓςΟϚΠζ ɾTiKVಉ༷ʹɺTiFlashͷ֤ϊʔυCoprocessorͱͯ͠ಈ࡞ͤͨ͞ΓMPP workerͱͯ͠ॲཧͷେ෦ΛPushdown͞ ͤΔ͜ͱ͕Ͱ͖Δ ɾTiKV͔ΒRaft learnerϓϩτίϧͰTiFlashʹMVCCԼͰҰ؏ੑΛอͬͯσʔλ͕࿈ܞ͞ΕΔ ɾҰ؏ੑΛߴ͘อͭঢ়ଶ͕σϑΥ͕ͩɺͦͷҰ؏ੑΛ٘ਜ਼ʹͯ͠ύϑΥʔϚϯεΛ্ͤ͞ΔΦϓγϣϯͳͲ͋Δ -
19 ɹɹʛɹɹ© PLAID Inc. TiDBͷظ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ ɾOSSͰ͋Δ ɾTiDB֤ίϯϙʔωϯτಠཱతʹ։ൃ͞Ε͍ͯͯɺબతʹಋೖ֦͠ுͰ͖Δߏͳ͕ΒγϯϓϧͳΦϖϨʔγϣ
ϯͰ࣮ݱͰ͖ΔϞμϯͳ࡞Γ ɹɾTiDBΛ௨ͯ͠ɺTiKV/TiFlashΛಁաతʹ͑Δ ɾਫฏεέʔϧੑ͕ॏࢹ͞Ε͍ͯͯɺଟ༷ͳ͓٬͞·ͷେྔͷσʔλΛѻ͏ϚϧνςφϯτܕαʔϏεͷDBͱͯ͠ े͑ΔՄೳੑΛΞʔΩςΫνϟʹײͨ͡ ɾPingCAPࣾʹΑΔϑϧϚωʔδυܕαʔϏεɾαϙʔτͷଘࡏ ɾॳJSON_EXTRACTͳͲ༻͍ͨ͠JSON͕ؔTiFlashͰαϙʔτ͕ແ͘Feature requestͱͳ͕ͬͨͦͷ࣍ͷ verͰରԠ͞Εͨ։ൃαΠΫϧͷ͞ TiDBͷݕূΛ։࢝͠Α͏ͱߟ͑ͨϙΠϯτ -
20 ɹɹʛɹɹ© PLAID Inc. TiDBͷظ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ ɾϢʔβʔσʔλmutableͳಛੑ͕ͩɺେྔʹൃੜ͢ΔΠϕϯτσʔλimmutable͕ݪଇ ɾ͜ͷಛੑ͕͋ΔͨΊɺྻࢦετϨʔδଆͰσʔλߋ৽Λҙࣝͨ͠ΞʔΩςΫνϟʹͳ͍ͬͯΔTiDBͰ
ଞͷOLAPಛԽDBʹରͯ͠ಡΈऔΓͷϨΠςϯγʔͳͲ͕τϨʔυΦϑʹͳ͍ͬͯΔͷͰʁͱ͍͏ ҰํͰݒ೦ࣄ߲ IUUQTXXXQJOHDBQDPNCMPHUIFMPOHFYQFEJUJPOUPXBSENBLJOHBSFBMUJNFIUBQEBUBCBTF -
21 ɹɹʛɹɹ© PLAID Inc. TiDBݕূͷߏ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ ˞όʔδϣϯݱࡏWΛ༻ TiDBݕূͷߏ
໘ͷධՁϙΠϯτOLAPͷੑೳͦͷӡ༻ͷ༰қੑʹͳΔҝɺWriteଆͷվमͱධՁͷ؍͔Β είʔϓ͔Β֎ͨ͠ɻ ͦͷͨΊɺBigQueryΛσʔλιʔεͱͯ͠पظతʹσʔλΛಉظ͠TiDBͰOLAPΛ࣮ߦ͢ΔܗΛऔ͍ͬͯΔɻ ※ϕετͰແ͍ͷͷɺαʔϏεͷಛੑ্σʔλͷΛ͋Δఔམͱ͢͜ͱ͕ڐ༰Ͱ͖ΔҝऔΕΔߏ -
24 ɹɹʛɹɹ© PLAID Inc. νϡʔχϯάϙΠϯτ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ νϡʔχϯάϙΠϯτ -
ςʔϒϧεΩʔϚ JSON_EXTRACTͷ͕ؔTiFlash pushdownͰαϙʔτ͞Εͨͷͷɺ ϥϑʹେྔͷJSONσʔλΛύʔεͤ͞ΔΫΤϦΛ࣮ߦͯ͠TiFlashͷCPUෛՙ͕ߴ͘ΫΤϦ୯ମͰ͋Δఔͷ ग़Δͷͷฒྻ͕ߴ·Δ͕ҰؾʹϨΠςϯγʔ͕ߴ·ͬͯ͠·ͬͨɻ scale-out/upͰղܾͰ͖Δ໘͋Δ͕ɺίετߏΛΑΓ࠷దԽ͍ͨ͠ͱߟ͑ͨɻ ૉͳΞϓϩʔνͱͯ͠ΧϥϜͷׂ͢Δߏʹஈ֊తʹมߋɻεΩʔϚϨεͳσʔλͰ͋Δ͕ɺϢʔβʔ͕ຖຖ ճࢀর͢ΔॏཁͳσʔλݶΒΕΔੑ࣭͋Δҝɺ͋Β͔͡ΊॏཁͳϑΟʔϧυΛఆٛ͠ΧϥϜԽɻͦΕҎ֎ͷϑΟʔ ϧυJSONΛಡΈʹߦ͘ɻ -
25 ɹɹʛɹɹ© PLAID Inc. νϡʔχϯάϙΠϯτ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ νϡʔχϯάϙΠϯτ -
ςʔϒϧεΩʔϚ(ύʔςΟγϣχϯά) ɾTiFlashͰςʔϒϧͷಡΈऔΓύʔςΟγϣϯͷ୯ҐͰͰ͖Δ ɾదͳύʔςΟγϣχϯά͕ൈຊతͳΫΤϦෛՙͷܰݮʹ ɾҰํͰׂ୯Ґ͕ࡉ͔͚Εࡉ͔͍΄ͲύϑΥʔϚϯε্͕͕Δ༁Ͱແ͘ɺύʔςΟγϣϯཧͷΦʔόʔϔου͕ ߴ͘ͳΓ͗͢ΔՄೳੑ͕͋Δҝɺσʔλͷಛੑʹ߹Θͤͨߏ͕ඞཁɻʢ·ͩฐࣾνϡʔχϯά్தஈ֊ʣ ɾ(*Request) BigQuerySnowflakeͷClustering keyɺRedshiftͷSort keyͷ༷ͳܗͰσʔλͷϨΠΞτΛಡΈऔ Γॲཧʹ߹Θͤͯ࠷దԽ͢Δ༷ͳػೳ͕͋Δͱ͞ΒͳΔύϑΥʔϚϯεͱཧੑͷ্͕ݟࠐΊͦ͏ -
26 ɹɹʛɹɹ© PLAID Inc. νϡʔχϯάϙΠϯτ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ v6ܥͷஈ֊Ͱ·ͩ࠷దԽ͞Ε͍ͯͳ͍ύϥϝʔλΛઃఆ͍ͯ͠Δ͜ͱ͕͋ͬͨ ݱࡏv7.1·Ͱver
upͯ͠ຆͲͷύϥϝʔλ͋·ΓखΛՃ͑ͣͱແ͘ɺઃఆ͍ͯ͠ΔͷҎԼ͚ͩʹ͍ͯ͠Δɻ tiflash_fastscan=ON; tidb_txn_mode=optimistic; tidb_mem_quota_query=-1; tidb_opt_force_inline_cte=ON; νϡʔχϯάϙΠϯτ - ֤छύϥϝʔλ -
27 ɹɹʛɹɹ© PLAID Inc. νϡʔχϯάϙΠϯτ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ tiflash_fastscan: https://docs.pingcap.com/tidb/stable/use-fastscan
TiFlashͷFastScanΛ༗ޮʹ͢Δɻ ࣅͨػೳͱͯ͠Stale read͕͋Δ͕ɺͪ͜Βڥքʹ͢Δ࣌ؒΛઃఆͳͲͤͣεΩϟϯ࣌ͷσʔλҰ؏ੑʹؔ͢ΔҰ෦ॲཧࣗ ମΛεΩοϓͯ͠σʔλΛऔಘ͢ΔػೳɻεΩοϓ͞ΕΔҝɺͦͷ࣌Ͱॻ͖ࠐ·Εͨσʔλɺͱ͍͏݁ՌʹͳΔ͕ͦΕͰ ແ͍έʔεͰεϧʔϓοτ্͕͢Δɻ ݱ࣌ͰLate materializationػೳͱτϨʔυΦϑͰ྆ํಉ࣌ʹ͏͜ͱ༷ͱͯ͠ෆՄೳͱͷ͜ͱɻͦͷͨΊonʹ͢Δ͜ ͱͰύϑΥʔϚϯε͕མͪΔΫΤϦ͋Δɻ tidb_txn_mode: https://docs.pingcap.com/tidb/stable/optimistic-transaction ָ؍తτϥϯβΫγϣϯϞʔυΛ༗ޮʹ͢Δɻ ࠓճͷέʔεͰόονॲཧతʹσʔλΛॻ͖ࠐΉྲྀΕͳͷͱɺϝΠϯͷΠϕϯτσʔλ͕immutableͳಛੑͳҝߦϩοΫຆ ͲͷෆཁͳͨΊॻ͖ࠐΈΛ্͛ΔͨΊʹઃఆɻ tidb_mem_quota_query / tidb_opt_force_inline_cte ͋͑ͯΫΤϦͷϝϞϦ༻ྔ͕େ͖͘͢Δέʔε͋ΓɺαΠζ੍ݶ؇ͱ༻ྔܰݮͷͨΊʹઃఆɻ νϡʔχϯάϙΠϯτ - ֤छύϥϝʔλ -
28 ɹɹʛɹɹ© PLAID Inc. νϡʔχϯάϙΠϯτ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ νϡʔχϯάϙΠϯτ -
ΫΤϦ جຊతʹΫΤϦͰओʹઌʹڍ͛ͨςʔϒϧεΩʔϚͷνϡʔχϯάʹ߹ΘͤྻɾύʔςΟγϣϯͷબ͕దͳߦΘ Ε༨ܭͳεΩϟϯ͕ͳ͍͔ɺదͳengineʹpushdown͞Ε͍ͯΔ͔ͳͲΛ࣮ߦܭըΛݩʹ֬ೝ͍ͯͬͨ͠ɻ TiDB CloudͷMonitoringػೳͰSlow Queryͦͷ࣮ߦܭըɺϝϞϦ༻ྔɺࡉԽ͞Ε࣮ͨߦ͕࣌ؒ֬ೝՄೳɻ ʮదͳengineʹpushdown͞Ε͍ͯΔ͔ʯɺΫΤϦͷॻ͖ํ͔Βύϥϝʔλɺςʔϒϧߏɺ౷ܭใͷঢ়گͳͲʹ ΑΓɺ࣮ߦܭըͷಡΈऔΓಠࣗͷߟ͑ํ͕ඞཁͳ෦͋ΓΩϟονΞοϓʹ͕͔͔࣌ؒͬͨɻ ͦ͜υΩϡϝϯτࣗମ๛Ͱ͋Δͷͱɺ࣮ߦܭըͷධՁ࠷దͳ࣮ߦϓϥϯΛऔΔҝͷύϥϝʔλͷϨίϝϯυɺ OOMͷରॲ࣮ࡍͷΫΤϦΛҰॹʹ֬ೝ͠ͳ͕Βαϙʔτͯ͠Β͑ɺϚΠάϨʔγϣϯͰແ͘୳ࡧతͳධՁͩͬ ͨͷ͋Γඇৗʹॿ͔ͬͨɻ ·ͨɺؾʹͳ͍ͬͯͨϙΠϯτͩͬͨTiKVͱTiFlashΛΈ߹ΘͤͨΫΤϦʹ͍ͭͯྑͳύϑΥʔϚϯεΛग़ͨ͠ɻ -
29 ɹɹʛɹɹ© PLAID Inc. νϡʔχϯάϙΠϯτ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ EXPLAIN SELECT
event.*, user.* FROM event_xxx event JOIN usersummary_xxx user USING (user_hash) WHERE view_uri_url LIKE '%hoge%' ORDER BY sync_date DESC LIMIT 10 avg 6,486ms -
30 ɹɹʛɹɹ© PLAID Inc. νϡʔχϯάϙΠϯτ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ EXPLAIN WITH
filtered_events AS ( SELECT event_hash, user_hash FROM event_xxx event WHERE view_uri_url LIKE '%hoge%' ORDER BY sync_date DESC LIMIT 10 ) SELECT event.*, user.* FROM filtered_events JOIN event_xxx event ON filtered_events.event_hash = event.event_hash JOIN usersummary_xxx user ON filtered_events.user_hash = user.user_hash ORDER BY sync_date DESC avg 682ms -
31 ɹɹʛɹɹ© PLAID Inc. νϡʔχϯάϙΠϯτ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ νϡʔχϯάϙΠϯτ -
ͦͷଞ ɾͦ͜·Ͱ͕ग़ͳ͍ΫΤϦ͕͋ΓɺαϙʔτΤϯδχΞͷํʹϓϩϑΝΠϧΛऔͬͯΒͬͨͱ͜ΖTiFlash୯ମͷ ѱ͘ແ͍ͷͷ࠷ऴతʹ݁Ռ͕TiDBʹ͞ΕϨεϙϯε͢Δ෦Ͱॲཧͷཹ͕ى͖͍ͯΔͱ͍͏͜ͱ͕͋ͬͨ ɹɾσʔλͷಛੑߏʹదͨ͠ύϥϝʔλΛఏҊ͖ҰఆͷޮՌ͕͋ͬͨ ɹɾར༻ऀઢͰݪҼͷΓ͚͔ͬͨ͠ͷ͕ͩɺαϙʔτʹΑΓςϯϙྑ͘ڀ໌Ͱ͖ͨ ɾʮALTER TABLE ... COMPACT TIFLASH REPLICAʯʹΑΓTiFlashͷআ͞ΕͨϨίʔυͷཧআͳͲετϨʔδͷ ࠷దԽ͕ߦΘΕΔ͕ɺݕূԾఆͰ͜ͷ࣮ߦલޙͰ1 - 2ׂఔΫΤϦͷ͕վળ͞Εͨ ɹɾ෦తʹपظతʹࣗಈ࣮ߦ͞Ε͍ͯΔ͕ɺධՁݕূաఔͰҙࣝతʹ࣮ߦ͢Δ͜ͱͰΑΓྑͳੑೳ͕ग़ͨ -
32 ɹɹʛɹɹ© PLAID Inc. νϡʔχϯάϙΠϯτ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ νϡʔχϯάϙΠϯτ -
ͦͷଞ ɾظؒඍྔͳ͕ΒTiDBͷಛఆϊʔυͷCPU͕ফඅ͞Εଓ͚Δͱ͍͏ঢ়ଶ͕͋ΓௐࠪΛґཔͨ͠ͱ͜ΖANALYZE TABLE͕෦తʹࣗಈͰ࣮ߦ͞ΕΔதͰɺϨίʔυ͕0͔͘͝গྔͷύʔςΟγϣϯ͕ଘࡏ͢Δͱ౷ܭใͷߋ৽ॲཧ͕ ࣦഊͦ͠ͷϦτϥΠॲཧ͕ظԽ͍ͯ͠Δɺ͔ͭखಈͰͷ࣮ߦΛߦΘͳ͍ͱ౷ܭใ͕ߋ৽͞Εͳ͍͜ͱ͕͋ͬͨ ɹɾݪҼڀ໌ʹਚྗ͖ɺى͖͍ͯͨ͜ͱৄࡉΛղઆ͖ͯ͠ॿ͔ͬͨ ɹɾ෦తͳAuto analyzeͷ༷͕བྷΉΤοδέʔεͰ͋Δͱͷ͜ͱ͕ͩɺࠓޙվળر͍ͨ͠ϙΠϯτ -
34 ɹɹʛɹɹ© PLAID Inc. ϨΠςϯγʔͷൺֱ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ ɾಉҰͷσʔλ͕ಘΒΕΔBQ/TiDBͦΕͧΕͷ σʔλऔಘʹؔ͢ΔදతͳػೳͷE2EͷϨΠ
ςϯγʔͷൺֱ ɾBigQueryଆͰेͳεϩοτ͕͋Δঢ়ଶ ԼΛҙ͍ࣝͯ͠ΔͷͷશʹϑΣΞͳൺֱ ͍͠ҝΠϝʔδϨϕϧ ɾTiDBଆνϡʔχϯά༨·͍ͩͯ͠Δ ͷͷಉͷσʔλྔΛࡹ͘ػೳͰେ͖ͳ վળ͕Ͱ͖͍ͯΔ ݱஈ֊ͰͷBQ/TiDBͦΕͧΕͷE2EͷϨΠςϯγʔͷൺֱ -
35 ɹɹʛɹɹ© PLAID Inc. TiDB vs Pinot vs Rockset 2023.07.07ɹɹʛɹɹTiDB
User Dayɹɹʛɹ ɾTiDB / Apache Pinot / Rockset ͷ؆қతͳOLAPੑೳൺֱ ɾwikipediaͷެ։σʔληοτͷҰ෦(1000ສߦ)Λ༻ ɾ୯७ͳΧϯτ͔Β࣌ܥྻΧϯτɺߴ/ΧʔσΟφϦςΟΧϥϜ ͷfacetܭࢉͳͲͷΫΤϦͷฏۉϨΠςϯγʔΛܭଌ OLAP query latency PinotϨΠςϯγʔ͕ಛͷOLAPʹಛԽͨ͠ྻࢦDBɻඇৗʹ ߴύϑΥʔϚϯε͕ͩɺσʔλಛੑʹ߹Θͤͨηάϝϯτνϡʔχϯ άඞཁͰӡ༻ʹਓతίετ͕͔ͳΓ͔͔Δ RocksetRockset͕ࣾఏڙ͢ΔOLAPʹಛԽͨ͠ϑϧϚωʔδυܕ ͷDBɻߦ/ྻࢦ྆ํͷಛੑΛ࣋ͪɺεϚʔτεΩʔϚͱ͍͏ػೳͰ εΩʔϚϨεͳJSONσʔλΛࣗಈͰߏԽσʔλͱಉͷύϑΥʔ ϚϯεͰѻ͑Δͷ͕ಛ -
36 ɹɹʛɹɹ© PLAID Inc. TiDBͷධՁ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ TiDBͷධՁΛ௨ͯ͠ັྗͱײ͡Δɾ͞ΒʹධՁΛਂΊ͍ͨϙΠϯτ ύϑΥʔϚϯεɾεέʔϥϏϦςΟ
ઌͷεϥΠυͷ௨ΓOLAPಛԽܕͷDB७ਮͳੑೳ༏Ε͍ͯΔ͕ɺTiDBൺݞ͠ಘΔੑೳɻ TiFlashͷਫฏεέʔϧੑͷߴ͋͞ΓɺαʔϏεͱڞʹඇઢܗతʹσʔλྔϫʔΫϩʔυ͕૿Ճ͢Δ ڥԼͰे༻Ͱ͖Δϙςϯγϟϧ͕͋Δͱײͨ͡ɻ ࠷ॳͷҹͰͲ͏ͯ͠τϨʔυΦϑ͕ੜ·Εͯόϥϯεྑ͍͕ϋϚΓ͖Γ͠ͳ͍ͱࢥ͍͕ͬͯͨɺ OLTP/OLAP྆໘Ͱߴ͍ਫ४ͰϢʔεέʔεͷջਂ͍ɺͱ͍͏ҹʹมΘͬͨɻ ϑϧϚωʔδυαʔϏεΛར༻͢ΕཧίετΛେ͖͘Լ͛Δ͜ͱ͕Ͱ͖Δ͜ͱ͕Ͱ͖ɺ τϥϒϧγϡʔςΟϯάਂ͍νϡʔχϯά͕ඞཁͳ࣌۩ମ·Ͱαϙʔτͯ͘͠ΕΔϓϩϑΣογϣφϧ αʔϏεͱͯྑ͍ϙΠϯτͩͬͨɻ ӡ༻ͷ༰қੑ -
37 ɹɹʛɹɹ© PLAID Inc. TiDBͷධՁ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ TiDBͷධՁΛ௨ͯ͠ັྗͱײ͡Δɾ͞ΒʹධՁΛਂΊ͍ͨϙΠϯτ ίετޮ
ੑೳϙςϯγϟϧ͋Γਫฏεέʔϧੑߴ͍͕ɺσʔλαΠζQPSΛ૿ͨ࣌͠ʹίετޮͷ࠷దԽ ͕Ͳ͜·ͰͰ͖Δ͔ࠓޙධՁΛਂΊ͍ͨϙΠϯτɻ ػೳͱͯ͠ɺࠓޙΦʔτεέʔϦϯάͷػೳClusteringͱ͍ͬͨσʔλϨΠΞτͷ࠷దԽͳͲ͕ΑΓ Ͱ͖Δ༷ʹͳΔͱར༻ن͕ॊೈʹͳΓελʔτΞοϓͱͯ͠ΑΓ͍͘͢ͳΔͱײͨ͡ɻ -
38 ɹɹʛɹɹ© PLAID Inc. ·ͱΊ 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ ฐࣾPLAIDͰ1st Party
Customer DataΛத৺ʹ༷ʑͳϓϩμΫτΛ։ൃ͍ͯ͠Δ ɾϢʔβʔʹΑΓྑ͍ମݧΛಧ͚ΔͨΊʹɺϢʔβʔΛΕΔ͜ͱΛಛʹେʹ͍ͯ͠Δ ɾେͳimmutableͳΠϕϯτσʔλɺmutableͳϢʔβʔσʔλΛBigQueryΛϝΠϯDBͱͯ͠ѻ͍ੳػೳΛఏڙ ɾ࠷ߴͷମݧͰσʔλੳͰ͖ΔڥΛࢦͯ͠վળ͠ଓ͚͍ͯΔ 0.xඵͰσʔλੳͰ͖ΔDBΛ୳ࡧ ɾHTAPࢹʹೖΕTiDB༗ྗͱײ͡ݕূ ɾOLAPಛԽ͍ͯ͠ͳ͍ɺେ͖ͳτϨʔυΦϑ͕͋Δ͔ݒ೦ͩͬͨ TiDBͷதͰಛʹTiFlashʹணͯ͠ݕূ ɾԾͷσʔλ͚ͩͰແ͘ɺ࣮σʔλͷೖɾαʔϏεʹଓͯ͠ݕূ(ஈ֊త͕ͩಋೖࡁ) ɾPingCAPͷαϙʔτͷྗ͓आΓ͠ͳ͕Β༷ʑઃܭɾνϡʔχϯά(·ͩಓ) ·ͩνϡʔχϯά༨͕͋Δ͕ߴ͍ύϑΥʔϚϯεΛൃشͤ͞ΒΕ͍ͯΔ ɾOLAPಛԽܕͷDBͱൺݞ͠ಘΔੑೳϙςϯγϟϧ ɾύϑΥʔϚϯεҎ֎ͷεέʔϥϏϦςΟӡ༻༰қੑ͕ߴ͘૯߹ྗʹ༏Ε͍ͯΔ ɾίετޮʹ͍ͭͯར༻نͷ֦େͱڞʹྑ͘Ͱ͖Δ͔ࠓޙධՁΛਂΊ͍ͨ -
39 ɹɹʛɹɹ© PLAID Inc. We are hiring! 2023.07.07ɹɹʛɹɹTiDB User Dayɹɹʛɹ
PLAID ࠾༻ใ https://recruit.plaid.co.jp/ WicleΤϯδχΞืूϖʔδ https://recruit.plaid.co.jp/requisitions/wicle-engineer