Prisma ORMを2年運用して培ったノウハウを共有する

TSKaigi 2024
ref: https://tskaigi.org/talks/tockn

1. Prisma ORMを2年運用して培った ノウハウを共有する Cloudbase株式会社
 tockn (Takuto Sato)
2. © 2024 Cloudbase Inc. セッションの目的
3. Prismaは地位を確立しつつある © 2024 Cloudbase Inc.
4. 情報も増えつつある © 2024 Cloudbase Inc. A 入門記3 A 採用事例記3 A エラー対処記3 A 解説記事 （いつもお世話になっています！）
5. © 2024 Cloudbase Inc. しかし
6. © 2024 Cloudbase Inc. リアルな運用事例が 足りてない！
7. Prisma ORMを2年運用して 培ったノウハウを共有する © 2024 Cloudbase Inc.
8. アジェンダ É 自己紹介 É Prisma ORMの基本 CÉ ノウハウ紹介 ~ilitiesを添えて~ HÉ まとめ © 2024 Cloudbase Inc.
9. アジェンダ É 自己紹介 É Prisma ORMの基本 CÉ ノウハウ紹介 ~ilitiesを添えて~ HÉ まとめ © 2024 Cloudbase Inc.
10. © 2024 Cloudbase Inc. tockn (Takuto Sato) Cloudbase株式会社 ソフトウェアエンジニア バックエンド〜Webフロントエンドまで で開発 @tockn_s @tockn
11. Cloudbaseの技術スタック Prismaは地位を確立しつつある Cloudbaseについて
12. Cloudbaseの技術スタック © 2024 Cloudbase Inc. RDB API Server GraphDB Data Loader Storage スキャナー お客様のクラウド環境 Web Frontend お客様
13. Cloudbaseの技術スタック © 2024 Cloudbase Inc. RDB API Server GraphDB Data Loader Storage スキャナー お客様のクラウド環境 Web Frontend お客様
14. アジェンダ É 自己紹介 É Prisma ORMの基本 CÉ ノウハウ紹介 ~ilitiesを添えて~ HÉ まとめ © 2024 Cloudbase Inc.
15. Prisma ORMとは E TypeScript向けORMライブラ3 E RDBだけでなくドキュメント指向DBも サポー E PostgreSQL, MySQL, MongoDB, etc... © 2024 Cloudbase Inc.
16. Prisma ORMの思想 $ アプリケーション開発者がDBを操作す る際の生産性を向上させるこ( $ 直感的なAPb $ 強力な型定! $ 純粋なObjectを返す © 2024 Cloudbase Inc.
17. 操作例: SELECT const = . . ({ { } }) users await prisma user where: name: findMany "tockn" /* [ { id: 2, email: 'tockn@example.com', name: 'tockn' }, { id: 3, email: 'tockn-2@example.com', name: 'tockn' } ] */ © 2024 Cloudbase Inc.
18. 操作例: SELECT const = . . ({ { } }) users await prisma user where: name: findMany "tockn" /* [ { id: 2, email: 'tockn@example.com', name: 'tockn' }, { id: 3, email: 'tockn-2@example.com', name: 'tockn' } ] */ © 2024 Cloudbase Inc. 純粋なObjectを返す
19. 操作例: INSERT , UPDATE, DELETE... // INSERT // UPDATE // DELETE // UPSERT await await await await await await . . ({ { , } }) . . ({ { }, { } }) . . ({ { }, { } }) . . ({ { } }) . . ({ { } }) . . ({ { }, { , }, { } }) prisma user data: name: email: prisma user where: email: data: name: prisma user where: name: data: name: prisma user where: email: prisma user where: name: prisma user where: email: create: name: email: update: name: create update updateMany delete deleteMany upsert "tockn" "tockn@example.com" "tockn@example.com" "tockn" "sato" "tockn" "tockn@example.com" "tockn" "tockn@example.com" "tockn" "tockn@example.com" "sato" © 2024 Cloudbase Inc.
20. © 2024 Cloudbase Inc. 前提知識を整理したところで 本題です
21. アジェンダ É 自己紹介 É Prisma ORMの基本 CÉ ノウハウ紹介 ~ilitiesを添えて~ HÉ まとめ © 2024 Cloudbase Inc.
22. ilitiesに沿ってお話します © 2024 Cloudbase Inc. F パフォーマンス、スケーラビリティ F セキュリティ F テスタビリティ F オブザーバビリティ
23. パフォーマンス、スケーラビリティ © 2024 Cloudbase Inc.
24. © 2024 Cloudbase Inc. Prismaは 「直感的なAPIを提供しSQLを 強く意識せずに使えるようにする」 ライブラリ
25. © 2024 Cloudbase Inc. 雰囲気で使えちゃうので嬉しい
26. © 2024 Cloudbase Inc. でも結局、SQLは大事
27. © 2024 Cloudbase Inc. 運用する中で注意すべきと感じた SQLを見ていく
28. find系のincludeについて await . . ({ { , }, }); prisma user include: post: findFirst true © 2024 Cloudbase Inc.
29. find系のincludeについて await . . ({ { , }, }); prisma user include: post: findFirst true © 2024 Cloudbase Inc. リレーションを持つテーブルを指定
30. includeして得られる結果 { , , , [ { , , , , , }, ], }; id: email: name: posts: id: title: content: published: authorId: 1 1 11 'tockn@example.com' 'tockn' 'Cloudbase' 'Cloudbase is a cloud security platform.' false © 2024 Cloudbase Inc.
31. includeして得られる結果 { , , , [ { , , , , , }, ], }; id: email: name: posts: id: title: content: published: authorId: 1 1 11 'tockn@example.com' 'tockn' 'Cloudbase' 'Cloudbase is a cloud security platform.' false © 2024 Cloudbase Inc. リレーション先のデータも取得
32. © 2024 Cloudbase Inc. リレーションを取得ということは… JOIN句が使われている？
33. © 2024 Cloudbase Inc. リレーションを取得ということは… JOIN句が使われている？ NO （デフォルトでは）
34. find系のincludeで発行されるSQL © 2024 Cloudbase Inc. -- 1. Userの取得 SELECT FROM WHERE LIMIT . . , . . , . . . . . = ? ? OFFSET ?; `main` `User` `id` `main` `User` `email` `main` `User` `name` `main` `User` `main` `User` `name` -- 2. 取得したUserが持つPost取得 SELECT FROM WHERE IN LIMIT . . , . . , . . , . . , . . . . . (?, ?, ?) ? OFFSET ?; `main` `Post` `id` `main` `Post` `title` `main` `Post` `content` `main` `Post` `published` `main` `Post` `authorId` `main` `Post` `main` `Post` `authorId`
35. find系のincludeで発行されるSQL © 2024 Cloudbase Inc. -- 1. Userの取得 SELECT FROM WHERE LIMIT . . , . . , . . . . . = ? ? OFFSET ?; `main` `User` `id` `main` `User` `email` `main` `User` `name` `main` `User` `main` `User` `name` -- 2. 取得したUserが持つPost取得 SELECT FROM WHERE IN LIMIT . . , . . , . . , . . , . . . . . (?, ?, ?) ? OFFSET ?; `main` `Post` `id` `main` `Post` `title` `main` `Post` `content` `main` `Post` `published` `main` `Post` `authorId` `main` `Post` `main` `Post` `authorId` 最初にuserを取得
36. find系のincludeで発行されるSQL © 2024 Cloudbase Inc. -- 1. Userの取得 SELECT FROM WHERE LIMIT . . , . . , . . . . . = ? ? OFFSET ?; `main` `User` `id` `main` `User` `email` `main` `User` `name` `main` `User` `main` `User` `name` -- 2. 取得したUserが持つPost取得 SELECT FROM WHERE IN LIMIT . . , . . , . . , . . , . . . . . (?, ?, ?) ? OFFSET ?; `main` `Post` `id` `main` `Post` `title` `main` `Post` `content` `main` `Post` `published` `main` `Post` `authorId` `main` `Post` `main` `Post` `authorId` 取得したuser_idで Postを取得
37. find系のincludeで発行されるSQL © 2024 Cloudbase Inc. -- 1. Userの取得 SELECT FROM WHERE LIMIT . . , . . , . . . . . = ? ? OFFSET ?; `main` `User` `id` `main` `User` `email` `main` `User` `name` `main` `User` `main` `User` `name` -- 2. 取得したUserが持つPost取得 SELECT FROM WHERE IN LIMIT . . , . . , . . , . . , . . . . . (?, ?, ?) ? OFFSET ?; `main` `Post` `id` `main` `Post` `title` `main` `Post` `content` `main` `Post` `published` `main` `Post` `authorId` `main` `Post` `main` `Post` `authorId` 取得したuser_idで Postを取得 WHERE IN
38. © 2024 Cloudbase Inc. ・WHERE INが大量になる ・通信のオーバーヘッド ・DBのオプティマイザの力を活かせない
39. © 2024 Cloudbase Inc. Cloudbaseでは 肥大化した一覧取得系APIの パフォーマンスが問題に 他にもRelation Filterの非効率なSQLもあった
40. © 2024 Cloudbase Inc. 他にも create, update, deleteで SELECT文が走ったり… (4.x.x)
41. © 2024 Cloudbase Inc. どう対応しているか？
42. © 2024 Cloudbase Inc. Cloudbaseではど う し ているか g 対象データ量が多い場合はqueryRawを使C g 少ない場合はincludeを使う await . <{ : ; : }> ; prisma id name $queryRaw number string ` SELECT u.id, u.name FROM user as u INNER JOIN post as p ON u.id = p."authorId" WHERE u.name = 'tockn'`
43. © 2024 Cloudbase Inc. Cloudbaseではど う し ているか f 原則updateMany, deleteManyを使用すa f xxxManyなら余分なクエリが走らない UPDATE DELETE // ️ 原則使わない // 余分なクエリが走らないmanyを使う await await . . ({ { }, { }, }); . . ({ { }, { }, }); prisma user where: email: data: name: prisma user where: name: data: name: update updateMany 'tockn@example.com' 'tockn' 'sato' 'tockn' // 原則使わない // ️ 余分なクエリが走らないmanyを使う await await . . ({ { }, }); . . ({ { }, }); prisma user where: email: prisma user where: name: delete deleteMany 'tockn@example.com' 'tockn'
44. © 2024 Cloudbase Inc. 「PrismaのSQLは効率悪いのか〜」
45. © 2024 Cloudbase Inc. ちょっと待って！
46. © 2024 Cloudbase Inc. PrismaはSQL最適化に力を入れている
47. © 2024 Cloudbase Inc. 5.x.xからupdate, deleteでSELECT文無しに https://github.com/prisma/prisma-engines/pull/4595
48. © 2024 Cloudbase Inc. relational filterで発行されるクエリ改善 https://github.com/prisma/prisma-engines/pull/4235
49. © 2024 Cloudbase Inc. previewFeature: relationJoins https://github.com/prisma/prisma/releases/tag/5.8.0
50. previewFeature: relationJoins await . . ({ { }, { }, }); prisma user include: posts: where: name: findMany true 'tockn' © 2024 Cloudbase Inc.
51. previewFeature: relationJoins await . . ({ , { }, { }, }); prisma user relationLoadStrategy: include: posts: where: name: findMany 'join' 'tockn' true © 2024 Cloudbase Inc. joinかqueryか選べるように！
52. find系のincludeで発行されるSQL © 2024 Cloudbase Inc. await . . ({ , { }, { }, }); prisma user relationLoadStrategy: include: posts: where: name: findMany 'join' 'tockn' true SELECT AS FROM AS LEFT JOIN SELECT AS FROM SELECT FROM SELECT AS FROM SELECT FROM AS WHERE AS AS AS AS ON WHERE . , . , . . LATERAL ( (JSONB_AGG( ), ) ( . ( JSONB_BUILD_OBJECT ( , . , , . , , . ) ( .* . . = . ) ) ) ) TRUE . = $ ; "t1" "id" "t1" "name" "User_posts" "__prisma_data__" "posts" "public" "User" "t1" "__prisma_data__" '[]' "__prisma_data__" "t4" "__prisma_data__" 'id' "t3" "id" 'content' "t3" "content" 'authorId' "t3" "authorId" "__prisma_data__" "t2" "public" "Post" "t2" "t1" "id" "t2" "authorId" "t3" "t4" "t5" "User_posts" "t1" "name" COALESCE /* root select */ /* inner select */ /* middle select */ /* outer select */ 1 発行されるSQL
53. find系のincludeで発行されるSQL © 2024 Cloudbase Inc. await . . ({ , { }, { }, }); prisma user relationLoadStrategy: include: posts: where: name: findMany 'join' 'tockn' true SELECT AS FROM AS LEFT JOIN SELECT AS FROM SELECT FROM SELECT AS FROM SELECT FROM AS WHERE AS AS AS AS ON WHERE . , . , . . LATERAL ( (JSONB_AGG( ), ) ( . ( JSONB_BUILD_OBJECT ( , . , , . , , . ) ( .* . . = . ) ) ) ) TRUE . = $ ; "t1" "id" "t1" "name" "User_posts" "__prisma_data__" "posts" "public" "User" "t1" "__prisma_data__" '[]' "__prisma_data__" "t4" "__prisma_data__" 'id' "t3" "id" 'content' "t3" "content" 'authorId' "t3" "authorId" "__prisma_data__" "t2" "public" "Post" "t2" "t1" "id" "t2" "authorId" "t3" "t4" "t5" "User_posts" "t1" "name" COALESCE /* root select */ /* inner select */ /* middle select */ /* outer select */ 1 発行されるSQL JOINが使われている （少し複雑なSQLだが...）
54. © 2024 Cloudbase Inc. ちゃんと頑張ってくれている というのを伝えたかった
55. © 2024 Cloudbase Inc. クエリのパフォーマンスについて 見たので
56. © 2024 Cloudbase Inc. 次は スケーラビリティ的観点の工夫
57. © 2024 Cloudbase Inc. Cloudbaseは Read Heavyな側面もある
58. © 2024 Cloudbase Inc. お客様のクラウド環境の リソース情報 リスク情報 どれも非常に大量…
59. © 2024 Cloudbase Inc. Readのスケールをしたい
60. © 2024 Cloudbase Inc. Read Replicaを使おう
61. © 2024 Cloudbase Inc. Read Replica V Read専用のノーD V Primaryの内容をほぼリアルタイムにコピー Primary レプリケーション Read Replica
62. © 2024 Cloudbase Inc. PrismaでRead Replicaを扱いたい！
63. © 2024 Cloudbase Inc. PrismaでRead Replicaを扱いたい！ ↓ クエリの投げ先を切り替えたい！
64. © 2024 Cloudbase Inc. そこで
65. © 2024 Cloudbase Inc. Cloudbaseでは PrismaClientをwrapする 独自クラスを作っています
66. © 2024 Cloudbase Inc. その名も PrismaClientIssuer
67. PrismaClientIssuerについて const new async => async => = ( ) . (..., ( ) { . . ({ ... }) }) . (..., ( ) { . . ({ ... }) }) issuer PrismaClientIssuser primary create readReplica findMany args issuer tx tx user issuer tx tx user // primaryへのアクセス // read replicaへのアクセス await await await return © 2024 Cloudbase Inc.
68. PrismaClientIssuerについて const new async => async => = ( ) . (..., ( ) { . . ({ ... }) }) . (..., ( ) { . . ({ ... }) }) issuer PrismaClientIssuser primary create readReplica findMany args issuer tx tx user issuer tx tx user // primaryへのアクセス // read replicaへのアクセス await await await return © 2024 Cloudbase Inc. primaryを指定
69. PrismaClientIssuerについて const new async => async => = ( ) . (..., ( ) { . . ({ ... }) }) . (..., ( ) { . . ({ ... }) }) issuer PrismaClientIssuser primary create readReplica findMany args issuer tx tx user issuer tx tx user // primaryへのアクセス // read replicaへのアクセス await await await return © 2024 Cloudbase Inc. callbackの引数に primaryへ張ったTranasctionClientが来る
70. PrismaClientIssuerについて const new async => async => = ( ) . (..., ( ) { . . ({ ... }) }) . (..., ( ) { . . ({ ... }) }) issuer PrismaClientIssuser primary create readReplica findMany args issuer tx tx user issuer tx tx user // primaryへのアクセス // read replicaへのアクセス await await await return © 2024 Cloudbase Inc. primaryへクエリを発行
71. PrismaClientIssuerについて const new async => async => = ( ) . (..., ( ) { . . ({ ... }) }) . (..., ( ) { . . ({ ... }) }) issuer PrismaClientIssuser primary create readReplica findMany args issuer tx tx user issuer tx tx user // primaryへのアクセス // read replicaへのアクセス await await await return © 2024 Cloudbase Inc. read replicaも同じ
72. © 2024 Cloudbase Inc. Read Replicaを扱えるようになった
73. © 2024 Cloudbase Inc. extension-read-replicasを 何故直接使っていないか Prisma公式の拡張機能
74. © 2024 Cloudbase Inc. PrismaClientをwrapするメリットは 他にもある
75. © 2024 Cloudbase Inc. PrimaryとRead Replicaを 使い分けるうえでの課題
76. © 2024 Cloudbase Inc. Read Replicaに対して Write系クエリは投げられないが… エラーになる
77. © 2024 Cloudbase Inc. TransactionClientを 引数に持つメソッドを呼ぶ時 Primaryを渡すべきか？ Read Replicaで良いのか？ わからない問題
78. PrismaClientIssuerについて const async => = ( : . , : ) { ... }; handleUser tx user Prisma TransactionClient User © 2024 Cloudbase Inc.
79. PrismaClientIssuerについて const async => = ( : . , : ) { ... }; handleUser tx user Prisma TransactionClient User © 2024 Cloudbase Inc. primaryを渡すべき？ readReplicaを渡すべき？
80. PrismaClientIssuerについて const async => = ( : . , : ) { . . ({ }); }; handleUser create tx user tx user data: user Prisma TransactionClient User await © 2024 Cloudbase Inc. 実装を見ないとわからない （この例はcreateしてるのでprimaryが必要）
81. © 2024 Cloudbase Inc. 開発体験悪い 型レベルで保証できたら嬉しい
82. © 2024 Cloudbase Inc. そこで
83. © 2024 Cloudbase Inc. 2つの独自Transaction型を用意 PrismaClientIssuerと合わせて使う
84. © 2024 Cloudbase Inc. CBWritableTransaction と CBReadableTransaction
85. © 2024 Cloudbase Inc. 2つのTransaction型 ・PrismaのTransactionClientの交差型 ・ 　 ・issuerのprimaryメソッドで渡る型 　 ・ に対しても ・ 　 ・issuerのreadReplicaメソッドで渡る型 　 ・ に対して CBWritableTransaction CBWritableTransaction CBReadableTransaction CBReadableTransaction 渡せる 渡せない
86. 独自Transaction型を使う const async => const async => = ( : , : ) { . . ({ }); }; = ( : ) { . . (); }; registerUser create listUsers findMany tx user tx user data: user tx tx user CBWritableTransaction User CBReadableTransaction await return © 2024 Cloudbase Inc.
87. 独自Transaction型を使う const async => const async => = ( : , : ) { . . ({ }); }; = ( : ) { . . (); }; registerUser create listUsers findMany tx user tx user data: user tx tx user CBWritableTransaction User CBReadableTransaction await return © 2024 Cloudbase Inc. Write系クエリがある場合は CBWritableTranasction
88. 独自Transaction型を使う const async => const async => = ( : , : ) { . . ({ }); }; = ( : ) { . . (); }; registerUser create listUsers findMany tx user tx user data: user tx tx user CBWritableTransaction User CBReadableTransaction await return © 2024 Cloudbase Inc. Read系のみの場合は CBReadableTransaction
89. © 2024 Cloudbase Inc. これを PrismaClientIssuerと合わせて使う
90. PrismaClientIssuerと独自Transaction型（OKパターン） // primary // CBWritableTransaction // CBReadableTransaction // read replica // CBReadableTransaction await await return await return . (..., ( ) { ( ) ( ) }) . (..., ( ) { ( ) }) issuer tx tx tx issuer tx tx primary registerUser listUsers readReplica listUsers async => async => © 2024 Cloudbase Inc.
91. PrismaClientIssuerと独自Transaction型（OKパターン） // primary // CBWritableTransaction // CBReadableTransaction // read replica // CBReadableTransaction await await return await return . (..., ( ) { ( ) ( ) }) . (..., ( ) { ( ) }) issuer tx tx tx issuer tx tx primary registerUser listUsers readReplica listUsers async => async => © 2024 Cloudbase Inc. Writable, Readableどちらも呼べる primaryでは CBWritableTransactionが貰える
92. PrismaClientIssuerと独自Transaction型（OKパターン） // primary // CBWritableTransaction // CBReadableTransaction // read replica // CBReadableTransaction await await return await return . (..., ( ) { ( ) ( ) }) . (..., ( ) { ( ) }) issuer tx tx tx issuer tx tx primary registerUser listUsers readReplica listUsers async => async => © 2024 Cloudbase Inc. readReplicaでは CBReadableTransactionが貰える Readableのみ呼べる
93. PrismaClientIssuerと独自Transaction型（NGパターン） // NG // 型エラー // NG // 型エラー await return return . (..., ( ) { ( ) }) = ( : ) { ( ) . . () } issuer tx tx tx tx tx user readReplica registerUser listUsers registerUser findMany async => const async => CBReadableTransaction © 2024 Cloudbase Inc.
94. PrismaClientIssuerと独自Transaction型（NGパターン） // NG // 型エラー // NG // 型エラー await return return . (..., ( ) { ( ) }) = ( : ) { ( ) . . () } issuer tx tx tx tx tx user readReplica registerUser listUsers registerUser findMany async => const async => CBReadableTransaction © 2024 Cloudbase Inc. CBWritableTransactionが必要なメソッドを readReplicaで呼ぶと型エラー
95. PrismaClientIssuerと独自Transaction型（NGパターン） // NG // 型エラー // NG // 型エラー await return return . (..., ( ) { ( ) }) = ( : ) { ( ) . . () } issuer tx tx tx tx tx user readReplica registerUser listUsers registerUser findMany async => const async => CBReadableTransaction © 2024 Cloudbase Inc. メソッド内で渡してしまうことも防止
96. © 2024 Cloudbase Inc. というわけで PrismaClientはそのまま使わずに wrapすると色々仕込めて便利
97. © 2024 Cloudbase Inc. パフ ォーマンス、 スケーラビリテ ィ ノ ウハウまとめ ・発行されるクエリに注意 　・結局queryRawが必要になることも 　・とはいえ、Prismaはクエリ最適化を頑張ってる ・Read Replicaによるスケールアウト 　・PrismaClientをwrapするクラスを作ると便利 　・独自のTransaction型を定義すると便利
98. ilitiesに沿ってお話します © 2024 Cloudbase Inc. 4 セキュリティ 4 テスタビリティ 4 オブザーバビリティ
99. セキュリティ © 2024 Cloudbase Inc.
100. © 2024 Cloudbase Inc. Cloudbaseは プールモデル マルチテナントシステム
101. © 2024 Cloudbase Inc. 同じDB、テーブルに 異なるお客様のデータが入る （プロダクト仕様実現のため）
102. © 2024 Cloudbase Inc. あるデータを取得する場合 アクセス元ユーザが権限を持っているもの だけを返す必要がある
103. © 2024 Cloudbase Inc. あるデータを取得する場合 アクセス元ユーザが権限を持っているもの だけを返す必要がある どう実現する？
104. © 2024 Cloudbase Inc. 「Whereを忘れずに付けよう！」
105. © 2024 Cloudbase Inc.
106. © 2024 Cloudbase Inc. 実装漏れ、レビュー漏れ、テスト漏れ… Whereを忘れる可能性はゼロではない
107. © 2024 Cloudbase Inc. 特にPrismaでは Where対象のkeyにundefinedを渡すと 「条件なし」を意味する
108. whereとundefined const = (); . . ({ { } }); tenantId await await getMyTenantId findMany prisma message where: tenantId © 2024 Cloudbase Inc.
109. whereとundefined const = (); . . ({ { } }); tenantId await await getMyTenantId findMany prisma message where: tenantId © 2024 Cloudbase Inc. これがundefinedを返した場合
110. whereとundefined const = (); . . ({ { } }); tenantId await await getMyTenantId findMany prisma message where: tenantId © 2024 Cloudbase Inc. tenant関係なく 全件取得
111. © 2024 Cloudbase Inc. 一発アウトの情報漏洩に なりかねない
112. © 2024 Cloudbase Inc. そこで
113. © 2024 Cloudbase Inc. Row Level Security
114. © 2024 Cloudbase Inc. Row Level Security ・通称RLS ・PostgreSQLにある機能 ・DBユーザ、セッション、トランザクションにおいて 　アクセス可能なレコードを行レベルで制御する仕組み
115. RLSざっくり解説 © 2024 Cloudbase Inc.
116. RLSざっくり解説 © 2024 Cloudbase Inc. トランザクション開始 （BEGIN）
117. RLSざっくり解説 © 2024 Cloudbase Inc. このトランザクションでは tenantId = 1 のデータだけ返してね （set_config）
118. RLSざっくり解説 © 2024 Cloudbase Inc. OK
119. RLSざっくり解説 © 2024 Cloudbase Inc. message全件ちょうだい （SELECT * FROM messages）
120. RLSざっくり解説 © 2024 Cloudbase Inc. どうぞ （SELECT * FROM messagesの結果） id 1 こんにちは〜 どうも〜 さようなら〜 1 1 1 6 29 body tenant_id
121. RLSざっくり解説 © 2024 Cloudbase Inc. どうぞ （SELECT * FROM messagesの結果） id 1 こんにちは〜 どうも〜 さようなら〜 1 1 1 6 29 body tenant_id Whereが無くても tenantIdで絞られる
122. © 2024 Cloudbase Inc. Prismaで RLSを扱いたい！
123. © 2024 Cloudbase Inc. PrismaClientIssuerが再活躍 (独自クラス)
124. PrismaClientIssuerとRLS await . ( , ( ) { ... }) issuer accessToken tx primary async => © 2024 Cloudbase Inc.
125. PrismaClientIssuerとRLS await . ( , ( ) { ... }) issuer accessToken tx primary async => © 2024 Cloudbase Inc. 認可情報を渡す
126. PrismaClientIssuerとRLS await . ( , ( ) { ... }) issuer accessToken tx primary async => © 2024 Cloudbase Inc. RLSが適用された Transaction
127. © 2024 Cloudbase Inc. このaccessTokenって何者？ await . ( , ( ) { ... }) issuer accessToken tx primary async =>
128. © 2024 Cloudbase Inc. そのユーザがアクセス可能な テナントIDが入ったObject const = { ; } accessToken tenantId: 1 （厳密にはもっと工夫がある）
129. © 2024 Cloudbase Inc. このObjectは どこで取得するのか？
130. © 2024 Cloudbase Inc. express middlewareが発行する 権限を持つtenantId取得 Request Objectとして渡す express application auth middleware handler
131. handlerの実装 async => async => ( , ) { . ( . , ( ) { ... }) } req: res: issuer req accessToken tx express.Request express.Response await readReplica © 2024 Cloudbase Inc. reqから取得して 渡すだけ
132. © 2024 Cloudbase Inc. どうやってRLSを適用した Transactionを生成している？ await . ( , ( ) { ... }) issuer accessToken tx primary async =>
133. PrismaClientIssuerの実装 async accessToken callback prisma tx tx accessToken tenantId tx ( , ) { ... . ( ( ) { . . ; ( ); }) } readReplica $transaction $executeRaw callback return await return async => ${ } ` SELECT set_config( 'app.rls_config.tenant', , TRUE )` © 2024 Cloudbase Inc.
134. PrismaClientIssuerの実装 async accessToken callback prisma tx tx accessToken tenantId tx ( , ) { ... . ( ( ) { . . ; ( ); }) } readReplica $transaction $executeRaw callback return await return async => ${ } ` SELECT set_config( 'app.rls_config.tenant', , TRUE )` © 2024 Cloudbase Inc. set_configを呼んで callbackに渡してるだけ
135. © 2024 Cloudbase Inc. これで マルチテナントのセキュリティが 担保される
136. © 2024 Cloudbase Inc. まだ安心できません
137. © 2024 Cloudbase Inc. 行の次は
138. © 2024 Cloudbase Inc. 列
139. © 2024 Cloudbase Inc. TypeScriptは 構造的型付け
140. © 2024 Cloudbase Inc. そしてPrismaは 純粋なObjectを返す
141. © 2024 Cloudbase Inc. この組み合わせが 引き起こすのは
142. © 2024 Cloudbase Inc. 意図しないカラムの 露出
143. © 2024 Cloudbase Inc. 例えば 以下のテーブルがあるとする model User id Int name String address String password String { }
144. © 2024 Cloudbase Inc. 例えば 以下のテーブルがあるとする model User id Int name String address String password String { } 個人情報
145. © 2024 Cloudbase Inc. このテーブルを使った ユーザ一覧取得APIを考える model User id Int name String address String password String { }
146. © 2024 Cloudbase Inc. Responseの型を以下とする type = { : ; : ; }[]; ListUsersResponse number string id name
147. © 2024 Cloudbase Inc. これをナイーブに実装すると？
148. こうなる const async => const = ( , ) { : = . . (); . ( ); }; listUsers findMany json req res prisma user res resp resp ListUsersResponse await
149. こうなる const async => const = ( , ) { : = . . (); . ( ); }; listUsers findMany json req res prisma user res resp resp ListUsersResponse await 型的には問題ないが…？
150. © 2024 Cloudbase Inc. このAPIのレスポンスは
151. © 2024 Cloudbase Inc. こうなる
152. こうなる [ { : , : , : , : } ] "id" "name" "address" "password" 1 "tockn" "〒108-0073 東京都港区三田3-2-8" "sugoi-secure-password"
153. こうなる [ { : , : , : , : } ] "id" "name" "address" "password" 1 "tockn" "〒108-0073 東京都港区三田3-2-8" "sugoi-secure-password" 個人情報が丸見えに
154. © 2024 Cloudbase Inc. そこで
155. © 2024 Cloudbase Inc. zod
156. © 2024 Cloudbase Inc. zod ・スキーマ定義とバリデーションを行うライブラリ ・z.object() 等を使用してスキーマを定義 ・Schema.parse(obj) で渡したobjのバリデーション const type typeof = . ({ . (), . (), }); = . < >; . ( ); User z id: z name: z User User obj object number string parse User z infer // バリデーション
157. © 2024 Cloudbase Inc. Response型の定義に zodを使う
158. Response型をzodで書き換える const type typeof = . ( . ({ . (), . (), }), ); = . < >; ListUsersResponse z z id: z name: z ListUsersResponse array object number string ListUsersResponse z infer
159. zodのparseを行う const async => const = ( , ) { = . ( . . () ); . ( ); }; listUsers parse findMany json req res ListUsersResponse prisma user res resp resp await
160. zodのparseを行う const async => const = ( , ) { = . ( . . () ); . ( ); }; listUsers parse findMany json req res ListUsersResponse prisma user res resp resp await parseメソッドを実行
161. © 2024 Cloudbase Inc. このAPIのレスポンスは こうなる
162. こうなる [ { : , : } ] "id" "name" 1 "tockn"
163. こうなる [ { : , : } ] "id" "name" 1 "tockn" 個人情報が切り落とされた！ parseは未定義フィールドを切り落とす
164. © 2024 Cloudbase Inc. middleware等で Responseへの zodの使用を強制する
165. © 2024 Cloudbase Inc. これで 列レベルのセキュリティも 担保された
166. © 2024 Cloudbase Inc. セキ ュ リテ ィ ノ ウハウまとめ ・マルチテナントにおける行レベルのセキュリティ 　・PrismaでRLSを使う 　・またしてもPrismaClientをｗrapするクラスが便利 ・列レベルのセキュリティも忘れてはいけない 　・PrismaはPOJO返し、TypeScriptは構造的型付け 　・ナイーブな実装は情報漏洩になることも 　・zodを使うことで回避
167. ilitiesに沿ってお話します © 2024 Cloudbase Inc. 8 テスタビリティ 8 オブザーバビリティ
168. テスタビリティ © 2024 Cloudbase Inc.
169. © 2024 Cloudbase Inc. Prismaを用いた実装では 実際のDBを使用した インテグレーションテストを 書きたくなる
170. © 2024 Cloudbase Inc. 開発生産性の 課題がある
171. © 2024 Cloudbase Inc. シードレコードの 用意が大変問題
172. © 2024 Cloudbase Inc. テスト対象実行後 DBのレコード検証ロジックを 毎度書くのが面倒問題
173. © 2024 Cloudbase Inc. テスト実行後 レコードのクリーンアップが 大変問題
174. © 2024 Cloudbase Inc. これらの実装で テストコードの見通しが 悪くなる
175. © 2024 Cloudbase Inc. そこで
176. © 2024 Cloudbase Inc. 内製Test Runnerを開発 「また内製かよ...」 と思った方、少々お待ち下さい
177. 内製Test Runner全体像 it run method _TEST_ONLY_primaryDBWithRLS registerUserInGroup ( , ( , { { [{ , }], [{ , , }], }, () ( ( ) ( , )), { }, { [{ , , }] ... '指定したgroupId配下にuserが作成される' 'テナント1' 'グループ1' 'tockn' db recordSet: tenant: id: name: group: id: name: tenantId: : tx tx returns: id: mutates: user: id: name: groupId: 1 1 1 1 1 1 1 => =>
178. 内製Test Runner全体像 it run method _TEST_ONLY_primaryDBWithRLS registerUserInGroup ( , ( , { { [{ , }], [{ , , }], }, () ( ( ) ( , )), { }, { [{ , , }] ... '指定したgroupId配下にuserが作成される' 'テナント1' 'グループ1' 'tockn' db recordSet: tenant: id: name: group: id: name: tenantId: : tx tx returns: id: mutates: user: id: name: groupId: 1 1 1 1 1 1 1 => => シードレコードを 宣言的に定義
179. 内製Test Runner全体像 it run method _TEST_ONLY_primaryDBWithRLS registerUserInGroup ( , ( , { { [{ , }], [{ , , }], }, () ( ( ) ( , )), { }, { [{ , , }] ... '指定したgroupId配下にuserが作成される' 'テナント1' 'グループ1' 'tockn' db recordSet: tenant: id: name: group: id: name: tenantId: : tx tx returns: id: mutates: user: id: name: groupId: 1 1 1 1 1 1 1 => => シードレコードを 宣言的に定義 DELETEしてから INSERT
180. 内製Test Runner全体像 it run method _TEST_ONLY_primaryDBWithRLS registerUserInGroup ( , ( , { { [{ , }], [{ , , }], }, () ( ( ) ( , )), { }, { [{ , , }] ... '指定したgroupId配下にuserが作成される' 'テナント1' 'グループ1' 'tockn' db recordSet: tenant: id: name: group: id: name: tenantId: : tx tx returns: id: mutates: user: id: name: groupId: 1 1 1 1 1 1 1 => => シードレコードを 宣言的に定義 外部キー制約も考慮して INSERT DELETEしてから INSERT
181. 内製Test Runner全体像 it run method _TEST_ONLY_primaryDBWithRLS registerUserInGroup ( , ( , { { [{ , }], [{ , , }], }, () ( ( ) ( , )), { }, { [{ , , }] ... '指定したgroupId配下にuserが作成される' 'テナント1' 'グループ1' 'tockn' db recordSet: tenant: id: name: group: id: name: tenantId: : tx tx returns: id: mutates: user: id: name: groupId: 1 1 1 1 1 1 1 => => テスト対象の メソッドを書く
182. 内製Test Runner全体像 it run method _TEST_ONLY_primaryDBWithRLS registerUserInGroup ( , ( , { { [{ , }], [{ , , }], }, () ( ( ) ( , )), { }, { [{ , , }] ... '指定したgroupId配下にuserが作成される' 'テナント1' 'グループ1' 'tockn' db recordSet: tenant: id: name: group: id: name: tenantId: : tx tx returns: id: mutates: user: id: name: groupId: 1 1 1 1 1 1 1 => => テスト対象メソッドの 戻り値を定義
183. 内製Test Runner全体像 it run method _TEST_ONLY_primaryDBWithRLS registerUserInGroup ( , ( , { { [{ , }], [{ , , }], }, () ( ( ) ( , )), { }, { [{ , , }] ... '指定したgroupId配下にuserが作成される' 'テナント1' 'グループ1' 'tockn' db recordSet: tenant: id: name: group: id: name: tenantId: : tx tx returns: id: mutates: user: id: name: groupId: 1 1 1 1 1 1 1 => => テスト対象メソッド実行後の レコードの状態を定義
184. © 2024 Cloudbase Inc. 内製Test Runner ・レコードの状態、戻り値を宣言的に定義 　・良い感じにINSERTし、良い感じに検証 ・非常に開発者体験が良い ・他にも便利なオプションがある 　・snapshot 　・エラー検証
185. © 2024 Cloudbase Inc. これだけだと 自慢話で終わってしまう
186. © 2024 Cloudbase Inc. というわけで...
187. © 2024 Cloudbase Inc. OSS化しました
188. © 2024 Cloudbase Inc. prisma-generator-integration-test-runner https://github.com/Levetty/prisma-generator-integration-test-runner
189. © 2024 Cloudbase Inc. 今から使えます！ schema.prisma shell npm @cloudbase-inc/ install prisma-generator-integration-test-runner -D generator integration test runner provider - - { = } "prisma-generator-integration-test-runner"
190. © 2024 Cloudbase Inc. テスタビリテ ィ まとめ ・開発生産性に課題 　・テストレコードの用意、検証など ・内製Test Runnerが便利 　・宣言的な状態定義 ・OSSとして公開しました 　・ぜひ使ってみてください
191. ilitiesに沿ってお話します © 2024 Cloudbase Inc. A オブザーバビリティ
192. オブザーバビリティ © 2024 Cloudbase Inc.
193. © 2024 Cloudbase Inc. Prismaの裏で行われている処理 どのくらい把握できていますか？
194. © 2024 Cloudbase Inc. DBとのコネクション確立
195. © 2024 Cloudbase Inc. PrismaClientから PrismaEngine向けクエリの変換
196. © 2024 Cloudbase Inc. SQLの発行
197. © 2024 Cloudbase Inc. DBからの結果を PrismaClientの結果として変換
198. © 2024 Cloudbase Inc. もっと言えば 1つのHTTPリクエストから レスポンスまでに起きてることを どのくらい把握できていますか？
199. © 2024 Cloudbase Inc. そこで
200. © 2024 Cloudbase Inc. OpenTelemetry
201. © 2024 Cloudbase Inc. OpenTelemetry ・オブザーバビリティのためのフレームワーク 　・テレメトリデータの作成、管理 　　・トレース、メトリクス、ログ ・環境に依らず計装できる ・保存と可視化は責務外
202. © 2024 Cloudbase Inc. Prismaで OpenTelemetryの計装をしたい
203. © 2024 Cloudbase Inc. そこで
204. © 2024 Cloudbase Inc. OpenTelemetry tracing (preview)
205. © 2024 Cloudbase Inc. OpenTelemetry tracing ・PrismaにあるPreview Feature ・OpenTelemetryの計装 ・PrismaClientの様々な処理をトレースできる ・環境構築は公式ドキュメントを参照 ・expressなどの計装と合わせて見れる
206. トレースをJaegerで可視化 const = (); . . ({ { } }); tenantId await await getMyTenantId findMany prisma message where: tenantId © 2024 Cloudbase Inc.
207. トレースをJaegerで可視化 const = (); . . ({ { } }); tenantId await await getMyTenantId findMany prisma message where: tenantId © 2024 Cloudbase Inc. どのAPIで
208. トレースをJaegerで可視化 const = (); . . ({ { } }); tenantId await await getMyTenantId findMany prisma message where: tenantId © 2024 Cloudbase Inc. どのような処理が どのくらい実行されたか
209. トレースをJaegerで可視化 const = (); . . ({ { } }); tenantId await await getMyTenantId findMany prisma message where: tenantId © 2024 Cloudbase Inc. どのようなSQLが発行されたか
210. © 2024 Cloudbase Inc. Cloudbaseでは 可視化ツールとしてDatadogを使用
211. © 2024 Cloudbase Inc. ローカルでもJeagerを使用 日々の開発にも役立てている
212. © 2024 Cloudbase Inc. Prismaは裏で色々頑張ってくれている だからこそ オブザーバビリティが大事
213. © 2024 Cloudbase Inc. オブザーバビリテ ィ ノ ウハウまとめ ・Prismaの裏でも様々な処理が走る ・OpenTelemetry tracingを使って可視化
214. アジェンダ É 自己紹介 É Prisma ORMの基本 CÉ ノウハウ紹介 ~ilitiesを添えて~ HÉ まとめ © 2024 Cloudbase Inc.
215. 全体まとめ © 2024 Cloudbase Inc. ・結局、SQLは大事 ・PrismaClientをwrapすると共通処理を仕込めて便利 ・インテグレーションテスト基盤をOSS化しました ・OpenTelemetry tracing使おう
216. 宣伝 © 2024 Cloudbase Inc.
217. © 2024 Cloudbase Inc. Cloudbaseの アプリケーションレイヤは フルTypeScript
218. © 2024 Cloudbase Inc. Prismaも使いこなす プロダクトエンジニアとして 一緒に働きませんか？
219. We Are Hiring! Engineer Entrance Book
220. TSKaigiのビールスポンサーです！ TSKaigiのビールスポンサーです！ Cloudbase は Cloudbase は
221. オレンジの服着てる人は多分Cloudbaseですw オレンジの服着てる人は多分Cloudbaseですw 一緒にビール飲みましょう！ 一緒にビール飲みましょう！