DBFlute bridges between DB and App

by jflute

Slide 1

Slide 1 text

DBをリファクタリングしよう、 DBとアプリの架け橋 DBFlute by 久保雅彦(jflute)

Slide 2

Slide 2 text

わたしはだれ？久保　雅彦 (jflute) 　オープンソースプログラマー DBFluteの作者 jfluteの日記（http://d.hatena.ne.jp/jflute/） Twitter: @jflute / facebook: dbflute 2 自己紹介

Slide 3

Slide 3 text

住んでるところ Java, JDBC, フレームワーク, DB設計, プログラマー教育オープンソース 3 自己紹介

Slide 4

Slide 4 text

DBFluteとは？ O/Rマッパー DB管理支援ツール 4 DBFluteとは？

Slide 5

Slide 5 text

DBFluteの特徴は？ DB変更に強い 5 DBFluteとは？

Slide 6

Slide 6 text

DBFluteのターゲット BtoCなどのサービス開発  （事業会社）リーン・スタートアップインクリメンタル開発  DB設計と実装の同時開発  ※ビジネスのための泥臭いツール 6 DBFluteとは？

Slide 7

Slide 7 text

… ふーん 7 DBFluteとは？

Slide 8

Slide 8 text

DBFluteは変えたい DBサイドとアプリサイドの 8 DBFluteとは？ギャップ

Slide 9

Slide 9 text

ギャップって？ DBサイド：DB設計、インフラアプリサイド：アプリ開発互いが互いに責め合う(T∀T) 9 DBFluteとは？

Slide 10

Slide 10 text

DBサイドとアプリサイドの  ギャップ　その1 DB設計の意図がアプリ側に伝わらない 10 ギャップその1

Slide 11

Slide 11 text

アプリあるあるどこにIndex貼ってあるのかわからない NotNull制約の外れてる理由がわからないどことどこをjoinすればいいのか… この区分値、何が入るの？ 11 ギャップその1：DB設計の意図が伝わらない

Slide 12

Slide 12 text

アプリあるある 40.テーブル定義書フォルダに.xls発見、開くウィルスチェック、開くまで待つ待つ大量のシートで途方にくれる “エクセルシート移動ショートカット”で検索見たいテーブル見つけたー、…先輩通りすがる「それ古いから見ない方がいいよ」 12 ギャップその1：DB設計の意図が伝わらない

Slide 13

Slide 13 text

というのから卒業 13 ギャップその1：DB設計の意図が伝わらない

Slide 14

Slide 14 text

DBFluteはDBを伝える！テーブル定義を自動生成   (SchemaHTML) メンテナンス不要（DBコメント重視）気楽に開けるHTML形式 DB定義をJavaDocコメントに DBコメントをJavaDocコメントに xlsは精神的距離が遠いが、JavaDocは近い 14 ギャップその1：DB設計の意図が伝わらない

Slide 15

Slide 15 text

SchemaHTML  (テーブル一覧) 15 ギャップその1：DB設計の意図が伝わらない

Slide 16

Slide 16 text

SchemaHTML  (テーブル詳細) 16 ギャップその1：DB設計の意図が伝わらない

Slide 17

Slide 17 text

DBサイドとアプリサイドの  ギャップ　その2 アプリ側の都合に関係なく   DB変更される 17 ギャップその2

Slide 18

Slide 18 text

アプリあるある気付いたらDB変わってて落ちてる影響範囲ありすぎでデグレまくるローカル開発用DBがめっちゃ古い 18 ギャップその2：DB変更される

Slide 19

Slide 19 text

DBFluteはDB変更につおい！タイプセーフAPI (ConditionBean) で  DB変更の影響範囲検知 2WaySQLの外出しSQLを  一括実行で検知最新DB構造の横展開を自動化  (ReplaceSchema) バッチ一発で、サクッとDB作り直しテストデータの一元管理 19 ギャップその2：DB変更される

Slide 20

Slide 20 text

ConditionBean 20 FKラインを辿る旅 DBが綺麗であればあるほど実装しやすくなるというインセンティブギャップその2：DB変更される

Slide 21

Slide 21 text

一括テスト実行できる 2WaySQL (OutsideSql) 21 ギャップその2：DB変更される

Slide 22

Slide 22 text

DBAの人も DB変更の影響規模を探りやすいローカルで試しに変えてみてバッチを叩けばOK 22 ギャップその2：DB変更される

Slide 23

Slide 23 text

DBサイドとアプリサイドの  ギャップ　その3 というか… DB変更の内容がアプリ側に伝わらない 23 ギャップその3

Slide 24

Slide 24 text

アプリあるある何が変わったのかがわからない直すべきところわからず放置というかDBAも細かく伝えるの面倒 24 ギャップその3：DB変更が伝わらない

Slide 25

Slide 25 text

DBFluteはDB変更を伝える！ HistoryHTMLで  履歴ドキュメントを自動生成  (自然と作られていくところがポイント) もちろん、  JavaDocコメントや  SchemaHTMLも大活躍 25 ギャップその3：DB変更が伝わらない

Slide 26

Slide 26 text

HistoryHTML 26 ギャップその3：DB変更が伝わらない

Slide 27

Slide 27 text

プロシージャだって 27 ギャップその3：DB変更が伝わらない

Slide 28

Slide 28 text

DBサイドとアプリサイドの  ギャップ　その4 アプリがぐるぐる回す (ぶーんぶーんばばーん!) 28 ギャップその4

Slide 29

Slide 29 text

チューニングあるある一回のリクエストで300回のSQL 一個一個は速いので、頼まれても  DB側の調整ではどうにもならない (jflute経験済み) 夜間バッチだと…ひぃぃぃー 29 ギャップその4：アプリがぐるぐる回す

Slide 30

Slide 30 text

フレームワークあるある getMemberStatus() された時に検索 List memberList = …(最初の検索) for (Member member : memberList) { member.getMemberStatus() // ひぃぃぃー } getされた時に関連テーブルのデータを検索いわゆる LazyLoad 機能 30 ギャップその4：アプリがぐるぐる回す

Slide 31

Slide 31 text

DBFluteは明文主義データ取得したい関連テーブル明示 getメソッドでLazyLoadしない SQLの発行回数を数えるための  拡張ポイント (CallbackContext) 31 ギャップその4：アプリがぐるぐる回す

Slide 32

Slide 32 text

SQLの発行回数をログに …(σόοάϩάͷத) [request] lastaflute.dbflute.SQL_COUNT=  {total=2, selectCB=2, entityUpdate=0 , queryUpdate=0, outsideSql=0, procedure=0} … ※DBFluteͱ࿈ܞͨ͠WebϑϨʔϜϫʔΫ  ʮLastaFluteʯʹͯ 32 ギャップその4：アプリがぐるぐる回す

Slide 33

Slide 33 text

発行しすぎ警告ログ …(ܯࠂϩάͷத) *Too many SQL executions:  {total=81, selectCB=3, entityUpdate=78, queryUpdate=0, outsideSql=0, procedure=0}  ɹin ProductListAction.search() … ※DBFluteͱ࿈ܞͨ͠WebϑϨʔϜϫʔΫ  ʮLastaFluteʯʹͯ 33 ギャップその4：アプリがぐるぐる回す

Slide 34

Slide 34 text

こういう視点も DBの問題はDBだけでは解決できない ↓ Webフレームワークとの連携も大切 34 ギャップその4：アプリがぐるぐる回す

Slide 35

Slide 35 text

ちなみに SQLをべたっと書けばぐるぐるが消えるというのはまちがい ↓↓↓ プログラム上でSQLを組み立てづらい環境だからこそ面倒になってぐるぐるする ↓↓↓ LazyLoadしなくて、 SQLを組み立てやすいツールの方が防げきやすい (無論100%防げるわけではないが比較的) 35 ギャップその4：アプリがぐるぐる回す

Slide 36

Slide 36 text

DBサイドとアプリサイドの  ギャップ　その5 本番と結合と開発で、  　　スキーマ構造が違う！ 36 ギャップその5

Slide 37

Slide 37 text

アプリ, DBAあるある落ちた ↓ 調べる ↓ 本番DB違う 37 Alter書いた ↓ Index書き忘れた ↓ 実行し忘れたギャップその5：本番とスキーマちっがーう

Slide 38

Slide 38 text

スタートアップあるあるまず、ズレる (毎週のようにDB変更しますから…) 38 ギャップその5：本番とスキーマちっがーう

Slide 39

Slide 39 text

DBFluteは差分大好き HistoryHTMLでDB変更の歴史 AlterCheckで  Alter文の整合性チェック SchemaSyncCheckで  二つのDBの差分チェック    　　　DB差分御三家を呼ぶ 39 ギャップその5：本番とスキーマちっがーう

Slide 40

Slide 40 text

AlterCheckの方程式前のDB + 差分DDL = 最新のフルDDL 40 ギャップその5：本番とスキーマちっがーう

Slide 41

Slide 41 text

AlterCheckの流れ 1. 前のDB (フルDDL) を保存 by DBFlute 2. 普通にDB変更 by ERD 3. Alter文を書く by 人類 4. フルDDLを吐き出して… by ERD 5. 方程式と合わせる by DBFlute 41 ギャップその5：本番とスキーマちっがーう

Slide 42

Slide 42 text

AlterCheckの結果ダメだったら… 差分がなくなるまで差し戻し 42 ギャップその5：本番とスキーマちっがーう

Slide 43

Slide 43 text

DBサイドとアプリサイドの  ギャップ　その6 アプリ屋さんよぅ… パフォーマンス考慮お願い 43 ギャップその6

Slide 44

Slide 44 text

DBFluteはSQLを大切に１発行されるSQLは徹底フォーマット (プログラマーがすぐにログ確認。実行はバインド変数) 44 ギャップその6：パフォーマンス考慮たのむよー

Slide 45

Slide 45 text

DBFluteはSQLを大切に２発行されたSQLの実行時間をログに (プログラマーに普段から意識してもらう) 45 ギャップその6：パフォーマンス考慮たのむよー ※結果の件数もね

Slide 46

Slide 46 text

DBFluteはSQLを大切に３どこから呼ばれたSQL？をログに (プログラマーをSQLに振り向かせる) 46 ギャップその6：パフォーマンス考慮たのむよー LastaFluteと連携でSQLにアプリクラス埋め込みも (DB側でSQLを抽出しても、どこのSQLかすぐにわかる)

Slide 47

Slide 47 text

DBFluteはSQLを大切に４ EntityのSetter呼び出し情報でupdate文を構築 (無駄な事前検索や問答無用全カラム更新しない) Member mb = new Member(); mb.setMemberId(3); mb.setMemberName(“jflute”); memberBhv.update(mb); ↓↓↓ update MEMBER set MEMBER_NAME = ‘jflute’ where MEMBER_ID = 3 47 ギャップその6：パフォーマンス考慮たのむよー

Slide 48

Slide 48 text

DBをリファクタリングするために RDBを隠蔽するのではなく、 RDBを強く意識させる O/Rマッパー DBFlute 48 まとめ

Slide 49

Slide 49 text

DBサイドとアプリサイドどっちもWinWinになってこそ、お客様も最高のシステムに出会えるはず 49 まとめ

Slide 50

Slide 50 text

架け橋そのためのツール、選んでみませんか？ 50 まとめ