20231209_osc_fukuoka_debility.pdf

Transcript

2. 2023/12/9 平田 哲 PostgreSQL16 新機能紹介
3. 自己紹介 3 平田 哲（HIRATA, Satoshi） id: debility Japan PostgreSQL Users Group Fukuoka.pm Program, Server, Network, and “Nomikai” Main Weapon: Custom Dual Squelcher icon: © mutsuking
4. 今日の話 4 PostgreSQL16 新機能の紹介をします。 ・データ型・SQL機能の追加 ・ロジカルレプリケーションの機能追加 ・その他新機能 ・非互換な変更について
5. 会場アンケート
6. 注意事項
7. 日本PostgreSQLユーザ会 7 Slackにぜひ参加してください。 https://slofile.com/slack/postgresql-jp
8. 日本PostgreSQLユーザ会 8 先日開催されたPostgreSQL Conference Japan 2023 ついでに紹介させてください（終わりましたが。。。） https://www.postgresql.jp/jpug-pgcon2023
9. 参考文書 9 篠田の虎の巻 「PostgreSQL 16 Beta1 新機能検証」日本語版 https://h50146.www5.hpe.com/products/software/oe/linux/ mainstream/support/lcc/pdf/PostgreSQL16Beta1_New_Featur es_ja_20230528_1.pdf SRA OSS,inc PostgreSQL 16 検証レポート https://www.sraoss.co.jp/tech-blog/pgsql/pg16report/
10. データ型・SQL機能の追加
11. データ・SQL機能の追加 11 SQL/JSON対応 ANY_VALUE集約関数 数値リテラル表現 ICU照合順序の拡張
12. SQL／JSON対応 12 SQL/JSON 標準に基づく JSON データを生 成するコンストラクタ関数といくつかの JSON データに対する述語が追加されました。
13. SQL／JSON対応 13 関数名 説明 JSON_OBJECT テキスト配列から JSON オブジェクトを構築します。 JSON_OBJECTAGG 提供されたデータを JSON オブジェクトに集約します。 JSON_ARRAY 提供された SQL または JSON データから JSON 配列を 構築します。 JSON_ARRAYAGG 提供された SQL または JSON データを JSON 配列に集 約します。
14. SQL／JSON対応 14 関数名 説明 IS JSON [VALUE] 文字列が JSON として解釈できるなら真を返す。 IS JSON ARRAY 文字列が JSON 配列として解釈できるなら真を返す。 IS JSON OBJECT 文字列が JSON オブジェクト（いくつかのキーと値）とし て解釈できる なら真を返す。 IS JSON SCALAR 文字列が JSON のスカラ値として解釈できるなら真を返 す。
15. ANY_VALUE集約関数 15 新たな集約関数 any_value が追加されまし た。 any_value は引数で指定した列について集約 対象の行のどれかの値を返します。
16. ANY_VALUE集約関数 16 postgres=# SELECT * FROM category; category_large | category_middle | category_small | large_furigana | middle_furigana | small_furigana ----------------+-----------------+----------------+----------------+-----------------+---------------- 芝⽝ | ⾚⾊ | ⾚柴 | しばいぬ | あかいろ | あかしば 芝⽝ | ⿊褐⾊ | ⿊柴 | しばいぬ | こっかっしょく | くろしば 芝⽝ | ⽩⾊ | ⽩柴 | しばいぬ | しろいろ | しろしば 芝⽝ | 胡⿇⾊ | 胡⿇柴 | しばいぬ | ごまいろ | ごましば 芝⽝ | 胡⿇⾊ | ⿊胡⿇ | しばいぬ | ごまいろ | くろごま 芝⽝ | 胡⿇⾊ | ⿊胡⿇ | しばいぬ | ごまいろ | あかごま 猫 | 単⾊ | ⽩猫 | ねこ | たんしょく | しろねこ 猫 | 単⾊ | ⿊猫 | ねこ | たんしょく | くろねこ 猫 | 単⾊ | 灰猫 | ねこ | たんしょく | はいねこ 猫 | 多⾊ | ⽩⿊猫 | ねこ | たしょく | しろくろねこ 猫 | 多⾊ | 三⽑猫 | ねこ | たしょく | みけねこ 猫 | 多⾊ | サビ猫 | ねこ | たしょく | さびねこ 猫 | 多⾊ | キジ⽩ | ねこ | たしょく | きじしろ 猫 | 多⾊ | サバ⽩ | ねこ | たしょく | さばしろ 猫 | 多⾊ | 茶⽩ | ねこ | たしょく | ちゃしろ 猫 | シマ | キジトラ | ねこ | しま | きじとら 猫 | シマ | サバトラ | ねこ | しま | さばとら 猫 | シマ | 茶トラ | ねこ | しま | ちゃとら 猫 | その他 | ポインテッド | ねこ | そのた | ぽいんてっど 猫 | その他 | ハチワレ | ねこ | そのた | はちわれ 猫 | その他 | 靴下 | ねこ | そのた | くつした (21 rows) ref: https://www.docswell.com/s/hmatsu47/51JXQ8-2023-07-02-223937
17. ANY_VALUE集約関数 17 postgres=# SELECT category_large, category_middle, COUNT(category_small) FROM category GROUP BY category_large, category_middle ORDER BY category_large, category_middle; category_large | category_middle | count ----------------+-----------------+------- 猫 | シマ | 3 猫 | その他 | 3 猫 | 単⾊ | 3 猫 | 多⾊ | 6 芝⽝ | ⽩⾊ | 1 芝⽝ | 胡⿇⾊ | 3 芝⽝ | ⾚⾊ | 1 芝⽝ | ⿊褐⾊ | 1 (8 rows) ref: https://www.docswell.com/s/hmatsu47/51JXQ8-2023-07-02-223937
18. ANY_VALUE集約関数 18 postgres=# SELECT category_large, large_furigana, category_middle, middle_furigana, COUNT(category_small) FROM category GROUP BY category_large, category_middle ORDER BY category_large, category_middle; ERROR: column "category.large_furigana" must appear in the GROUP BY clause or be used in an aggregate function LINE 1: SELECT category_large, large_furigana, category_middle, midd... ref: https://www.docswell.com/s/hmatsu47/51JXQ8-2023-07-02-223937
19. ANY_VALUE集約関数 19 postgres=# SELECT category_large, large_furigana, category_middle, middle_furigana, COUNT(category_small) FROM category GROUP BY category_large, large_furigana, category_middle, middle_furigana ORDER BY category_large, category_middle; category_large | large_furigana | category_middle | middle_furigana | count ----------------+----------------+-----------------+-----------------+------- 猫 | ねこ | シマ | しま | 3 猫 | ねこ | その他 | そのた | 3 猫 | ねこ | 単⾊ | たんしょく | 3 猫 | ねこ | 多⾊ | たしょく | 6 芝⽝ | しばいぬ | ⽩⾊ | しろいろ | 1 芝⽝ | しばいぬ | 胡⿇⾊ | ごまいろ | 3 芝⽝ | しばいぬ | ⾚⾊ | あかいろ | 1 芝⽝ | しばいぬ | ⿊褐⾊ | こっかっしょく | 1 (8 rows) ref: https://www.docswell.com/s/hmatsu47/51JXQ8-2023-07-02-223937
20. ANY_VALUE集約関数 20 postgres=# SELECT category_large, ANY_VALUE(large_furigana) AS large_furigana, category_middle, ANY_VALUE(middle_furigana) AS middle_furigana, COUNT(category_small) FROM category GROUP BY category_large, category_middle ORDER BY category_large, category_middle; category_large | large_furigana | category_middle | middle_furigana | count ----------------+----------------+-----------------+-----------------+------- 猫 | ねこ | シマ | しま | 3 猫 | ねこ | その他 | そのた | 3 猫 | ねこ | 単⾊ | たんしょく | 3 猫 | ねこ | 多⾊ | たしょく | 6 芝⽝ | しばいぬ | ⽩⾊ | しろいろ | 1 芝⽝ | しばいぬ | 胡⿇⾊ | ごまいろ | 3 芝⽝ | しばいぬ | ⾚⾊ | あかいろ | 1 芝⽝ | しばいぬ | ⿊褐⾊ | こっかっしょく | 1 (8 rows) ref: https://www.docswell.com/s/hmatsu47/51JXQ8-2023-07-02-223937
21. 数値リテラル表現 21 整数リテラルとして、16 進数、8 進数、2 進 数を書くことが可能になりました。 0（ゼロ）の後に x、o、b を続けて、その後に 16 進数、8 進数、2 進数の値を記述します。 マイナスは手前に付けます。
22. 数値リテラル表現 22 postgres=# SELECT 0x42F, 0o273, -0b100101; ?column? | ?column? | ?column? ----------+----------+---------- 1071 | 187 | -37 (1 row)
23. 数値リテラル表現 23 数値リテラルに_（アンダースコア）で区切りを 書くことが可能になりました。 値の解釈としては単に無視されます。 3桁区切りで記述するつもりが誤って 4桁区 切りとしてしまってもエラーにはなりません。
24. 数値リテラル表現 24 postgres=# SELECT 1_000_000_000.000; ?column? ---------------- 1000000000.000 (1 row) postgres=# SELECT 1_0000; ?column? ---------- 10000 (1 row)
25. ICU照合順序の拡張 25 PostgreSQL 16 は ICU ライブラリによる照 合順序を有効にするビルドが、ビルド時のデ フォルトになりました。 これまで ICU を使うには configure で -- with-icu を指定する必要がありましたが、こ れからは除外するときに --without-icu の 指定が必要になります。 また、ICU を使った照合順序について、いくつ かの機能拡張が適用されています。
26. 〜小休止〜
27. 〜再開〜
28. ロジカルレプリケーションの機能追加
29. スタンバイからのレプリケーション 29
30. トランザクションの並列適用 30 サブスクリプションの streaming オプションに parallel が追 加されました。 トランザクション完了後に送信する off (デフォルト) 完了を待たずに順次送信する on 完了を待たずに送信したうえで並列に適用も行う parallel 並列数は max_parallel_apply_workers_per_subscription で指定（デフォルトは2）
31. トランザクションの並列適用 31
32. 主キー以外インデックスの利用 32 ロジカルレプリケーションにおいて、更新・削除対象行の特 定するためにレプリカアイデンティティが必要になります。 （デフォルトで主キーが使われます） 適当なキーがない場合に REPLICA IDENTITY FULL で全 列を キーにすることになります。 この場合全行をスキャンする必要がありましたが、Btreeイ ンデックスを利用できるようになりました。
33. 主キー以外インデックスの利用 33
34. 初期コピーでバイナリ形式 34 これまでバイナリ形式 は初期コピー後のデータ同期時にし か使えませんでしたが、本バージョンでは初期コピー時にも 使えるよう になりました。 timestamp 型や bytea 型など、一部のデータ型ではバイナ リ形式のほうが効率的に処理でき、 所要時間が短くて済 みます。 バイナリ形式はサブスクリプションの binary オプションで指 定し、デフォルトは off でテキスト形式になります。
35. 初期コピーでバイナリ形式 35 100 万件の bytea 型、timestamp 型のデータをもつテー ブルの初期コピー所要時間比較
36. 双方向ロジカルレプリケーション 36 これまで PostgreSQL のロジカルレプリケーションでは双方 向、あるいは、マルチマスタのレプリケーションには対応して いませんでした。 そのように構築すると、サーバ１での変更をサーバ２に反映 した後、その変更がサーバ１に送られてきて、UPDATE が 無限に繰り返されたり、INSERT が主キー重複のエラーに なってレプリケーションが止まったりしてしまいます。
37. 双方向ロジカルレプリケーション 37 PostgreSQL 16 からサブスクリプションに origin オプショ ンが追加されました。 デフォルト値は any で、これは PostgreSQL 15 以前と同 じ振る舞いになります。 origin = none と指定すると、オリジンを持たない変更、す なわち、相手先サーバ内で生じた更新命令による変更差 分のみを受け取る動作になります。 これにより、双方向レプリケーションが実現できます。
38. 双方向ロジカルレプリケーション 38 非同期で双方向にロジカルレプリケーションを行うため、タ イミングによっては競合して、レプリケーシ ョンエラーに陥っ てしまうことがあり得ます。 また、エラーにならなくとも、テーブルの行データがデータ ベース間で異なった内容になってしまうこともあり得ます。
39. その他の新機能
40. libpqロードバランス 40 PostgreSQL のクライアントライブラリである libpq にロード バランス機能が追加されました。 本機能を利用することで、複数の接続先を指定したデータ ベースサーバへの接続を確率的に均等に分散させることが 可能になり、システム全体のパフォーマンスと耐久性の向 上が見込めます。
41. psqlでのbind対応 41 postgres=# ¥bind 'foo' 'barʼ postgres=# SELECT $1, $2; ?column? | ?column? ----------+---------- foo | bar (1 row)
42. pg_dump 圧縮オプション 42 pg_dump の出力ファイルを圧縮するオプション -Z / -- compress の圧縮方式で、従来利用可能であった gzip 以 外に新しい圧縮方式として lz4 と zstd が追加されました。
43. 新たなモニタリング項目 43 ビュー/関数名 説明 ビュー pg_stat_io I/O に関する統計情報を出力。 ビュー pg_stat_*_tables/indexes の 列 last_seq_scan、 last_idx_scan 最後にシーケンシャルスキャン、インデックスス キャンが実行された時刻を出力。 ビュー pg_stat_*_tables の 列 n_tup_newpage_upd 新しいページへの行バージョン作成を伴って更 新された行数を出力。 関数 pg_stat_get_backend_subxa ct(backendid) バックエンドのサブトランザクションキャッシュ内 のサブトランザクション数、そのキャッシュがオー バーフローしているかを出力。 引数は pid ではなく backendid。
44. 新たなロール 44 関数名 説明 pg_create_subscription データベースの CREATE 権限を持つユーザが サブスクリプションを作成 できるロール。以前 はサブスクリプションはスーパーユーザしか 作成でき ませんでした。 pg_use_reserved_connections パラメータ reserved_connections で予約した 接続数を使って接続できるロ ール。 reserved_connections は本バージョンで追加 されたパラメータで、ス ーパーユーザ用の superuser_reserved_connections とは別に予 約する接続 数を指定し、デフォルトは 0 です。
45. Mesonビルド 45 PostgreSQL のビルドは長らく Linux では Autoconf、 Windows では Perl スクリプトによる MSVC ビルドシステム が利用されてきましたが、昨今ではいずれも古くなり開発 におけるメンテナンスが難しいものとなってきました。 そこで、PostgreSQL 16 からは近年広く使用されるように なったユーザフレンドリーな Meson ビルドシステムをサポー トするようになりました。
46. 非互換な変更
47. 非互換な変更 47 PL/pgSQL のカーソル仕様変更 主キーで NULLS NOT DISTINCT インデックスが禁止 REINDEX DATABASE 仕様変更 継承テーブル／パーティションテーブルにおける生成式の 仕様変更 pg_walinspect で関数廃止
48. まとめ
49. まとめ 49 ロジカルレプリーションの機能追加が最近の ホットトピックで、それを象徴した機能追加が 多数見受けられます。 16.1もリリースされたので、ぼちぼち使い始め てもいい頃合いかと思います。 JSON対応を心待ちにしていた方なんかはい ち早く試していただけるとよさそうです。
50. ご清聴ありがとうございました。