最近気になるIcebergまわりの話-株式会社アシスト

Transcript

1. 最近気になるIcebergまわりの話 Iceberg Meetup #4 アシスト 本田 益之 mahonda@ashisuto.co.jp 2025.01.21
2. はじめに • Iceberg周辺の気になるトピックについての情報共有 • 気になっているものや面白そうなものをピックアップ • Iceberg初心者の個人の感想です
3. Streaming x Iceberg • Apache Fluss ◦ Icebergと一緒に使う前提で設計されたストリーミングストレージ ◦ FlussデータをIcebergやPaimonに透過的に変換 ◦ Flinkの一部という感じであるが（現在は Flink向けのストレージ） ◦ SparkやTrino,StarRocksとの組み合わせる案も構成も出ている • RisingWave ◦ PostgreSQL互換のストリーミング処理エンジン ◦ Icebergをsink / sourceとして簡単に扱うことが可能 ◦ あわせてRisingWave内部でも icebergとして保持できる ◦ ストリームデータやIcebergをPostgre互換のSQLで操作できるのが非常に良い
4. Governance / Management x Iceberg • Lakekeeper ◦ Icebergのカタログ機能、権限管理、ガバナンスを担当する OSS ◦ 新しい管理プレーンを作ろうとしている感じ ◦ Unity CatalogやGlueカタログでもない新しいポジショニング • Ryft ◦ Icebergのテーブル保守や最適化を自動化する ◦ 運用コストを下げたり、コスト効率を改善する仕組み ◦ 本格運用を視野に、 Icebergをより安定して使い続けるための管理ツール ◦ Ryftは商用版のみですが、自動運用という点では期待したいと思います
5. PostgreSQL x Iceberg • pg_mooncake / pg_lake ◦ PostgresとIcebergをより近づける取り組み ◦ これらは同じコンセプトではないが、 Postgresを入り口にしてIcebergのデータを扱いやすく ◦ RDBMSとLakehouseの境界を緩めるような方向性を持っている ◦ pg_mooncakeは、Postgresテーブルのカラムストアを Icebergに作成する機能。OLTPとリアルタイ ム分析の補完を狙う。 ◦ pg_lakeは、Iceberg（データレイクファイル）を Postgresに統合する仕組み。 Postgresをスタンドアロ ンのレイクハウスシステムとして利用する（ pg_lakeと合わせてpgduck_serverという別プロセス群も 含む）。 ◦ まだまだ実験的なプロジェクトですが、 PostgresとIcebergのより良い組み合わせを期待
6. 以上です。 ありがとうございました。