DuckLakeで作るオープンデータ基盤

オブジェクトストレージだけで完結するサーバーレスデータ基盤
#データ界隈LT会議_第1回 #DuckLake

Transcript

1. データ界隈LT祭 第１回 DuckLakeで作るオープンデータ基盤 オブジェクトストレージだけで完結するサーバーレスデータ基盤
2. オープンデータの課題 オープンデータは、そのままでは集計に使えない 人が読む前提で作られたファイルをそのままオープンデータとして、アップロードしているだけ 1 表の前に、人向けの行がある タイトルと注記で先頭に2行存在。 機械的に1行目をヘッダーとして読むと壊れる 2 ID が指数表記になっている 13桁の施設コードが数値として丸められ、 元に戻せない 3 1件が2行に分かれている ふりがなが下の行にあり、空の列も混ざる 4 文字コードと記号が独自 Shift_JIS、全角のハイフjン、欠損は「−」 これでもマシなほう。PDFがそのまま公開されているものがほとんど ダウンロード → 文字コード変換 → 型付け → 表記揺れ解消 → ここまでやってようやく分析できる
3. 解決策 ファイルではなく、データベースとして公開すれば解決する 前処理は公開する側が一度だけ行う。利用者はSQLで直接アクセスできる 現状— ファイルやAPIとして公開 CSV や Excel をダウンロードして使う。 文字コードも型も表記も、使う人が全員それぞれ直す 理想 — データベースとして公開 → データベースに直接アクセスしてもらう ダウンロードや前処理の手間も、発生しない データベースとして公開するには、 不特定多数からのアクセス・集計に耐えうる大規模なサーバーが必要だった 活用の広がりに比例して費用が増えるので、オープンデータとして無料で公開し続けることは成立しない DuckLakeで、その集計サーバーを不要にする
4. What’s DuckLake DuckLake とは メタデータをファイル群ではなくSQLデータベースとして持つ、オープンテーブルフォーマット 1 IcebergやDelta Lakeの対抗馬 オブジェクトストレージ上のファイルを、スナップショットやスキーマ変更つ きでテーブルとして扱う 2 データは Parquetとして保管 データレイヤーは他の規格と同じ。 カラムナフォーマットでオブジェクトストレージに格納 3 メタデータを SQLデータベースに格納する Iceberg はファイル群（ JSONやAvro）、 DuckLakeはRDB(PostgreSQL、SQLite、DuckDB) 4 メタデータは SQLで読み書き DuckLake: SQL as a Lakehouse Format データの追加 /更新時にトランザクションを利用することで、複雑なファイ ル処理をすることなく、一貫性のあるデータ /メタデータの書き込みが可能 メタデータ管理はファイルよりもデータベースのほうが向いているのでは？
5. What’s DuckLake サーバーなしで、データレイクハウスが作れる DuckLakeはDuckDB/SQLiteなどファイル形式のRDBにメタで他管理を任せることができる メタデータ管理をクライアント側に DLされる、 RDBへ移譲
6. What’s DuckLake DuckDB経由で好きなツール・フォーマットでデータにアクセスできる 100点満点の機械可読性を持つデータを低コストで公開することができる 1 好きなツールからアクセス可能 2 手元のデータと組み合わせて分析 DuckDB WASM(ブラウザ)、CLI(AIエージェント)、 CSVファイルや別のデータベースのデータを、 任意のプログラミング言語、BIツールからアクセス 前処理不要で直接SQLでJOINして集計できる。 CSV、Excelなど任意のフォーマットでDLもできる 3 オブジェクトストレージだけで公開 公開側は複雑なインフラを準備が不要 4 集計には、利用側の計算資源を利用 いくら利用されたとしても 料金はオブジェクトストレージの分だけ まさに、求めていた理想のオープンデータの公開手段
7. Queria DuckLakeを使って理想のオープンデータカタログを開発 ブラウザ、AI Agent(CLI)、BIツールなど好きなツールからSQLでオープンデータを分析できます queria.io 掲載中のデータセットを、ブラウザからそのまま確認できます