query-for-s3-2025

Transcript

1. JAWS-UG DE&I Junki Ishigaki November 24, 2025 #jawsugdei #jawsug #ashibinaa
2. 石垣潤樹 / Junki Ishigaki - 所属 → 株式会社シーズ - やっていること → インフラエンジニア - やっていること → AWSとかさわってます - 好きなAWSサービス → S3 - Community - JAWS-UG Kyoto - Platform Engineering Kaigi(PEK) 2 社内で使ってるアイコン x.com/tokyo_jjjx 自己紹介 クラウドネイティブ会議 やります@名古屋 2026/5/14-15 今日はこの話 「人呼んでjun」
3. 今日の話 - S3のデータを見たい - サクッと - 今後データ分析とかやっていくにあたり、分析できそうなデータなのか知っ ておきたい - そのデータで分析するとしたらどういうことが可能そうか、はあらかじ め知っておきたい 3 BIツール導入 BIツールを使用した PoC, 試行錯誤 BIツール導入のため のPoC (強いて言えば) ここ こういうの関係なく サクッと見たい時もある
4. 答え1 - S3のデータにクエリ - Athena 4 Athenaとは https://docs.aws.amazon.com/ja_jp/athena/latest/ug/what-is.html
5. Athena - S3のデータにクエリ - Athena 5 S3 Amazon Athena SELECT * FROM sales WHERE category = 'Fashion' AND country = 'Japan'; • 事前にGlueにデータカタログが必要 • 実行に、S3の読み取り権限、Atenaの実行権限、Glueの読み取り権限が必要 • ちゃんとやりたくなってくると、S3のフォルダ構成が気になってくる ◦ クエリ範囲を制限したいからパーティション分けたいとか サクッと感あまりないのがつらみ
6. 答え2 - S3のデータにクエリ - DuckDB 6 DuckDBとは https://github.com/duckdb/duckdb ざっくりいうと S3のAPIをサポートした OLAP用の軽量データベース
7. DuckDB - S3のデータにクエリ - DuckDB 7 S3 DuckDB SELECT * FROM read_parquet('s3://my- bucket/sales/*.parquet'); WHERE category = 'Fashion' AND country = 'Japan'; • スキーマ情報なしで、とりあえず雑にクエリを投げられる(ちゃんとやるならあったほうがいい) • S3の読み取り権限でOK • ただし、どこで実行するか問題は要検討(ローカル, CloudShell, (一時的に起動した)EC2, Lambda… サクッと感よき
8. 応用編 - クエリ書かずにすませたい - Amazon Q Developer CLI Kiro CLI + DuckDB 8 > 日本でカテゴリファッションの売上よろ Using tool: execute_bash ⋮ • I will run the following shell command: duckdb -c " INSTALL httpfs; LOAD httpfs; CALL load_aws_credentials(); SET s3_region='ap-northeast-1'; SELECT SUM(price * quantity) as total_sales FROM 's3://testishi-20251125/sales.parquet' WHERE country = 'Japan' AND category = 'Fashion'; " ⋮ ↳ Purpose: 日本のファッションカテゴリの売上を集計 Allow this action? Use 't' to trust (always allow) this tool for the session. [y/n/t]: > y ┌─────────────┐ │ total_sales │ ⠋│ int128 │ ├─────────────┤ │ 25800 │ └─────────────┘ ⋮ • Completed in 10.748s Thinking... > 日本でのファッションカテゴリの売上合計は 25,800円 です。 内訳: • Hoodie: 4,800円 × 2個 = 9,600円 • Jeans: 6,800円 × 1個 = 6,800円 • Sneakers: 9,400円 × 1個 = 9,400円 データの民主化 -> クエリの民主化
9. まとめと今後 - ローカルのAIアシスタントを使用しました。(現状それが一番お手軽) - AIアシスタント,クエリエンジンは今後もう少しデータ側に寄っていくと思います (SageMaker Unified Studio的な) 9 S3 S3 ローカル AIアシスタント クエリエンジン ローカル AIアシスタント クエリエンジン サクッとこれできるようになると思います (現状サクッと感はまだなし)
10. ありがとうございました re:play2023→