Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Would you THINK such a demonstration interesting ?
Search
shumpei3
April 16, 2025
Technology
1
310
Would you THINK such a demonstration interesting ?
こういうデモ、面白いと思います?
#datatechjp No.7 in 2025/04/16 発表
shumpei3
April 16, 2025
Tweet
Share
More Decks by shumpei3
See All by shumpei3
社歌解説Returns!(Hardening h2017fes 振り返り資料)
shumpei3
0
14
Design and build about DataOps hands-on
shumpei3
3
1.4k
Shall we start data catalog with IBM Knowledge Catalog ?
shumpei3
4
500
Pre-Hardening-Deck_Team4_JST.Onion_h2017fes
shumpei3
0
82
I_know_gaishi_IT_a_little_returns_20230217_CROSS2022
shumpei3
0
130
I_know_gaishi_IT_a_little_20230117 #外資ITチョットワカル
shumpei3
0
420
Prescriptions_for_a_Practical_Data_Infrastructure_Circle_Reading_Materials_3-5to3-11
shumpei3
2
450
I-was-the-chairman-of-two-committee.
shumpei3
0
780
How_organizations_disseminates_info_on_SNS
shumpei3
1
77
Other Decks in Technology
See All in Technology
ひとり情シスなCTOがLLMと始めるオペレーション最適化 / CTO's LLM-Powered Ops
yamitzky
0
420
How Community Opened Global Doors
hiroramos4
PRO
1
110
Observability infrastructure behind the trillion-messages scale Kafka platform
lycorptech_jp
PRO
0
130
Agentic DevOps時代の生存戦略
kkamegawa
1
1.3k
A2Aのクライアントを自作する
rynsuke
1
170
Prox Industries株式会社 会社紹介資料
proxindustries
0
260
低レイヤを知りたいPHPerのためのCコンパイラ作成入門 完全版 / Building a C Compiler for PHPers Who Want to Dive into Low-Level Programming - Expanded
tomzoh
4
3.1k
あなたの声を届けよう! 女性エンジニア登壇の意義とアウトプット実践ガイド #wttjp / Call for Your Voice
kondoyuko
4
390
[TechNight #90-1] 本当に使える?ZDMの新機能を実践検証してみた
oracle4engineer
PRO
3
160
Liquid Glass革新とSwiftUI/UIKit進化
fumiyasac0921
0
180
【TiDB GAME DAY 2025】Shadowverse: Worlds Beyond にみる TiDB 活用術
cygames
0
1k
BrainPadプログラミングコンテスト記念LT会2025_社内イベント&問題解説
brainpadpr
1
160
Featured
See All Featured
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.3k
Designing Experiences People Love
moore
142
24k
How to Think Like a Performance Engineer
csswizardry
24
1.7k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
657
60k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.3k
Large-scale JavaScript Application Architecture
addyosmani
512
110k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
281
13k
A better future with KSS
kneath
239
17k
BBQ
matthewcrist
89
9.7k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Transcript
こういうデモって面白いと思います? datatech-jp Casual Talks #7
自己紹介 DataOps/Data Engineering/Data Intelligence/Data Integration系ソフトウェアの 技術営業をしています。 技術営業とは、製品の説明やデモ、ハンズオン等を行う、営業部門にいる技術要員の ことです。 製品の例としてはデータカタログ、ETL、ストリーミング、データレイクハウス、 データプロダクト等など、多岐にわたります。
なお、この資料の内容や主張は発表者本人のものであり、 所属する組織の意見を必ずしも代表しません。
過去資料 データカタログのハンズオンなども過去(2023年度)に行っています。 資料は公開しているので、よろしければ御覧ください。 https://ibm.biz/BdKggQ
背景 製品の機能のデモ等をよく実施するのですが、 datatechjpに参加している人の目から見て、面白いのかどうか、 ちょっと聞いてみたいな、と思った次第です。 今回はサンプルとなるようなデモ構成をお見せするので、 このあたりが面白い このあたりが面白くない こういうデモがあったらいいのに など、いろいろご意見をTwitter(現X)等で呟いていただけると幸いです。
考え方 システム開発(特にウォーターフォール開発)の場合、 以下のように階層的に考えて、上位レイヤー(WHY)から 下位レイヤー(WHAT)に進める事が通常です。 WHY:なぜそれをするのか?といったビジネス要件など ↓ HOW:どのように実現するのか?といったアーキテクチャや設計など ↓ WHAT:何を使うのか?といった個別技術や製品の実装
考え方 製品デモの場合も、お客様の業界、要件→設計→技術や製品、 という感じで考える事が一般的です。 (とはいえ、製品デモをして欲しい、というお話が来た時点で、 既にある程度、要件は大まかには決まっていることが多いです) WHY:なぜそれをするのか?といったビジネス要件など ↓ HOW:どのように実現するのか?といったアーキテクチャや設計など ↓ WHAT:何を使うのか?といった個別技術や製品の実装
考え方 ただし、サンプルの製品デモを作る場合であれば、製品ありきになりますので、 流れが逆になり、まず製品から始まり、次にその使われ方(アーキテクチャ)、 最後に、それがあてはまりそうなお客様やユースケース、という感じで考える 事もあるかと思います。 WHY:なぜそれをするのか?といったビジネス要件など ↑ HOW:どのように実現するのか?といったアーキテクチャや設計など ↑ WHAT:何を使うのか?といった個別技術や製品の実装
今回お見せするサンプルデモ構成 元々はストリーミングデータのデモで、金融取引データの リスク分析システムを想定しています。 ハイリスクであると判定された取引データを絞り込んでデータベースに格納して ダッシュボードに表示します。一方で、全量データについては安いオブジェクトス トレージに格納します。 以降の赤字部分は後付ですが、 データレイクハウスアーキテクチャを使用してPresto経由で検索・分析可能 データカタログにも登録しておくことで、利用者が簡易に検索・利用可能
デモのアーキテクチャー(概要) ストリーミングデータ 元 ストリーミングデータ処理 ハイレベルリスクDB Object Storage 捨てるデータ Severity=high Severity=low
各種加工と フィルタリング データレイクハウス SQLエンジン群 データカタログ データカタログ (部署別) データ分析用 コンテナ基盤 ダッシュボード リアルタイム 傾向分析 全量データ:ファイル形式 SaaS データフロー メタデータ データ照会 過去傾向 確認 メタデータストア ストリーミング データ基盤
デモのソフトウェア連携(詳細) Kafka PostgreSQL Object Storage Garbage Bin Severity=high Severity=low Filter
Add item Amend item All data (parquet) watsonx.data Catalog Presto IBM Knowledge Catalog Data Catalog # # # # Linux Openshift Cognos Dashboard リアルタイム 傾向分析 過去傾向 確認 データフロー メタデータ IBM Cloud StreamSets データ照会 Catalog Spark
デモのソフトウェア連携(詳細) Kafka PostgreSQL Object Storage Garbage Bin Severity=high Severity=low Filter
Add item Amend item All data (parquet) watsonx.data Catalog Presto IBM Knowledge Catalog Data Catalog # # # # Linux Openshift Cognos Dashboard リアルタイム 傾向分析 過去傾向 確認 データフロー メタデータ IBM Cloud StreamSets データ照会 Catalog Spark
ストリーミング(管理画面:SaaS/データ処理はLinuxローカル) 外部のObjectStorage
デモのソフトウェア連携(詳細) Kafka PostgreSQL Object Storage Garbage Bin Severity=high Severity=low Filter
Add item Amend item All data (parquet) watsonx.data Catalog Presto IBM Knowledge Catalog Data Catalog # # # # Linux Openshift Cognos Dashboard リアルタイム 傾向分析 過去傾向 確認 データフロー メタデータ IBM Cloud StreamSets データ照会 Catalog Spark
データレイクハウス 外部のObjectStorage
Object Storage
Parquetファイルの中身
デモのソフトウェア連携(詳細) Kafka PostgreSQL Object Storage Garbage Bin Severity=high Severity=low Filter
Add item Amend item All data (parquet) watsonx.data Catalog Presto IBM Knowledge Catalog Data Catalog # # # # Linux Openshift Cognos Dashboard リアルタイム 傾向分析 過去傾向 確認 データフロー メタデータ IBM Cloud StreamSets データ照会 Catalog Spark
データカタログ(データレイクハウスに格納されたparquetをHive経由でみたもの) 列情報 オントロジー 統計情報 品質情報
デモのソフトウェア連携(詳細) Kafka PostgreSQL Object Storage Garbage Bin Severity=high Severity=low Filter
Add item Amend item All data (parquet) watsonx.data Catalog Presto IBM Knowledge Catalog Data Catalog # # # # Linux Openshift Cognos Dashboard リアルタイム 傾向分析 過去傾向 確認 データフロー メタデータ IBM Cloud StreamSets データ照会 Catalog Spark
ダッシュボード
まとめ 面白い、面白くない、という以外にも、こういうデモってできる?とか 等のご意見をいただけますと幸いです。
次回予告 メタデータやデータリネージュといった、 最近データエンジニアリング界隈でよく聞かれる概念。 しかし我々人類は、大昔からそれを知っていた! 次回、「鎌倉武士から読み解く、メタデータとリネージュと」 デュエルスタンバイ!
宣伝 https://www.ibm.com/jp-ja/events/techxchange