Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
第5回データ人材 ~エンプラ企業にいそうなヤバイやつ~
Search
SnowflakeDataManagementJP
January 14, 2024
Technology
0
450
第5回データ人材 ~エンプラ企業にいそうなヤバイやつ~
SnowflakeUserGroupデタマネコミュニティ第5回活動で利用した資料を公開します!
SnowflakeDataManagementJP
January 14, 2024
Tweet
Share
More Decks by SnowflakeDataManagementJP
See All by SnowflakeDataManagementJP
第8回DataMeshLT#3 DataMeshの実践と難しさ
sfdmt
1
93
第8回DataMeshLT#4 Snowflake-データメッシュガバナンス
sfdmt
1
160
第8回DataMeshLT#5 データメッシュの魅力:原則から拓く新たな道
sfdmt
0
200
第8回DataMeshLT#1 DataMeshって?
sfdmt
0
44
第8回DataMeshLT#2 とあるエンプラ企業への DataMesh適用シミュレーション
sfdmt
2
93
第6回 データを売ることの『夢』と『現実』
sfdmt
0
820
第3回データモデリング?どのレベルでやるの?
sfdmt
3
1.8k
第2回データドリブン文化醸成〜組織を変えるには〜
sfdmt
2
240
第1回データ品質のお悩みと解決方法を考えてみた
sfdmt
2
800
Other Decks in Technology
See All in Technology
ディスプレイ広告(Yahoo!広告・LINE広告)におけるバックエンド開発
lycorptech_jp
PRO
0
440
DevinでAI AWSエンジニア製造計画 序章 〜CDKを添えて〜/devin-load-to-aws-engineer
tomoki10
0
180
[OpsJAWS Meetup33 AIOps] Amazon Bedrockガードレールで守る安全なAI運用
akiratameto
1
100
JAWS FESTA 2024「バスロケ」GPS×サーバーレスの開発と運用の舞台裏/jawsfesta2024-bus-gps-serverless
ma2shita
3
260
大規模アジャイルフレームワークから学ぶエンジニアマネジメントの本質
staka121
PRO
3
1.3k
LINEギフトにおけるバックエンド開発
lycorptech_jp
PRO
0
350
Amazon Q Developerの無料利用枠を使い倒してHello worldを表示させよう!
nrinetcom
PRO
2
120
【5分でわかる】セーフィー エンジニア向け会社紹介
safie_recruit
0
19k
急成長する企業で作った、エンジニアが輝ける制度/ 20250227 Rinto Ikenoue
shift_evolve
0
160
クラウド食堂とは?
hiyanger
0
120
【詳説】コンテンツ配信 システムの複数機能 基盤への拡張
hatena
0
280
JAWS DAYS 2025 アーキテクチャ道場 事前説明会 / JAWS DAYS 2025 briefing document
naospon
0
2.5k
Featured
See All Featured
Documentation Writing (for coders)
carmenintech
67
4.6k
A designer walks into a library…
pauljervisheath
205
24k
Build your cross-platform service in a week with App Engine
jlugia
229
18k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
129
19k
Building Flexible Design Systems
yeseniaperezcruz
328
38k
The Power of CSS Pseudo Elements
geoffreycrofte
75
5.5k
[RailsConf 2023] Rails as a piece of cake
palkan
53
5.3k
Mobile First: as difficult as doing things right
swwweet
223
9.5k
Into the Great Unknown - MozCon
thekraken
35
1.6k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
175
52k
Optimising Largest Contentful Paint
csswizardry
34
3.1k
Bash Introduction
62gerente
611
210k
Transcript
エンプラ企業にいそうなヤバイやつ
あんただれ? 名前:酒徳 哲 (さかとく あきら) 普段のお仕事:某エンプラ企業のデータエンジニア見習い 好きなもの:日本酒、クラフトビール、サウナ
おことわり このプレゼンテーションはフィクションです。 実在の人物や団体などとは関係ありません。
今回のプレゼンテーションについて 今回はお悩み相談回です。 データ基盤に関する色んな悩みをデータ人材という切り口で相談します。 ただし、 「それを解決するのはデータ人材ではない」 「そもそもそれは問題ですらない」 みたいな視点がありそうなので、色々ご意見いただければ幸いです。
本日のネタ Karte.1 彼はやる気と根気がすごすぎた Karte.2 二人はレベルが違いすぎた Karte.3 彼はフロンティア精神がすごかった Karte.4 彼らの入力は温もりがあふれていた Karte.5 「私」は将来がわからない
お話の舞台 そろそろ老舗なIT企業、JDDY社 (Japan Data Driven Yourself) 2000年にJDD社とDDY社を中心に各地の中規模ITコンサル企業の合併で誕生。 お客様の生活のIT化とビジネスのDX化を推進するために、 ティッシュペーパーから核弾頭通信機器までなんでも導入支援している。 最近は決済アプリを展開したり、新エネルギー事業を始めたりも。
被保険者数は約10,000人。国内外にグループ会社あり。 ※架空の企業です
JDDY社の組織構成 「私」 Chief Data Officer 偉い。会ったことない。 Data Product Owner オンプレ系の経験豊富なデータアーキテクト
みんなから尊敬されているぞ Director / Data Steward データエンジニアのエース 中間管理職ポジで超忙しい データ基盤チーム データ基盤を作る人たち ガバナンスチーム 利用ルールを作る人たち 情報システム本部 データ分析室 室長&Data Analysts
Karte.1 彼はやる気と根気がすごすぎた 本部で使えるデータの詳細をまとめよう。 ガバナンスチームの新人くん、 有識者にヒアリングして整理してね。 頑張ります!
Karte.1 彼はやる気と根気がすごすぎた できました! ・100テーブル×20カラムの情報が1シートに ・各カラムの計算ロジックが自然文で記載
Karte.1は… ・どうするべきだった? ・ここからどうしよう?
Karte.2 二人はレベルが違いすぎた 弊社のデータの規模と特徴を考えると Data Vaultが最適だな 妥当ですね (よく知らないけどこの二人が言うならそうなんだろう …) 了解しました! 難しいと噂の… 設計できん…
Karte.2は… ・これからどうなる? ・ここからどうしよう?
JDDY社のデータ基盤 システムA システムB システムC システムD システムE Snowflake AWS オンプレ Oracle
Python環境 Tableau CSVダンプ Spark + JP1 /We love this!\
Karte.3 彼はフロンティア精神がすごかった これから我が社はデータ活用に全力投球! 頑張ろう!
Karte.3 彼はフロンティア精神がすごかった 主にシステムBのデータを担当してます。 データの鮮度なんとかなりませんか? でもデータ活用1stなので 何か考えますね! データパイプライン全部を 更改するのは無理そうだな…
Karte.3 彼はフロンティア精神がすごかった データ活用を推進するため、新システムBに高性能な ログ基盤を導入しました! 独自の特許技術が実装されていて処理遅延が少ないです! エンプラ企業での導入事例は初めてかも! 技術スタック統一しないの!? ていうかそれ汎用性あるの!?
Karte.3は… ・どうするべきだった? ・ここからどうしよう?
Karte.4 彼らの入力は温もりがあふれていた システムC システムD システムE AWS Spark + JP1 建設工事のプロフェッショナルです! お客様オフィスのファシリティを
データ管理するよ! /実はグループ会社のシステム\ 現場でリアルなデータを 計測して入力!
Karte.4 彼らの入力は温もりがあふれていた システムC システムD システムE AWS Spark + JP1 /実はグループ会社のシステム\ 入力端末アプデで
文字コード変わった 住所にダメ文字が… 経度に小数点入れ忘れた Lon=1394402 入力欄で改行する 裏技を使った きょうはもうだめ \またあした/ \ノーデータ/
Karte.4は… ・どうするべきだった? ・ここからどうしよう?
Karte.5 「私」は将来がわからない 我が社はジョブ型人事制度を導入する! 自分自身でキャリアを構築するべし! よーし頑張るぞ!
Karte.5 「私」は将来がわからない じゃあジョブをエンジニア、データサイエンティストから 選択して目標管理(MBO)シート提出してね。 それぞれのジョブの推奨スキルも公開したよ。 自分たちはどっちだ…?
Karte.5 「私」は将来がわからない 不評だから各ジョブにサブカテゴリを定義したよ。 ソフトウェアエンジニア、インフラエンジニア、 あと船舶設備エンジニアも選べるよ! いや、自分たちはどれだ…?
Karte.5は… ・どうするべきだった? ・みんなのところはどう?
SnowVillage TV #XX 登壇者募集中!次に話すのはあなただ!