Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データエンジニアリングの実践課題「K-DEC」説明資料 / 20211006
Search
yuzutas0
PRO
October 06, 2021
Technology
3
13k
データエンジニアリングの実践課題「K-DEC」説明資料 / 20211006
風音屋の選考課題「K-DEC:Kazaneya Data Engineering Criterion」に関する紹介資料です。
https://kazaneya.com/kdec/
yuzutas0
PRO
October 06, 2021
Tweet
Share
More Decks by yuzutas0
See All by yuzutas0
OLSにおける推定量β1=共分散÷分散の導出 / 20230517
yuzutas0
PRO
1
400
民間企業におけるデータ整備の課題と工夫 / 20220305
yuzutas0
PRO
14
6.7k
累計参加者8,500名! #DataEngineeringStudy の43スライドから学ぶ、データエンジニアリングの羅針盤 / 20220224
yuzutas0
PRO
15
4.9k
あの人の自分戦略を聞きたい!2022 #devsumi / 20220218
yuzutas0
PRO
3
3.6k
データ基盤による利益最大化と初期構築プロセス / 20220209
yuzutas0
PRO
10
6.1k
Engineer Career Lounge#1「エンジニアの成長戦略を考える」 #ECLounge カンニングペーパー / 20211217
yuzutas0
PRO
3
1.3k
Data Management Guide - 事業成長を支えるデータ基盤のDev&Ops #TechMar / 20211210
yuzutas0
PRO
15
21k
[投影資料]『実践的データ基盤への処方箋』の刊行にあたって #TechMar / 20210210-2
yuzutas0
PRO
1
3.1k
DXを妨げる要因と実現へのアプローチ by @yuzutas0 / 20211022
yuzutas0
PRO
55
45k
Other Decks in Technology
See All in Technology
re:Invent をおうちで楽しんでみた ~CloudWatch のオブザーバビリティ機能がスゴい!/ Enjoyed AWS re:Invent from Home and CloudWatch Observability Feature is Amazing!
yuj1osm
0
120
LINEヤフーのフロントエンド組織・体制の紹介【24年12月】
lycorp_recruit_jp
0
530
Oracle Cloudの生成AIサービスって実際どこまで使えるの? エンジニア目線で試してみた
minorun365
PRO
4
270
あの日俺達が夢見たサーバレスアーキテクチャ/the-serverless-architecture-we-dreamed-of
tomoki10
0
420
Amazon VPC Lattice 最新アップデート紹介 - PrivateLink も似たようなアップデートあったけど違いとは
bigmuramura
0
190
KubeCon NA 2024 Recap / Running WebAssembly (Wasm) Workloads Side-by-Side with Container Workloads
z63d
1
240
バクラクのドキュメント解析技術と実データにおける課題 / layerx-ccc-winter-2024
shimacos
2
1k
OpenAIの蒸留機能(Model Distillation)を使用して運用中のLLMのコストを削減する取り組み
pharma_x_tech
4
540
KubeCon NA 2024 Recap: How to Move from Ingress to Gateway API with Minimal Hassle
ysakotch
0
200
新機能VPCリソースエンドポイント機能検証から得られた考察
duelist2020jp
0
210
watsonx.ai Dojo #5 ファインチューニングとInstructLAB
oniak3ibm
PRO
0
160
組織に自動テストを書く文化を根付かせる戦略(2024冬版) / Building Automated Test Culture 2024 Winter Edition
twada
PRO
8
3.1k
Featured
See All Featured
The Cult of Friendly URLs
andyhume
78
6.1k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
8
1.2k
Rails Girls Zürich Keynote
gr2m
94
13k
Git: the NoSQL Database
bkeepers
PRO
427
64k
How to Think Like a Performance Engineer
csswizardry
22
1.2k
BBQ
matthewcrist
85
9.4k
The Art of Programming - Codeland 2020
erikaheidi
53
13k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
95
17k
It's Worth the Effort
3n
183
28k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
9.1k
Fashionably flexible responsive web design (full day workshop)
malarkey
405
65k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
127
18k
Transcript
【中級者向け】データエンジニアリングの実践課題 Kazaneya Data Engineering Criterion 「K-DEC」
免責事項 本資料の内容は作成時のものです。 予告なく内容を変更する場合があります。 2
サマリー 1. データエンジニアリング特化のリモート SES事業を検討中です 2. そこで選考課題「K-DEC」を開発しました 3. 「K-DEC」で自分の実力を確かめることができます 4. 腕試しとして「K-DEC」に挑戦してみませんか
3
風音屋(かざねや)は、令和元年創業・東京下町の ITコンサルティング企業です。 事業課題に対して、ビジネス・システム・データ・オペレーションの全体像を描き直し、 現場が主体的に改善サイクルを回せるように伴走します。 会社概要 合同会社 風音屋 東京都中央区 横山翔 令和元年
ITコンサルティング、サービス選定 /斡旋、研修/セミナー、メディア 法人名 創業者 設立 事業内容 所在地 4 企業HP https://kazaneya.com/
創業者 5 横山翔(@yuzutas0) データパイプラインやダッシュボードの構築を中心に ITコンサルティングサービスを提供 ・PyCon JP 2017 ベストトークアワード優秀賞 ・Developers
Summit 2018 Summer アンケート満足度1位 ほか Google Cloud Day 2021 など登壇多数 ・インプレスR&D 『個人開発をはじめよう!』 ・ITmedia「データ基盤 大解剖」(連載記事) ・技術評論社『Software Deign 2020年7月号 - ログ分析特集』 ・技術評論社『データ基盤の処方箋』(2021年12月発売予定) ・『データマネジメントが30分でわかる本』(発売日にKindle人気度ランキング1位) ほか 日経産業新聞 や ForbesJapan など掲載・執筆多数
風音屋におけるデータエンジニアリング 6 データソース データ利用者 BI DWH ETL パイプラインの構築・運用 モニタリング業務 継続改善の文化装着
データエンジニアリング特化のリモート SES事業を検討中 多種多様な 案件・データに 挑戦できる データに 関心のある同僚や 依頼者と働ける 著名な 技術顧問の支援を
受けられる データエンジニア&データアナリストが得られる体験 7
選考課題「K-DEC」の位置付け データエンジニアリングは、多くの企業・行政に必要で、関心が寄せられています。 まだ担当できる人材は少なく、ニッチな分野です。知見は十分に出回っていません。 だからこそスキルを身につけることで、活躍の幅が広がるはずです。 8 実践者を招いて、初心者向けに講演してもらう Data Engineering Study 企業にトレーニングを提供する
研修/セミナー事業 個人にノウハウを提供する メディア事業 実践を通して同僚や技術顧問と一緒に学ぶ リモートSES事業 課題を通して自分の実力を試す 選考課題「K-DEC」
選考課題「K-DEC」の内容 1. 演習課題 ETL→DWH(SQL)→BIツールを構築して、データを可視化 2. ケース面談 お題に対してモニタリング要件やデータアーキテクチャ設計 3. インタビュー 案件を担当するときの日々の意識や工夫について振り返り
各ステップの完了時には有識者によるレビュー&フィードバックを行います 9
初心者と中級者の間にある壁 初心者が 中級者が できること できないこと できること チュートリアルの開発や分析を再現できる 仕事だと実現方法に悩む お題をもとに実現方法を見通せる チュートリアル用のデータなら扱える
現実のデータを扱うと複雑に感じる 現実のデータを仕事で扱える 個々のツールは使ったことがある 全体を通した設計ができない 全体を通した設計ができる 目の前の仕事には慣れてきた 自分の実力が社外に通用するか自信がない 新しい案件でも成果を出せる 自分用のダッシュボードを作った 周囲に役立つようなダッシュボードは作れない ダッシュボード提供で周囲の役に立てる アーキテクチャの話は聞くだけ 自信を持ってアーキテクチャを設計できない 品質/納期/運用を考慮してアーキテクチャ設計できる モチベーションが上がったら勉強する プロとして安定した成果を出し続けられない プロとして安定した成果を出し続けられる 10 ※全領域で 100点を求めるわけではなく、ポテンシャルを加味して選考を行います 「この壁を突破できるか」「この壁を突破するために何が必要か」をチェックできます
関係者のコメント 某社データアナリスト(副業パートナー) 「演習課題のチョイスが良い。実務ではよく見かける案件だが、本や動画で 勉強しているだけの初心者にとっては、引っかかるポイントが多々ある。」 某社データエンジニア(副業パートナー) 「インタビューのフォーマットが参考になる。自分もやってみたい。 この項目を定期的に振り返るだけでキャリアアップできるだろうと思う。」 某社マネージャー(クライアント) 「このような選考を経ている人材なら、安心して仕事をお願いできそうだ。 手を動かせる。設計できる。プロ意識がある。どれも必要不可欠だ。」
11
ご提案 選考課題を「腕試し」として利用してみませんか? 終了後は「項目別スコア」や「有識者フィードバック」を受け取ることができます。 将来的には独立した学習プログラムとして有償化する可能性がありますので、 ぜひ無料のうちに試してみてください。 ※事務処理上は人材募集フローに乗りますが、途中で辞退いただくことが可能です。 ※とりあえず合格しておいて、興味が出たら検討する、という形でも問題ありません。 ※再チャレンジを歓迎しています。「スキルアップしてから受ける」ではなく 「スキルアップのために何が必要かを確認する」という使い方が可能です。 12
プロフェッショナル・マニフェスト プロフェッショナルが育ち、活躍する場を目指しています。 特別な技能を持つ必要はありません。ご自身の専門分野における頻出手法を学び、 依頼者の目的に沿ってプロジェクトを定義・推進し、期待される QCDSを達成し、 頻繁かつ丁寧にコミュニケーションを取れるなら、上位 10%に入れる人材だと考えます。 その「当たり前」の活動を通して得た気付き、ノウハウ、サンプルコードなどを アウトプットすれば、やがてはその分野の第一人者として周囲から信頼されるはずです。 10の「当たり前」を積み重ねることで、「当たり前」を超えた存在になるのではないでしょうか。
このような希少性の高い人材が育ち、活躍できるような環境を作りたいと考えています。 @yuzutas0 13
申し込み&お問い合わせ https://kazaneya.com/kdec 14