データエンジニアと作るデータ文化

データエンジニア”と”作るデータ文化 6/25 オープンセミナー2022@広島　YUKI SAITO

@yuki_saito_en 斎藤友樹(SAITO YUKI) システムでも野菜でもお菓子でも作ることが好きです 2 https://menta.work/plan/2650 https://www.udemy.com/user/yuki-saito-7/ @yuki_saito_en https://service.visasq.com/users/6078548267368448

@yuki_saito_en データプロフェッショナルとしてのデータエンジニアの活躍場面は多岐に渡る 3 データ活用 ETL データ理解 (ビジネスメタデータ) データパイプラ
インデータマートデータ分析 ETL データアクセスの提供 BI NoteBook etc… データ品質データテスト育苗輸送仕分け中継販売受取り調理データモデリング

@yuki_saito_en データエンジニアとエンジニア組織や文化を戦略的に作るところに視点が置かれているかどうか 4 エンジニアデータエンジニアテクニカル (Python、Java、などなど) テクニカル
(Python、Java、などなど) データエンジニアリング (秘伝のたれ解消、再現性を高める活動、文化の構築)

@yuki_saito_en データドリブン文化の事情障壁や変化を起こすポイント 1 5

@yuki_saito_en よし！データドリブンだ 6 データ活用で生産性をあげる（ハードスキルな世界）データ活用の生産性をあげる（ソフトスキルな世界） ≒

@yuki_saito_en データドリブン「データ活用で生産性をあげる」だけで解決しようとする 7 業務アプリデータ分析基盤 ETL 活用/利用

@yuki_saito_en 8

@yuki_saito_en 9 出典：Gartner (2021年6月)

@yuki_saito_en 人とデータ 10 との戦いデータドリブン文化は活用に向かない

@yuki_saito_en エンジニアリング 11 を使って人や組織に働きかけ改善したいそこでデータ

@yuki_saito_en SaaS時代変化を起こすエンジニアリング着眼ポイント 12 育苗輸送仕分け中継販売受取り
調理 10 SaaS SaaS SaaS 理解品質、ETL データ分析

@yuki_saito_en 宣伝　10を知るためのおすすめの書籍 13 • データ分析基盤の開発に携わっている方 • より良いデータ活用環境を実現したい方 • エンジニアリングを使ってデータ系開発を成功させたい方

@yuki_saito_en データドリブンな文化を創る千里の道も一歩から 2 14

@yuki_saito_en データドリブンファネル 15 継続文化発見試行理解納得社内での活動やコミュニティでの活動でより多くの人を巻き込む
テクニカルな面も含め理解や共通認識がある (通信不確実性の排除) 小さく、素早く試せる環境がある (アジリティ＆アジャイル ) 結果に対して納得感がある (成果不確実性の排除 ) 難しいルールがなく、続けられる（取引コスト(コミュニケーションコスト )の最小化）当たり前になる (データ活用で/の生産性の向上) ()は内エンジニアリングのポイント

@yuki_saito_en メタデータの整備を通した通信不確実性の排除データ参画者間の共通言語(共通指標)としてメタデータを利用自分の頭だけにメタデータを残さないように、後に残るシステムを作る 16 メタデータの調査メタデータの理解 (言語化) データ活用データの活用はメタデータの理解から始まる
データ活用の生産性を高める理解

@yuki_saito_en 言語化のプロセスデータのテスト 17 Primary Key 重複したデータを発見すること。重複データは算出結果のノイズやデータ。操作の複雑化に繋がるのでビッグデータの世界でも
PKを意識する。 Dictionary 特定の辞書(Pythonのディクショナリみたいな)で事前に定義した値にデータが収まっているか確認する。やってみるとボロボロ見つかる。 Record Num テーブルや日々 ETLしているデータの件数が異常な状態になっていないかを確認する。処理するデータが多くなってきた際には一々全部見切れないので必須 Check Null データのNull具合を確認。内外的な要因でいきなり Nullが急激に増えたりする。また、レコード内に Nullが多い場合はETLするかそもそも取り込まないなどすることも検討する。 Zero Control 足し算の結果など、数値の整合性が取れていることを確認すること。エラーとなることは少ないものの数値の計算にはミスがあると大変なのでダブルチェックの意味でも確認する。 Format 特定のフォーマットに沿っているか確認をすること。男、女、0、1、郵便番号、社内で利用している業務用のコードなど。大抵これらが揃っておらず大いに苦労する。データのテストはデータの定義を言語化するプロセスに等しいデータ活用の生産性を高める理解

@yuki_saito_en データ品質担保を通した成果不確実性の排除自身の勘と答え合わせすることにより納得感のアップに繋がるが、データが間違えていると間違った納得感を生み出す 18 50% くらいだろう 65% 15% くらいだろう
くらいだろうデータ活用の生産性を高める納得

@yuki_saito_en もう少し考えてみるデータ品質 19 id 性別 1 男 2 1 3
男 4 女 5 0 6 男 id 性別 1 1 2 1 3 1 4 0 5 0 6 1 検索の条件(where 性別=’男’ や’1’)によっては50%にも15% にもなり得る。どんな条件でもそれっぽい結果が出る点が中々にあくどい。検索の条件(where 性別=’男’ や’1’)によっては0%か65%となる。変な検索条件の場合は人間の違和感を発動させる。データセット1 データセット2 データ活用の生産性を高める納得

@yuki_saito_en データドリブンな文化を醸成するシンプルな方法で継続する 3 20

@yuki_saito_en 周りの社員の教育と実践を通して組織の情報処理能力を上げる全員がSQL記述して自身でデータ解釈できるレベルを目指す 21 研修や勉強会外部研修、内部研修、勉強会など時間、お金を人材に投資する。 SQLはもはやエンジニアのものではない。
実践研修しただけでは、なかなか実際に使えないのが現実小さな変化を起こし続け芽がで始めることを期待成功体験データ系組織の小さな変化や泥臭さも含め、成功体験から実践を後押しする。 Excelを使ってXXしてみたのような経験談の方が響く場合もあるデータ活用の生産性を高める理解試行

@yuki_saito_en 取引コストを最小限にすることを意識するシンプルイズベスト 22 民主化面倒なプロセスの一つに「データのアクセス権限」がある。データのアクセス権限に勾配をつけずできる限り平坦にすることを「データの民主化」と呼んでいる。人間はめんどくさがりの生き物なので、 •
金曜の夕方に申請とかめんどくさいから来週にしよう • アクセス権が適用されている多くは認知されず利用されない ( 探索をするコストが大きい ) データ活用の生産性を高める試行継続

@yuki_saito_en レギュレーション(ルール)を作り成果不確実性を減らす少しづつ関係や文化の芽吹きを感じたらデータ活用を前提とするようなルールを作る 23 業務アプリとのコラボ社内で新しく作るプロダクトから発生するデータ(例えばアクセスログや分析を前提としたログなど)はデータ分析基盤へ取り込むことを
前提に構築やプロセスの設計(KPI 設計など)を行う。入社時オリエンテーションデータ利活用を前提としている会社なのだと認識してもらうために入社と共にアカウントを発行する。入社後研修の内容としてデータ分析のお試しができると良い。データ活用で生産性を高める継続

@yuki_saito_en データ活用で生産性高くデータ分析基盤開発をしようデータ分析基盤開発の継続的改善をユーザ起点で 24 Google Form 構造化アンケートの代表格。手軽に情報を集めるために必須のツール。内容はUX調査の基
本でOK ログ解析/SQL解析人間の意識に出てこない情報を引き出すための源泉になる。アクセスログでもアクセスだけでなく、どこでスクロールが途切れたかなどを細かくみる。ユーザインタビューログ解析やGoogle　 Form回答の結果から仮説を立て、より深く聞きたい部分はデプスインタビューを行う。インタビューばかりだと取引コストが増えるデータ活用で生産性を高める継続

@yuki_saito_en まとめエンジニアリングを通して人を知りデータを知ろう４ 25

@yuki_saito_en まとめエンジニアリングを使って文化の成長にドライブをかけよう 26 メタデータで言語化言語化の先にデータの理解と活用がある。メタデータは組織の総合力。不確実性軽減のためにエンジニア以外も積極的にデータや事柄を言語化していこう。
データのテスト間違えた意思決定を防ぐだけでなく、思わぬ発見や理解に繋がる。プログラムだけでなく、データも積極的にテストをしていこう。シンプルイズベスト無法地帯とならないように、窮屈になりすぎないように。現状に合わせすぎるのではなく、現状を変えてシンプルなルールを作っていこう。人の特性を理解する人はめんどくさがり。「やってください」ではやってくれない。取引コストは最低限にルールや仕組みはシンプルになるように元の仕組みを変えることを考えよう。科学的に人との関係を大切に簡単なアンケートからでも良いので事業を進めるヒントを得よう。またユーザは優しい嘘をつく。プロダクトを科学的に改善していこう教育と実践研修だけでなく、データ系組織の成功事例や苦労を積極的に発信しよう。また、いつでも気軽にデータに扱える環境を用意して実践できる環境を作ろう。

@yuki_saito_en ご参考のURL ◉ https://www.kdnuggets.com/2021/05/most-demand-skills-d ata-engineers-2021.html ◉ https://www.amazon.co.jp/-/en/%E6%96%8E%E8%97%A 4-%E5%8F%8B%E6%A8%B9/dp/4297127245/ref=tmm_p ap_swatch_0?_encoding=UTF8&qid=&sr= 27

@yuki_saito_en ありがとうございました！ 28

データエンジニアと作るデータ文化

データエンジニアと作るデータ文化

Yuki

More Decks by Yuki

Other Decks in Technology

Featured

Transcript