データの民主化とデータパイプライン

第1回 DLG Cross (データマネジメントとデータパイプライン) の発表資料です。
https://data-learning-guild.connpass.com/event/170177/

データマネジメントの Why（なぜ必要か） What（どんな活動なのか） How（どうやるのか）について、 データ分析プロジェクトの成功例と失敗例を比べながら紹介します。
https://twitter.com/DataArch_masuda
#dl_guild

Transcript

1. データの民主化と データパイプライン マネジメント データアーキテクト 増田 貴志 （Masuda Takashi）
2. 免責事項・注意事項 投稿者本人の個人的意見であり、所属組織の意見ではありません。本セミナーの内容は、情報の提供のみを目的と して掲載されており、所属組織（過去も含め）他の関係者による推奨や表明を目的としたものではありません。 あくまで、抽象的な例であり個人を示すものではありませんので、万が一不快に感じさせてしまったのであれば、 登壇者の責任によるところです。登壇者に直接お問い合わせいただけると幸いです。 資料は後ほどWebに公開する予定です。 一部、特定の企業や人物を抽象化し、フィクション化した表現をしている箇所がございます。特定の企業や個人を 称賛・批判を意図するものではありません。 初のオンラインセミナーでお話することもあり、お聞きづらい点もあるかと思いますがわかりにくい点は、懇親会 やDMなどでご連絡いただけると幸いです。
3. フリーランスの データアーキテクト です。 フリーランスのデ ータアーキテクト です。 データ基盤の整備や BIの設計から作成ま で行っています。 趣味：料理 最近は、毎晩 オンライン飲み会 用に作っています ３０代・異業種か らのIT業界に入りま した。 ４月から大学院生 になりましたが、 まだ未登校です。 @DataArch_masuda
4. データパイプラインとは データレイク データウェアハウス データマート
5. データパイプラインの流れ データレイク データウェア ハウス データマート 様々な社内のデータを”とりあえず”集めてきた状態。 定期的にデータを収集するパイプラインなどを作る。 データレイクを整備して成形化する。 時間帯や数値の単位を直す。 集計・分析したデータを保存する。 多くの人が目にするのは、ここのデータ。
6. データサイエンスチームのロール データエンジニアが、 すべてのデータを管 理しつつ、 データアナリスト、 データサイエンティ ストが様々なデータ を提供する。
7. データサイエンスチームの成果 １．データパイプラインが完成して綺麗なデータが完成。 ２．いろんなデータを見て、意思決定することができる。 ３．機械学習モデルを使うことで、業績が上がった。
8. ここまでは良かったの ですが、この先に次の ような問題が発生しま す。 メモ 成長とともに課題は 必ず出てくるから悪い ことじゃないんですけ どね。
9. なるはや依頼 急増問題
10. 「あのデータ見たいんだ けど、なるはやで。」 依頼すればすぐにできると思われてしまい、細か いデータの依頼（集計期間を変える、）が増える ことで、開発が遅れる。 もちろん、エンジニアではない、またはビジネス 上の社内力学が働き、優先度が上がってしまうこ とが多い。
11. データの民主化で解決 データの分析や修正は依頼者にやって もらえば、解決する。 また、正しい依頼の仕方がわかれば、 解決するはず。 新しい写真いれたかっ たのですが、 宣材写真が間に合わな かった。(´；ω；｀)
12. データの民主化とは？ 特定のエンジニアだけがデータを取り扱いをする のではなく、エンジニア以外の方もデータを自由 に扱い、データドリブンな意思決定を行えるよう にすること。 具体的には、メンバー全員が、SQLやBIツールを みんなが使えるようになることを目標にする。
13. 参考例 https://webtan.impress.co.jp/e/2019/07/05/33016
14. 民主化でやったこと（予定含む） • SQL講座 ◦ 目的：単純な集計をできるようにする。 ◦ 効果：変な依頼が減る。 ◦ 効果：レビュワーが増える。 • BIツール講座 ◦ 目的：BIツールの修正ができるようになる。 ◦ 効果：文字、レイアウトなど気にせず、ロジックに集中できる。
15. 民主化でやったこと（予定含む） • データウェアハウスの整備 ◦ 目的：データウェアハウスを正しく理解してもらう。 ◦ タスク：エンジニア以外でもどんなデータなのかわかるようにする。 ◦ ポイント：エンジニア特有のデータ構造をやめる。 • データウェアハウスの非エンジニア向けドキュメントの整備 ◦ 目的：SQLを書きやすくするための説明。 ◦ タスク：テーブル構造を理解してもらう。 ◦ 効果：確認されることが減る。 ◦ 効果：適切な依頼が来る。（これ重要）
16. 民主化でやったこと（予定含む） • データ活用MTGを開催 ◦ 目的：そもそも、どんな分析、データ活用をしたいのか？ ◦ タスク：チームごとに、MTGを開催。目標を決める。 ◦ 効果：データ活用の意識が高まる。 • Slack対応チャンネル作成 ◦ 目的：気楽に相談してもらえる環境を作る。 ◦ 効果：コーディング（SQL）、構築（BI）に過度な時間を割かせない。 ◦ 効果：サポートする空間を作る。
17. 民主化でやったこと（予定含む） • Git導入 ◦ 目的：コードの保守性を高める。 ◦ 効果：レビューできる。数値のミスが減る。 ◦ 効果：システム移行や新規メンバーがあった時に引き継ぎしやすい。 • コード規約を作る。 ◦ 後で詳しく。
18. 民主化で解決する以外に も、データパイプライン を構築する上で、 課題は多発します。 メモ お仕事が増えるのは良 いのですけどね。
19. コード 無法地帯 問題
20. 「私、これの方が見やす いんですよ。」 初めてのコードで書く時は可読性という言葉は、 頭にありません。しかも、SQLは大文字だろうが 小文字だろうが、改行が適当でも動きます。 また、ベテランエンジニアでもSQLの書き方は、 宗教上の問題もあり、またSQL自体の言語方言も 多数あるので以外と決まっていない。
21. エンジニア 転職問題
22. 「来月で辞めます。引き 継ぎ資料はあります。」 そもそも、人材不足のデータサイエンス界隈。 特にデータ分析基盤構築は今大人気（みんな単価 高いからね・・・） 加えて、業界内ノウハウもないため、システムの 構成が定まっていない。また手探りで作っていた ため、システム（主に集計のSQLコード）が、独 特なことが多い。RDBの設計とビックデータのテ ーブル設計は違う。
23. BIツール コード埋め込み 問題
24. 「この集計どこで動いて いるの？」 BIツールは、便利であるが開発自体をBIツールを使 ってしまうと、集計のルールが見えなかったり、分 析基盤を変更した際に、どこにコードが使われてい るのかわからなくなる。 またBIで作り込みすぎると読解するのが難しくなる。 そして、数千行を超す製作者不明の「VBA」に遭遇
25. さて、 どう解決するのか？
26. ということで、これらの 問題を解決する方法として、 のコード規約 を作ることを提案します。
27. https://qiita.com/msdtakashi/items/91b2aaf6b1e492de9ba0
28. 「コード規約トピック」 • 予約語/関数は、大文字にする。 • JOINのASに単文字を使わない。（変数名も） • スネークケースで書く。 • 接頭辞(prefix) / 接尾辞(suffix)をつける。 • idというカラム名は使わない。 • 1行に1カラムにする。 • インデントは2文字（スペース）にする。 • AND,ORは改行して先頭に • SELECT単位でインデントを揃える。 • INNER JOINを使わない。 など
29. 「コード規約を決めるメリット」 コードを決めるメリット ・非エンジニアの人のレビューが捗る。 ・最初だからこそ、ルールを覚えよう。 ・ベテランこそ、初心者に寄り添おう。 パイプラインの話は、次回・・・