データアーキテクト(データ整備人)の概観とこれからの展望と課題 / maemuki_data_seibinin01

29e4aa4e265e478995df09ca52d62103?s=47 ShinU
November 27, 2019

データアーキテクト(データ整備人)の概観とこれからの展望と課題 / maemuki_data_seibinin01

次回は2020年7月14日(火)の予定です
第5回 データアーキテクト(データ整備人)を”前向きに”考える会
https://analytics-and-intelligence.connpass.com/event/180202/

しんゆう@データ分析とインテリジェンス
ブログ :https://analytics-and-intelligence.net/
Twitter:https://twitter.com/data_analyst_

グループに登録いただくと新しいイベントが公開された際にご連絡が行きます
https://analytics-and-intelligence.connpass.com/

29e4aa4e265e478995df09ca52d62103?s=128

ShinU

November 27, 2019
Tweet

Transcript

  1. 6.

    • データの流れと役割分担 • エンジニアとアナリストの間にある役割 • その役割は誰がやるのがいいのか? • 主張:別の役割として認識するべき • 役割の名称について

    • 一言で表現すると • もしデータアーキテクト(データ整備人)が完璧に機能したら • うまくミッションを遂行するために考えないといけないテーマ • 将来に向けて考えるべきこと • まとめ & 宣伝 & おまけ & 参考URL 目次
  2. 8.

    • しんゆう( Twitter : @data_analyst_ ) • ブログ「データ分析とインテリジェンス」を書いてる人 https://analytics-and-intelligence.net/ •

    仕事でやりたいこと:意思決定のための情報分析をする人 • 仕事でやってること:データをうまく使えるようにする人 自己紹介
  3. 13.

    データレイク データウェアハウス データマート 集計 分析 意思決定者 マーケターなど データの流れ 分析結果の流れ 分析は意思決定者へ

    • 最後にデータは分析・洞察を経 て意思決定者に渡らないと意味 をなさない データの流れと役割分担
  4. 16.

    データレイク データウェアハウス データマート データの流れと役割分担 集計 分析 マーケターなど データエンジニア • 様々なデータを集めてデータレ

    イクに入れる人(あんまりいな いので別のエンジニアが兼任) • ログ、バッチ処理、ETL 意思決定者
  5. 21.

    データレイク データウェアハウス データマート 集計 分析 マーケターなど 1.抽出 • 分析が主業務でない人達からの 依頼を受けてデータを抽出

    • アウトプットはExcel・CSV・ ダッシュボード(可視化) 意思決定者 1 エンジニアとアナリストの間にある役割
  6. 22.

    データレイク データウェアハウス データマート 集計 分析 マーケターなど 2.整理 • 集められたデータはそのままだ とまず使えないので整理が必要

    • DWHやマートの設計や作成・ イレギュラーなデータへの対応 意思決定者 2 エンジニアとアナリストの間にある役割
  7. 27.

    データレイク データウェアハウス データマート 集計 分析 マーケターなど 意思決定者 よく見聞きするケース2 • データアナリストが(やらない

    と仕事にならないので)やって いる • 分析できずに整理と抽出ばかり。 管理は手が付かない その役割は誰がやるのがいいのか?
  8. 28.

    データレイク データウェアハウス データマート 集計 分析 意思決定者 マーケターなど よく見聞きするケース3 • エンジニアもアナリストもいな

    いので非分析者がやるしかない • 簡単なことでも無駄に時間を取 られたり、整備されていないと そもそもできない その役割は誰がやるのがいいのか?
  9. 30.

    市場 倉庫 加工工場 小売業 レストラン 消費者 一般家庭 料理に例えてみるとこんな感じ • 野菜であれば加工工場を通さな

    いこともあるし、シェフが直接 市場に行くこともあるが概ねこ んな感じになりそう その役割は誰がやるのがいいのか?
  10. 31.

    市場 倉庫 加工工場 小売業 レストラン 消費者 一般家庭 データエンジニアがやるべき? • データエンジニアが加工までや

    るのは生産者としての農家や漁 師が加工して自分で売るみたい なもの その役割は誰がやるのがいいのか?
  11. 32.

    市場 倉庫 加工工場 小売業 レストラン 消費者 一般家庭 データアナリストがやるべき? • データアナリストが抽出したり

    整理したりするのはレストラン が他の店や消費者のための加工 工場を経営して料理人をそこで 使うようなこと その役割は誰がやるのがいいのか?
  12. 33.

    市場 倉庫 加工工場 小売業 レストラン 消費者 一般家庭 マーケターなどがやるべき? • マーケターなどが抽出しようと

    するのは自宅で使うために自分 で店を経営するようなものだし 整理は無理 その役割は誰がやるのがいいのか?
  13. 43.
  14. 53.

    • どのようなスキルセットがあるとうまくやれるか • 成功失敗のノウハウは何か • どのようなキャリアに繋がるのか • 上司や外部へのアピールをどうやればいいのか • 組織の中での立ち回り方

    • といったことを自分の経験や妄想でまとめてみたが、話す 時間がないので最後におまけとして追加しておく ミッションを遂行するために必要なこと
  15. 58.
  16. 60.
  17. 64.
  18. 66.

    • どのようなスキルセットがあるとうまくやれるか • 成功失敗のノウハウは何か • どのようなキャリアに繋がるのか • 上司や外部へのアピールをどうやればいいのか • 組織の中での立ち回り方

    • などいろいろ考えないといけないことはあるので自分の経 験&思いついたことを書けるだけ書いておく (言い訳)今回のテーマは概観なので、ここにはあまり時間がさけなかった分は今後のブログ記事とかでちゃんと書きます 考えないといけないテーマ
  19. 82.