AWS上で3年もデータ基盤を作っているのに 資格が１個もないから取ってみた

Transcript

1. AWS上で3年もデータ基盤を作っているのに 資格が１個もないから取ってみた 青山 弦太(株式会社ビッグツリーテクノロジー＆コンサルティング） #btc_aws_certs
2. 2 Copyright © 2022 BTC Corporation All Rights Reserved. だれ？ DX事業部 データ基盤構築 クラウドの人 < データテクノロジーの人（データサイエンス、データエンジニアリング） アイドルを追ってます（Perfume,k-pop等々、、、） 青山 弦太 @k_ao_yamachan 認定スクラムマスター(CSM)/プロダクトオーナー(CSPO) ソフトウェア品質技術者資格認定（JCSQE） AWS Certified Data Analytics – Specialty AWS Certified Solutions Architect – Associate New! #btc_aws_certs
3. 3 Copyright © 2022 BTC Corporation All Rights Reserved. 開発組織の意思決定におけるデータ利用の課題 開発環境などから取得したデータを解析し可視化するソフトウェアアナリティクスは重要で関心が高い。 一方で、実体験としてデータに意義を見出すことができている実務者は多くない。 データ駆動のプロジェクト運営、思考方式の定着が必要。 データ駆動のプロジェクト運営 洞察の獲得→アクション • 生産性向上 • 品質確保 • UX向上 あらゆる情報を収集 • 活動 • 成果物 • ランタイム バグ修正・テスト 運営への還元 コード解析 プロジェクト管理 など、、、 Q13~Q18:意思決定にデータが利用されるべきと考えられている。 Q4~Q9:意思決定にほとんどデータが利用されていない。 ASD(※) におけるデータ駆動型意思決定[1] ※ASD : Agile Software Development [1] Fig. 5. Use of data as part of decision making. Present (Q4–Q9) and future (Q13–Q18) #btc_aws_certs
4. 4 Copyright © 2022 BTC Corporation All Rights Reserved. データ駆動のプロジェクト運営の実現ポイント 実体験としてデータに意義を見出すためには、開発チームごとにツール・メトリクス・データ活用自体を 自律的に選択することと、上位マネジメントレベルで俯瞰してみるような組織レベルの統制の両面が 重要。 両立が 重要 ポイント1：チームごとの自律 ポイント2：組織レベルでの統制 参考： • アジャイル開発において、プロセスを自律的に 定めることが推奨されている。[2] • 自律的に定める行為はメンバーの心理的エンパ ワーメントに正の影響を及ぼす。[3] • 必要とするメトリクスやツールを自律的に選択。 • データの意味と有用性を各々のメンバーが確信。 • 複数プロジェクトを俯瞰する組織レベルでの統制。 参考： • 標準プロセスを定め、これに基づいて複数プ ロジェクトの状況を俯瞰的に把握・管理する ことは、継続的なプロジェクトの成功のため の有効な施策。 [4] #btc_aws_certs
5. 5 Copyright © 2022 BTC Corporation All Rights Reserved. 提案：BTC Codebase この対立しがちな２点を両立できるような柔軟な基盤として、ソフトウェア開発・分析基盤 BTC Codebaseを提案する。 ポイント1：チームごとの自律 ポイント2：組織レベルでの統制 組織標準のメトリクスの定義が必要。 メトリクスやツールに対する柔軟性が必要。 メトリクス・ツールを自律的に選択しつつ 組織標準のメトリクスも収集できる 「柔軟な」基盤。 https://www.bigtreetc.com/codebase/ 両立 #btc_aws_certs
6. 6 Copyright © 2022 BTC Corporation All Rights Reserved. 活動 成果物 ランタイム プロジェクトを跨いだ分析。 プロジェクトの状況、活 動を一目で把握。 ファクトベースで運営。 機能1:開発基盤の自動構築 機能2:分析基盤へのデータ自動収集・蓄積 BTC Codebase担当 ユーザ BTC Codebaseの機能 BTC Codebaseは「プロジェクト運営をデータに基づいて行うように変革したい」という想いで開発され た基盤。環境の自動構築機能と、自動構築された環境でのあらゆるデータを自動で収集する機能で 構成されている。 ※1 ※2 ※3 #btc_aws_certs 変換
7. 7 Copyright © 2022 BTC Corporation All Rights Reserved. サービス構成図 https://www.bigtreetc.com/cases/ai_codebase_cloud/ AIによって進化し続けるデータ駆動型高速開発基盤「Codebase」をクラウド上に構築 etc… #btc_aws_certs
8. 8 Copyright © 2022 BTC Corporation All Rights Reserved. 私とAWS https://aws.amazon.com/jp/blogs/big-data/design-a-data-mesh-architecture-using-aws-lake-formation-and-aws-glue/ https://aws.amazon.com/jp/events/aws-innovate/apj/data/ https://connpass.com/user/tcsh/ 実践 ドキュメント セミナー イベント コミュニティ 書籍 #btc_aws_certs 資格、、、
9. 9 Copyright © 2022 BTC Corporation All Rights Reserved. 私とAWS資格 ✓ 書籍、トレーニング ✓ 公式ドキュメント、DevelopersIO ✓ 使うだけならある程度つかえてしまう ✓ ４択問題 ✓ 暗記 ✓ 資格を取らなくても大体できちゃう！ ✓ 取ってもいいことあるのかなぁ、、、。 ✓ “AWS”,”データ分析” →自信を持って得意と言えない ✓ 取ってみよう！ ✓ 「データの専門家」としてのキャリア 資格以外の豊富なリソース 資格への懐疑 受験の動機 #btc_aws_certs
10. 10 Copyright © 2022 BTC Corporation All Rights Reserved. 勉強の過程 こんなん覚えて何になるんだ、、、。 汎用SSD プロピジョンドIOP SSD スループット最適化 HDD ColdHDD ユースケース EC2のブートボリューム、 テストや開発環境 I/O負荷の高いデータ ベースのデータ領域 ビッグデータ、データウェ アハウス、ログ処理 アクセス頻度が低いデータのアー カイブ ボリュームサイズ 1GB~16TB 4GB~16TB 500GB~16TB 500GB~16TB 最大IOPS/ボリューム 10,000 64,000 500 500 最大スループット/ボ リューム 160MB/秒 1000MB/秒 500MB/秒 250MB/秒 https://qiita.com/AWS11077/items/be221dfbd004a696d161 うわっ…私の知らないサービス、多すぎ…？ オンプレとのやりとりを考えたことがなかった 「ストリーミングデータの処理」でもたくさん あった IOPSを1000捌きたい場合は、、、 覚える意味ある、、、、？ #btc_aws_certs
11. 11 Copyright © 2022 BTC Corporation All Rights Reserved. AWS資格から得たもの（個人の意見） 名刺と自信 辞書 原則⇔適用 辞書がないと何を調べてよいかわからない。 よくわからないけど普通の設定でいいや。 →いろいろな面で損することに、、、。 1個1個の細かいことを覚えるのは大変。 →考え方を学んで適用する。 考え方をたくさんの具体的な問題で肌に染み 付かせる。 自己紹介の手っ取り早い手段・自信 EBSタイプによるIOPS S3のTier →暗記はさておき存在は知っておく。 ビルディングブロック 設計原則 • 水平方向にスケールして ワークロード全体の可用性を高める • サーバーレスアーキテクチャを使用 ポイント 例 ー #btc_aws_certs
12. 12 Copyright © 2022 BTC Corporation All Rights Reserved. 実務とAWS資格（個人の意見） 資格だけだと、、、 実務だけだと、、、 実務×資格 • 幅広い知識・考え方が得られる。 • 実務で詰まっていたり、いろいろな経験をしている人こそ、資格から得られる考え方や知識が 含蓄のあるものになる。 • 何に役に立つ? • 原則が書いてあったけど何の為? • できている（つもりで損している） • できている（けどいつも大変な壁にぶち当たって、目 先の解決策を調べている。） #btc_aws_certs
13. 13 Copyright © 2022 BTC Corporation All Rights Reserved. まとめ 実務で困っていないから必要ない 損している・困っていることに気がつかないことが多い 実務：慣れたやり方を繰り返すのではなく、より良いやり方を考え続ける。 資格：暗記と考えずに裏にある歴史や考え方を理解する。 知らないことは気づけない 「より良くする意識」を持つほど身になる #btc_aws_certs 実務で詰まったりいろいろな経験をしている人こそ、 資格から得られる考え方や知識が含蓄のあるものになる。（深みが感じられる）
14. 14 Copyright © 2022 BTC Corporation All Rights Reserved. 引用 [1]Svensson, R. B., Feldt, R., & Torkar, R. (2019, May). The unfulfilled potential of data-driven decision making in agile software development. In International Conference on Agile Software Development (pp. 69-85). Springer, Cham. [2]https://agilemanifesto.org/principles.html. （2022年6月22日参照） [3]Malik, M., Sarwar, S., & Orr, S. (2021). Agile practices and performance: Examining the role of psychological empowerment. International Journal of Project Management, 39(1), 10-20. [4]SQuBOK策定部会. ソフトウェア品質知識体系ガイド（第3版）−SQuBOK Guide V3. オーム社, 2020. ※1: Elasticsearch は Elasticsearch BV の商標であり、米国およびその他の国で登録されています。 https://www.elastic.co/jp/legal/trademarks ※2:Copyright (C) 2009 Martin Herr ※3:“SONARQUBE" は SonarSource SAの商標です https://www.sonarqube.org/ #btc_aws_certs