アプリケーション基盤側から⾒たリードタイム2週間、年間100リリースへの挑戦 / Application infrastructure view of the challenge of 2-week lead time and 100 releases per year

■イベント：Sansan R&D TECH SHOWCASE -ビジネスをドライブするR&Dのウラガワ大公開-
https://sansan.connpass.com/event/299113/

■登壇概要
タイトル： アプリケーション基盤側から⾒たリードタイム2週間、年間100リリースへの挑戦
発表者： 技術本部 研究開発部 Architectグループ　新井 和弥

◉ 研究開発職 採用情報
https://media.sansan-engineering.com/randd

◉ Sansan Tech Blog
https://buildersbox.corp-sansan.com/

Transcript

1. Sansan技術本部 研究開発部 Architectグループ 新井 和弥 アプリケーション基盤側から⾒た リードタイム2週間、 年間100リリースへの挑戦 Sansan R&D TECH SHOWCASE
2. 写真が入ります 新井 和弥 Sansan株式会社 技術本部 研究開発部 Architectグループ ML Platformチーム エンジニア 2022年Sansan株式会社⼊社。中部⽀社勤務。名古屋の⺠。 研究員とともにDevOps/MLOpsに向き合う。 チームの⽣産性を⼤事にしている。 趣味は🧑💻💬、💪、💤。 Please call me KAZY.
3. 出会いから イノベーションを⽣み出す いつの時代も、世界を動かしてきたのは出会いです。 ⼈と⼈、企業と企業、 その出会いの連鎖が社会を前進させます。 私たちは出会いが持つ可能性を再発⾒し、 未来につなげることでビジネスを変えていきます。 イノベーションにつながる新しい出会いを⽣み出す。 出会いの⼒でビジネスの課題にイノベーションを起こす。 そして、ビジネスの出会い、そのもののあり⽅を変えていきます。 Mission
4. 働き⽅を変えるDXサービス 請求 ⼈や企業との出会いをビジネスチャンスにつなげる「働き⽅を変えるDXサービス」を提供 ビジネスフローにおけるさまざまな分野でサービスを展開 名刺管理 名刺DX 営業 営業DX 契約 法務DX 経理DX 個⼈向けDX 法⼈向けDX 必要な情報を すぐに⾒つけられる 情報の管理がしやすく すぐに共有できる 情報を分析・活⽤しやすく データに基づいた判断ができる SansanのDXサービスの活⽤で変わる働き⽅
5. ML Platform Teamとは 研究員 主に名刺や帳票の⾼精度なデータ化や蓄積さ れたデータからプロダクトの価値を⾼めるデ ータを活⽤した機能の研究開発に取り組む MLOps/DevOpsエンジニアと連携し、 サービスリリースまで担う MLOps/DevOpsエンジニア 機能やシステムの設計リードから実装を担当 サービスの品質・可⽤性・セキュリティ・ オブザーバビリティーを担保 また研究員による試⾏錯誤を増やし、継続的に 素早くリリースするためのML基盤を構築・推進 データエンジニア 研究開発部や全社で利⽤する分析基盤の設 計・開発をリード ⾃社のプロダクトから⽣まれるさまざまなロ グや、データ連携パートナー企業などからの データを、活⽤しやすい形（Databilityと Usabilityが⾼い状態）で社内に提供 研究開発部 MLOps/DevOpsエンジニア 機能やシステムの設計リードから実装を担当 サービスの品質・可⽤性・セキュリティ・ オブザーバビリティーを担保 また研究員による試⾏錯誤を増やし、継続的 に素早くリリースするためのML基盤を構築・ 推進
6. ML Platform Teamとは 研究員 主に名刺や帳票の⾼精度なデータ化や蓄積さ れたデータからプロダクトの価値を⾼めるデ ータを活⽤した機能の研究開発に取り組む MLOps/DevOpsエンジニアと連携し、 サービスリリースまで担う MLOps/DevOpsエンジニア 機能やシステムの設計リードから実装を担当 サービスの品質・可⽤性・セキュリティ・ オブザーバビリティーを担保 また研究員による試⾏錯誤を増やし、継続的に 素早くリリースするためのML基盤を構築・推進 データエンジニア 研究開発部や全社で利⽤する分析基盤の設 計・開発をリード ⾃社のプロダクトから⽣まれるさまざまなロ グや、データ連携パートナー企業などからの データを、活⽤しやすい形（Databilityと Usabilityが⾼い状態）で社内に提供 研究開発部 MLOps/DevOpsエンジニア 機能やシステムの設計リードから実装を担当 サービスの品質・可⽤性・セキュリティ・ オブザーバビリティーを担保 また研究員による試⾏錯誤を増やし、継続的 に素早くリリースするためのML基盤を構築・ 推進 Here!
7. 研究員が⼤きな成果を出せる。 研究員が⼤量・⾼速な試⾏錯誤ができる。 研究員がこれらを継続的に⾏えるような仕組みを作る。 それがML Platformの仕事。 1つの⼿段として 研究員が、セルフサービスで 安全にリリースできる基盤 Circuit を構築・運⽤。 ML Platform Team仕事 https://speakerdeck.com/sansan_randd/about-circuit-r-and-ds-application-platform
8. 「#営業戦略⽴案」などの活⽤シーンを選び、実験的な機能を利⽤できるサービス リードタイム2週間、年間100リリースを⽬指しています！ Sansan Labs
9. Sansan Labs 研究員の⼤量・⾼速な試⾏錯誤が 成果になる！ 「#営業戦略⽴案」などの活⽤シーンを選び、実験的な機能を利⽤できるサービス リードタイム2週間、年間100リリースを⽬指しています！
10. - DevOps/MLOpsエンジニア - インフラ構築, フロント構築,モニタリング, CICD…をアプリごとに都度新規作成 - Labs専任のエンジニアが付いてサポート - 研究員 - Algorithm開発 - ⼀部staging検証 Before Circuit(2019 ~ 2021) 9 Algorithm開発 staging構築 staging検証 productionリリース 研究員 DevOps/MLOpsエンジニア Before production構築
11. - 企画からリリースまで3ヶ⽉ほどの世界 - DevOps/MLOpsエンジニアは研究員と⽐較して⼈数が少ないが、開発フロー上の負担が多い - DevOps/MLOpsエンジニア⇔研究員のやり取りが増えるほどリードタイムが伸びる - 例えば研究員がインフラ構築, フロント構築,モニタリングも全部やれば、⼈数とやりとりの問題が解消しリー ドタイムは下がる？ → 認知負荷が⾼くなり過ぎて現実的ではない。 Before Circuit(2019 ~ 2021) 10 リードタイム2週間は夢のまた夢.. Algorithm開発 staging構築 staging検証 productionリリース Before production構築 研究員 DevOps/MLOpsエンジニア
12. Before Circuit(2019 ~ 2021)
13. リードタイムを縮めるため何をやった？
14. 研究員がインフラを含めて セルフサービスで アプリケーション構築できる世界を作り始めた。 リードタイムを縮めるため何をやった？ 13
15. 現在 Sansan R&Dの研究員 が アイデアをできるだけ早く安全にリリースし て⾼速で改善していくこと を望むとき、彼・彼⼥らは サービスをリリース するときにインフラ構築をエンジニアに依頼し、機能ごとに毎回性能評価 の仕組みを開発 しなければならない。この状況は 研究員の専⾨分野ではな い領域の作業待ちに伴う時間のロスや実装コストの増⼤ のため、受け⼊れ られない。我々は 研究成果を5⽇でプロダクトとしてリリースし、評価、改 善のサイクルを⾼速に回すことでビジネス価値を⽣み出せる 世界を夢⾒て いる。我々は 研究員の開発におけるベストプラクティスを提供する基盤の 継続的改善 を通じて、そのような世界を実現するつもりである。 ラディカル・ビジョン・ステートメント（v1.0.0） ラディカル・プロダクト・シンキング イノベーティブなソフトウェア・サービスを⽣み出す5つのステップ
16. 認知負荷の下げ⽅変えて開発リードタイム向上を狙う リードタイムを縮めるため何をやった？ 15 インフラ 頼む~ あいよ〜 認知負荷は下げられるが ⼈間のやり取りは時間がかかる 優先度 待ち時間 なにしよ 認知負荷は多少上がるが リードタイムがコントロールしやすくなる ふむふむ これなら 出来そう 「ポチポチで始めるかんたんデプロイガイド」 難しかったら いつでも 聞いてね〜 アプリ実⾏基盤
17. アプリケーション基盤Circuitを構築 ⇒ YAML(マニフェスト)を書くだけで いい感じの計算リソースでコンテナが動くように ⇒ オートスケールも、負荷分散もYAMLで リードタイムを縮めるため何をやった？ 16
18. CI/CDの共通化とフロー整備 ⾃動マニフェストチェック PRをマージしたらデプロイ(GitOps) 最新イメージをリポジトリにプッシュすると⾃動でPR作成 ⇒アプリごとにCI/CDの整備が不要 ⇒コードレビューからリリースまでの時間が短縮 リードタイムを縮めるため何をやった？ 17
19. テンプレートからマニフェストを作成する Action構築 YAMLといえど覚えるのは⾯倒くさい ⇒ ボタン⼀つでマニフェストと PRが作成されるように リードタイムを縮めるため何をやった？ 18
20. バッチを⼿動で実⾏できるActions構築 ⇒ 定期実⾏バッチの検証や再実⾏がボタン⼀つで 可能に リードタイムを縮めるため何をやった？ 19
21. モニタリングの⾃動設定 ⇒ 4XX, 5XX等の基本的なアラートは⾃動で捕捉されるように リードタイムを縮めるため何をやった？ 20
22. After Circuit (2022 ~) Algorithm開発 staging構築 staging検証 productionリリース After production構築 - DevOps/MLOpsエンジニア - DevOps/MLOpsエンジニアは基盤の構築と運⽤等に集中できる - 研究員 - アプリケーション開発の殆どを⾃分たちで⾏える 研究員 DevOps/MLOpsエンジニア
23. 開発プロセスの変化 Algorithm開発 staging構築 staging検証 productionリリース Algorithm開発 staging構築 staging検証 productionリリース Before After production構築 production構築 研究員が⾃⾝が アプリケーション構築できる世界に 研究員 DevOps/MLOpsエンジニア
24. リードタイム1ヶ⽉が⾒えてきた 23
25. リリース数の増加 Circuit導⼊後
26. 🈂 実験的な機能を利⽤できるサービスSansan Labs は研究員の⼤量で⾼速な試⾏錯誤が成果のキモで ある。。。。 Sansan Labsが掲げるリードタイム2週間、年間 100リリースのため、研究員が低い認知負荷で、 インフラを含めてセルフサービスでアプリケー ション構築できる基盤Circuitと、その開発プロ セスの紹介をした。 Circuit導⼊後当初3ヶ⽉ほどだった開発リードタ イムが概ね1ヶ⽉程度にまで短縮された。 まとめ 今後、Preview機能やモニタリング強化など さらなる施策を検討している。 Circuitのロゴがほしいこの頃
27. Sansan 研究開発部 募集ポジション紹介 https://media.sansan-engineering.com/randd