AI・LLM事業部のSREとタスクの自動運転

Transcript

1. © LayerX Inc. AI‧LLM事業部のSREとタスクの⾃動運転 Shinichi Nakagawa(@shinyorke) 2025/03/25 LayerX SRE & Cloud Native Night!
2. ⽬次 Agenda • 1⼈⽬SREの始め⽅ • ⽣成AI時代のCloud NativeとSRE • インフラタスクの⾃動運転
3. © LayerX Inc. 3 ⾃⼰紹介 株式会社LayerX AI‧LLM事業部プロダクト開発G SRE • Azure/Terraform/SRE他, 何でもする⼈（仕事） • Python/個⼈開発/⚾分析（以前の仕事と趣味） • ブログをよく書く⼈ https://shinyorke.hatenablog.com/ 前職までの経歴 • アクセンチュア株式会社マネジャー （前職） ◦ Intelligence Cloud Enabler(ICE)のSRE/System Architect ◦ Accenture Google Business Group(AGBG) Engineer • 複数のベンチャーでCTO/Engineering Manager/IC フルスタックエンジニアからSREになった⚾マンです 中川 伸⼀(@shinyorke)
4. 4 © LayerX Inc. 「すべての経済活動を、デジタル化する。」をミッションに、AI SaaSとAI DXの事業を展開 事業紹介 バクラク事業 企業活動のインフラとなる業務を 効率化するクラウドサービス Fintech事業 ソフトウェアを駆使したアセットマネジ メント‧証券事業を合弁会社にて展開 AI‧LLM事業 社内のナレッジやノウハウをデータ ベース化するAIプラットフォーム AI SaaSドメイン AI DXドメイン
5. 1⼈⽬SREの始め⽅ Day1〜現在
6. © LayerX Inc. 6 1⼈⽬SREの始め⽅ チームに対して「徳」を積み、少しずつ信頼を得ることで「SREの営みと戦略」の浸透を⽬指した。 • チームを知る(Day1) : 事業部を知り、プロダクトを知り、理解する。 • チームに⼊る(Day10) :個⼈としてやれることから愚直にやっていく。 • チームとして動く(今) :個⼈からチームに主役を移し、チームを形成する。 1⼈⽬SREとしてやったこと - Day1から現在まで
7. © LayerX Inc. 7 1⼈⽬SREの始め⽅ ⼊社オンボーディング、事業部キックオフを通じてチームとプロダクトを理解しインプットした。 • Day1(⼊社⽇)はLayerXとしてのオンボーディング&マネージャーと1on1で終える。 • Day2はラッキーな事にAI‧LLM事業部の四半期キックオフがあり参加。 ◦ 昨年の選考、特にトライアル選考でコンテキストはある程度把握。 ◦ とはいえチームの皆さんと解像度が異なるのでひたすら仮説で意⾒をぶつける。 ◦ 周りのフィードバックを貰いながら解像度を上げた&⾃分を認知してもらう感じに。 • Day3以降はとにかくドキュメントとSlackを読み倒す。 • 同時にAi Workforceをローカル環境で動かしたりコードを読んだりetc… Day1: 「チームを知る」
8. © LayerX Inc. 8 1⼈⽬SREの始め⽅ 個⼈としてやれることから⼊った。⼿を動かし、⾛りながらチームに⼊って理解を深めた。 • ⾃分⾃⾝の仕事を作る（仕事を巻き取る） ◦ SlackやMTGの中で「SREやなこれは」と⾒かけたものに半ば強引に⼊った。 ◦ ⾔語化‧ドキュメント化されていないものは⾃分で聞きながら作る。 • SRE施策と戦略の⾔語化 ◦ SREとしての中⻑期ビジョン（3ヶ⽉半〜半年）を⾔語化。 ◦ SREとお客様プロジェクトのデリバリーを軸にする⽬標を⽴てる。 • 社内のSREとつながる「ギルド化」 ◦ SREロールな⼈たちとランチを企画、事業部外の⼈たちともつながる。 Day10: 「チームに⼊る」
9. © LayerX Inc. 9 1⼈⽬SREの始め⽅ shinyorke個⼈が主役ではなく「SREチーム」が主役になるように施策も戦略も動かすように。 • 主役は「SREチーム」。個⼈からチーム主体の動きに移⾏。 ◦ 巻き取った仕事を個⼈指名ではなくSlack Workflowでのプロセスに移⾏。 ◦ 2⼈⽬SREが⼊った時に引き継げるようにチーム化。 • 事業部全員の知恵と⼒を借りる。 ◦ オブザーバビリティを全員で考える。 • 採⽤採⽤アンド採⽤（2⼈⽬のSREが来るように）。 ◦ AI‧LLM事業部の社員SREはshinyorke⼀⼈（その他は業務委託&インターン）。 ◦ マネージャーの協⼒の元、採⽤‧技術広報発信を強化。 ◦ 2ヶ⽉でブログ2本、そして本イベントの開催。 現在: 「チームとして動く」
10. © LayerX Inc. 10 1⼈⽬SREの始め⽅ ⽣成AI（Gemini）でDesign Doc ひとまず雑に相談して元ネタを作った 事業部全員で議論&意⾒交換 ⽣成AIと私がわからない事をチームで補完 事業部（と⽣成AI）の知恵と⼒でオブザーバビリティを考える。
11. ⽣成AI時代のCloud NativeとSRE Cloud Nativeのきほん, SREのお気持ちそしてタスクの⾃動運転
12. © LayerX Inc. 12 ⽣成AI時代のCloud NativeとSRE アプリケーションおよびサービスをクラウドで最⼤限に活かすための設計思想(by ChatGPT 4o)。 【おさらい】Cloud Nativeとは?
13. © LayerX Inc. 13 ⽣成AI時代のCloud NativeとSRE Computing Resource（コスト含む）、セキュリティといった基本と⾃動運転が重要と認識。 • Computing Resourceへの配慮 • セキュリティはめちゃくちゃ重要 • インフラタスクの⾃動運転 ⽣成AI時代に配慮すべきCloud NativeとSRE
14. © LayerX Inc. 14 ⽣成AI時代のCloud NativeとSRE ⽣成AIサービスのRate LimitやToken消費（=使いすぎ）に対する考慮と対策が重要。 • 気をつけること ◦ ⽣成AIサービス（AI‧LLM事業部ではAzure Open AI）のResource利⽤状況。 ◦ Rate Limit上限（時間あたりのCall数）、全体的なToken消費状況に注意。 ◦ 放置すると最悪サービスが⽌まるリスク。 • やっていること（やろうとしていること） ◦ Rate Limitに引っかからないようなプロダクト施策‧アーキ変更。 ◦ オブザーバビリティ導⼊による監視‧観測 Computing Resourceへの配慮
15. © LayerX Inc. 15 ⽣成AI時代のCloud NativeとSRE SRE観点ではどのようにガードレールを引くか?が問われる。凡事徹底で基本を守る。 • 気をつけること ◦ 「最初権限の原則」を守る。「とりあえず強いやつ」はやめる。 ◦ 開発者に対する権限もだが、⽣成AIに対する権限も対象。 ◦ 強すぎるユーザーロール、何でもできるEntra IDダメゼッタイ。 • やっていること（これからやること） ◦ Cloud（主にAzure）の権限棚卸し。 ◦ 状況を⾒ていらない権限を外す。 ◦ terraformでの権限管理に移⾏（したい）。 セキュリティはめちゃくちゃ重要
16. © LayerX Inc. 16 ⽣成AI時代のCloud NativeとSRE Design Doc、Terraformコード。インフラタスクは⽣成AIに⾃動運転させる。 • “業務の⾃動運転”で「経済活動をデジタル化する」 ◦ AI‧LLM事業部が⽬指している世界観 ◦ SWEはDevinでの⾃動化が進んでいる（ブログ）、次はSRE • やっていること‧これからやること ◦ Design Docを⽣成AIに書かせて壁打ち ◦ ClineやDevinの⼒を借りてTerraformの実装を⾃動化 インフラタスクの⾃動運転
17. Terraformを⽣成AIにやらせる これから本気でやりたいこと（試していること）
18. © LayerX Inc. 18 Terraformを⽣成AIにやらせる ゼロベースでAzure環境を作るプロンプト 今から以下のterraformプロジェクトを作ってください。 ‧AzureのJapan East Regionにresource groupを作成。 ‧Applicationを配置するためのVNetを追加 ‧Storageを配置。シングルリージョン、スタンダートク ラスで定義。 ‧すべてのresourceのprefixは「uwa」で始める。 他に必要な情報があれば何なりと確認してください。 ⼀発で動くmain.tfが爆誕 ClineとGeminiでTerraformを書かせる（個⼈開発での実験） ※試した事の詳細: https://shinyorke.hatenablog.com/entry/genai-and-terraform
19. まとめ
20. © LayerX Inc. 20 AI‧LLM事業部のSREとタスクの⾃動運転 AI‧LLM事業部のメンバーとしてはSRE組織⽴ち上げ、様々な技術チャレンジとの戦いが最⾼に良き。 • 1⼈⽬SREの始め⽅ ◦ 最初は泥臭く。とにかく泥臭くやっていこう。 ◦ チームの組成と⽣成AIへの委譲をめざして個⼈からチーム化を進めましょう。 ◦ オブザーバビリティはSREがトップダウンで考えるんじゃなくてみんなで考える。 • ⽣成AI時代のCloud NativeとSRE ◦ Computing Resourceの戦略、セキュリティそしてインフラタスクの⾃動運転。 ◦ Design DocやTerraformはさっさと⽣成AIをバディにしよう。 ⽣成AI時代のSREとCloud Nativeは「伸び代」の塊。
21. © LayerX Inc. 21 AI‧LLM事業部のSREとタスクの⾃動運転 1⼈だと能動的に動けても遠くには⾏けません、私と共にしてくれる2⼈⽬待ってます！ • 【AI‧LLM】SREポジション ◦ https://open.talentio.com/r/1/c/layerx/pages/52751 ◦ ⼤絶賛募集中！ • カジュアル⾯談 ※shinyorkeが確実に出てきます ◦ https://jobs.layerx.co.jp/19ecdd370bae80f79339ff6eb5116b81 • 勿論この後の懇親タイムでも会話しましょう！ AI‧LLM事業部SRE2⼈⽬募集中。
22. ご清聴ありがとうございました。