MLOps の現場から - Speaker Deck

Slide 1

Slide 1 text

MLOps の現場から Asei Sugiyama

Slide 2

Slide 2 text

自己紹介杉山阿聖 (@K_Ryuichirou) Software Engineer @ Citadel AI Google Cloud Innovators Champion @ Cloud AI/ML MLSE 機械学習オペレーション WG mlops community 運営機械学習図鑑事例でわかる MLOps 共著決闘者 @ マスターデュエル

Slide 3

Slide 3 text

TOC MLOps とは <- MLOps の技術・プロセス・文化 LLMOps MLOps の今後

Slide 4

Slide 4 text

MLOps とは MLOps の登場 MLOps に至るまで TPS DevOps MLOps 組織における活用

Slide 5

Slide 5 text

MLOps の登場 (1/2) Google の開催したイベント Cloud Next 2018 で有名になった概念 MLOps は "DevOps for ML" として導入されている

Slide 6

Slide 6 text

MLOps の登場 (2/2) 機械学習パイプラインによる自動化はトピックのひとつ品質や組織論などを含む、広範な概念

Slide 7

Slide 7 text

MLOps に至るまで MLOps は DevOps (SRE) に源流がある DevOps はリーンやアジャイルに源流があるそれらの源流は TPS (トヨタ生産方式) アジャイルとDevOpsの品質保証と信頼性 - Test Automation 図2, 図3 https://kokotatata.hatenablog.com/entry/2020/06/01/163652

Slide 8

Slide 8 text

TPS (トヨタ生産方式) TPS とは TPS の目的理想のチームカイゼン問題解決

Slide 9

Slide 9 text

TPS とはムダの徹底的排除の思想と、つくり方の合理性を追い求め、生産全般をその思想で貫き、システム化した生産方式自働化ジャスト・イン・タイムトヨタ生産方式 | 経営理念 | 企業情報 | トヨタ自動車株式会社公式企業サイト https://global.toyota/jp/company/vision-and-philosophy/production- system/

Slide 10

Slide 10 text

TPS の目的 TPS は効率化と捉えられがち「誰かの仕事を楽にしたい」トヨタ春交渉2021 #3　「トヨタ生産方式」「カーボンニュートラル」「SDGs」一人ひとりに何ができるか｜トヨタイムズ - YouTube https://youtu.be/ze0hUCMS-aI

Slide 11

Slide 11 text

理想のチームトヨタ鞍ヶ池記念館ラジオラマ(4)『G1 型トラックの故障修理活動』昭和１１年(１９３６)４月春爛漫の昼下がり職務を超えて全員でお客様のためにできることをやっている図 FAIRLADY Z fan : トヨタ鞍ヶ池記念館に行きました。 http://blog.livedoor.jp/fairlady3233/archives/1934986.html

Slide 12

Slide 12 text

カイゼン「もっといいクルマをつくろうよ」「1 にユーザー、2 にディーラー、3 にメーカー」売れる車と言わなかったトヨタ企業サイト｜トヨタ自動車75年史｜第3部第5章第2節｜第1項激動す https://www.toyota.co.jp/jpn/company/history/75years/text/leaping_forward_a

Slide 13

Slide 13 text

問題解決 PDCA サイクルを回すためのフレームワークデータの収集と KPI の設定を行い、対策前後での比較で効果測定を行うデータサイエンスのフレームワークに等価第5回:新作研修「問題解決研修基礎編～8ステップと考え方～」は「風土改革」・「人財育成」に直結する！ | 社員・企業研修のトヨタエンタプライズ https://kensyu.toyota-ep.co.jp/column/4880/

Slide 14

Slide 14 text

DevOps Dev vs Ops (2000 年代) Dev Ops 自動化継続的改善

Slide 15

Slide 15 text

Dev vs Ops (2000 年代) クラウドサービスが生まれ始めた時代 (Amazon S3 は 2006 年) Dev: 顧客に新しい価値を早く提供したい、多少不安定になるかもしれないが運用が頑張れば良い Ops: 顧客に安定的に価値を提供したい、新機能の追加で不安定になることは受け入れられない 10+ Deploys Per Day: Dev and Ops Cooperation at Flickr - Slideshare https://www.slideshare.net/jallspaw/10-deploys-per-day-dev-and-ops-cooperation-at-flickr

Slide 16

Slide 16 text

Dev Ops Dev vs Ops から Dev & Ops に移行しようという提案 (2008) 「顧客に価値をすばやく安定的に提供しよう」という提案この提案に基づくのが DevOps DevOps: Dev と Ops の協調 10+ Deploys Per Day: Dev and Ops Cooperation at Flickr - Slideshare https://www.slideshare.net/jallspaw/10-deploys-per-day-dev-and-ops-cooperation-at-flickr

Slide 17

Slide 17 text

自動化: IaC (Infrastructure as Code) インフラをコードで管理アプリケーションだけではなく、インフラもコードと設定ファイルでバージョン管理される自動化が進む結果、ほぼすべてがコードと設定ファイルに Using Recommendations for Infrastructure as Code https://cloud.google.com/recommender/docs/tutorial-iac

Slide 18

Slide 18 text

自動化: CI/CD CI (Continuous Integration) コードをリポジトリに頻繁にコミットする手法 CD (Continuous Deployment) 自動化によりサービスを更新しデプロイする手法 GitHub Actions を使った継続的デプロイについて - GitHub Docs https://docs.github.com/ja/actions/about-github-actions/about-continuous- deployment-with-github-actions Google Cloud 上での DevOps と CI / CD について | Google Cloud 公式ブログ https://cloud.google.com/blog/ja/topics/developers-practitioners/devops- and-cicd-google-cloud-explained?hl=ja

Slide 19

Slide 19 text

継続的な改善フィードバックサイクルによる改善単一のチームで開発と運用を行う Explore Continuous Improvement - Training | Microsoft Learn https://learn.microsoft.com/en- us/training/modules/characterize-devops- continous-collaboration-improvement/3-explore- continuous-improvement

Slide 20

Slide 20 text

MLOps 機械学習システムの開発における課題 MLOps CT (継続的学習)

Slide 21

Slide 21 text

機械学習システムの開発における課題前処理が難しいモデルの更新などの運用が煩雑機械学習チームの悲劇西田佳史, 遠藤侑介, 有賀康顕著「n 月刊ラムダノート Vol.1, No.1(2019)」ラムダノート株式会社 2019年 https://eiyo21.com/book/9784789554596/

Slide 22

Slide 22 text

機械学習チームの悲劇機械学習専門のチームが誕生機械学習モデルを作成し、PoC で成果を確認モデルをプロダクトに組み込むためのタスクが作成されるモデルをプロダクトに組み込む作業の見積もりが大きくなる典型的な機能開発のほうが小さな見積もりになり、優先度が上がるプロダクトに組み込まれないため機械学習専門のチームの成果が出ない投資対象を見直すことになりチーム解散

Slide 23

Slide 23 text

MLOps 機械学習の成果をスケールさせるためのさまざまな取り組みそもそも AI は育てるもの (というお題目で PoC を乗り切った方々も多いはず) AI を育てる活動 (Waymo など)

Slide 24

Slide 24 text

CT (継続的な訓練) MLOps における継続的な改善の実装モデルを継続的に訓練して改善 MLOps: Continuous delivery and automation pipelines in machine learning | Cloud Architecture Center | Google Cloud https://cloud.google.com/architecture/mlops- continuous-delivery-and-automation-pipelines-in- machine-learning

Slide 25

Slide 25 text

組織における活用: Amazon Flywheel Amazon の成長を支える経営戦略サービスにおけるリコメンドの重要性も同時に示している 5 Lakh Amazon sellers... and counting | Seller Blog https://sell.amazon.in/mr/seller-blog/5-lakh-amazon-sellers-and-counting? mons_sel_locale=mr_IN

Slide 26

Slide 26 text

How Google does machine learning 各フェーズを掘り下げる (How Google Does Machine Learning 日本語版) - Coursera https://coursera.org/share/faf9215a37a5a12c0e3653225f7020d6

Slide 27

Slide 27 text

機械学習までのステップ 1. 小さく始める 2. 標準化 3. システム化 4. データ分析 5. 機械学習機械学習とビジネスプロセス (How Google Does Machine Learning 日本語版) - Coursera https://www.coursera.org/learn/google-machine-learning- jp/lecture/G8qKf/ji-jie-xue-xi-tobizinesu-purosesu

Slide 28

Slide 28 text

Amazon も最初からうまくはいかなかった Ron Kohavi, Diane Tang, Ya Xu 著大杉　直也訳「A/Bテスト実践ガイド真のデータドリブンへ至る信用できる実験とは」 KADOKAWA 2021年 https://www.kspub.co.jp/book/detail/5369562.html

Slide 29

Slide 29 text

まとめ MLOps は機械学習の成果をスケールさせるためのさまざまな取り組み MLOps は DevOps を ML に拡張したものであり、源流は TPS TPS は仕事を楽にすることが重要であり、データに基づいて PDCA サイクルを回すことでカイゼンを実施している DevOps はすばやい開発とフィードバックによる継続的な改善が重要であり、そのために CI/CD パイプラインを構築し自動化している MLOps はフィードバックループを継続的な訓練により実現しており、そのために機械学習パイプラインを構築し自動化している

Slide 30

Slide 30 text

TOC MLOps とは MLOps の技術・プロセス・文化 <- LLMOps MLOps の今後

Slide 31

Slide 31 text

MLOps の技術・プロセス・文化 Your system is your system 事例でわかる MLOps 技術プロセス文化まとめ

Slide 32

Slide 32 text

Your System is Your System 機械学習の活用や生じる課題の背景はさまざまに異なる具体的なベストプラクティスはそのまま自組織には適用できない Google のシニアエンジニア曰く「ベストプラクティスを俺に聞くな、お前のシステムのことはお前のほうがよく知っている」一般的な原則 + 理解するための事例が重要

Slide 33

Slide 33 text

事例でわかる MLOps 技術・プロセス・文化活用フェーズごとに整理杉山阿聖, 太田満久, 久井裕貴編著「事例でわかるMLOps 機械学習の成果をスケールさせる処方箋」講談社 2024年 https://www.kspub.co.jp/book/detail/5369562.html

Slide 34

Slide 34 text

技術機械学習パイプライン推論システム技術選定実行環境とアクセラレーターモニタリングデータの品質管理コードの品質管理

Slide 35

Slide 35 text

機械学習パイプライン Akshay Naresh Modi and Chiu Yuen Koo and Chuan Yu Foo and Clemens Mewald and Denis M. Baylor and Eric Breck and Heng-Tze Cheng and Jarek Wilkiewicz and Levent Koc and Lukasz Lew and Martin A. Zinkevich and Martin Wicke and Mustafa Ispir and Neoklis Polyzotis and Noah Fiedel and Salem Elie Haykal and Steven Whang and Sudip Roy and Sukriti Ramesh and Vihan Jain and Xin Zhang and Zakaria Haque TFX: A TensorFlow-Based Production- Scale Machine Learning Platform, KDD 2017 (2017) https://research.google/pubs/tfx-a-tensorflow-based-production-scale-machine-learning-platform/

Slide 36

Slide 36 text

推論システム訓練済みの機械学習モデルを用いて推論する訓練時とは異なり、一般的に高い可用性が必要バッチ推論が第一選択リアルタイム推論は技術的な難易度が高くなる杉山阿聖, 太田満久, 久井裕貴編著「事例でわかるMLOps 機械学習の成果をスケールさせる処方箋」講談社 2024年 https://www.kspub.co.jp/book/detail/5369562.html

Slide 37

Slide 37 text

事例. DeNA バッチ推論 (図 4.3) リアルタイム推論 (図 4.5) 技術的には上のほうが実現しやすいリアルタイム推論のほうが実現できる価値が高いことがわかった場合に実装を選択杉山阿聖, 太田満久, 久井裕貴編著「事例でわかるMLOps 機械学習の成果をスケールさせる処方箋」講談社 2024年 https://www.kspub.co.jp/book/detail/5369562.html

Slide 38

Slide 38 text

事例. CAM マネージド・サービスで機械学習基盤を構築した例メンバー 2 名杉山阿聖, 太田満久, 久井裕貴編著「事例でわかるMLOps 機械学習の成果をスケールさせる処方箋」講談社 2024年 https://www.kspub.co.jp/book/detail/5369562.html

Slide 39

Slide 39 text

技術選定アーキテクチャの選択は重大な決断さまざまな観点で検討 GPU などのハードウェア利用する技術に対する経験の深さ (組織内・外) 実現すべき価値杉山阿聖, 太田満久, 久井裕貴編著「事例でわかるMLOps 機械学習の成果をスケールさせる処方箋」講談社 2024年 https://www.kspub.co.jp/book/detail/5369562.html

Slide 40

Slide 40 text

実行環境とアクセラレーター機械学習モデルによっては訓練・推論時に GPU などのアクセラレーターが必要利用すると、スループットやレイテンシーを大きく改善できる可能性がある利用のために追加で必要になるプロセスには注意杉山阿聖, 太田満久, 久井裕貴編著「事例でわかるMLOps 機械学習の成果をスケールさせる処方箋」講談社 2024年 https://www.kspub.co.jp/book/detail/5369562.html

Slide 41

Slide 41 text

事例. チャットボット大規模な訓練・推論環境低いレイテンシーの実現短期間での開発推論に Inferentia を採用し、規模と低いレイテンシーを実現それ以外は慣れた技術を用いて短期間で開発杉山阿聖, 太田満久, 久井裕貴編著「事例でわかるMLOps 機械学習の成果をスケールさせる処方箋」講談社 2024年 https://www.kspub.co.jp/book/detail/5369562.html

Slide 42

Slide 42 text

モニタリングエラーが発生しないまま振る舞いが異常になるケースがある連絡ミスのような単純な原因がほとんど杉山阿聖, 太田満久, 久井裕貴編著「事例でわかるMLOps 機械学習の成果をスケールさせる処方箋」講談社 2024年 https://www.kspub.co.jp/book/detail/5369562.html Daniel Papasian and Todd Underwood, How ML Breaks: A Decade of Outages for One Large ML Pipeline, USENIX Association 2020 https://www.usenix.org/conference/opml20/presentation/papasian

Slide 43

Slide 43 text

データの品質管理バイアスはデータの収集過程においても生じる与信審査では融資した人だけを対象としてはダメアノテーションは高度に専門的な作業で労力がかかる杉山阿聖, 太田満久, 久井裕貴編著「事例でわかるMLOps 機械学習の成果をスケールさせる処方箋」講談社 2024年 https://www.kspub.co.jp/book/detail/5369562.html Too Good to Be True: Bots and Bad Data From Mechanical Turk - Margaret A. Webb, June P. Tangney, 2022 https://journals.sagepub.com/doi/10.1177/17456916221120027

Slide 44

Slide 44 text

事例. GO 株式会社 DRIVE CHART におけるデータの品質管理の取り組みエッジデバイスで生じる大量のデータから、レアなイベントのデータをピックアップクラウドへの通信量を抑える取り組みも杉山阿聖, 太田満久, 久井裕貴編著「事例でわかるMLOps 機械学習の成果をスケールさせる処方箋」講談社 2024年 https://www.kspub.co.jp/book/detail/5369562.html

Slide 45

Slide 45 text

コードの品質管理異なるロールのメンバーが単一のコードベースで協業するのは困難ノートブックの利用、環境構築の再現性、暗黙的なノウハウで課題が発生ロールごと別環境もアリ杉山阿聖, 太田満久, 久井裕貴編著「事例でわかるMLOps 機械学習の成果をスケールさせる処方箋」講談社 2024年 https://www.kspub.co.jp/book/detail/5369562.html たった3人で運用するドコモを支える機械学習基盤の作り方ー Kubernates × Airflow × DataRobot を使ったMLOpsパイプラインー - ENGINEERING BLOG ドコモ開発者ブログ https://nttdocomo-developers.jp/entry/202212191200_2

Slide 46

Slide 46 text

プロセス導入フローと PoC 素早い実験を繰り返す多様な利害関係者との協業ビジネスの意思決定に役立つモニタリング

Slide 47

Slide 47 text

導入フローと PoC 機械学習プロジェクトは不確実性への対応が重要目標を明確にし、小規模な取り組みから慎重に規模を大きくしていく求められる品質が徐々に上がることにも注意 Barry W. Boehm, Software Engineering Economics, Prentice Hall, 1981 杉山阿聖, 太田満久, 久井裕貴編著「事例でわかるMLOps 機械学習の成果をスケールさせる処方箋」講談社 2024年 https://www.kspub.co.jp/book/detail/5369562.html

Slide 48

Slide 48 text

事例. AWS ML Enablement Workshop データサイエンスの活用機会を創出するためのワークショップ短期間で成果を確認するための方法論 GitHub で公開されている GitHub - aws-samples/aws-ml-enablement-workshop: 組織横断的にチームを組成し、機械学習による成長サイクルを実現する計画を立てるワークショップ https://github.com/aws-samples/aws-ml-enablement-workshop

Slide 49

Slide 49 text

素早い実験を繰り返す市場や顧客のニーズは変わり続ける常に実験を行い成果の確認が必要実験をデザインし、正しく効果測定を行う実験しやすい環境を整備杉山阿聖, 太田満久, 久井裕貴編著「事例でわかるMLOps 機械学習の成果をスケールさせる処方箋」講談社 2024年 https://www.kspub.co.jp/book/detail/5369562.html

Slide 50

Slide 50 text

多様な利害関係者との協業機械学習システムの利害関係者は多岐にわたるチーム内だけではなく、経営層や PdM、法務・知財関係者などと適切なコミュニケーションが必要期待値コントロールの失敗など、落とし穴もある杉山阿聖, 太田満久, 久井裕貴編著「事例でわかるMLOps 機械学習の成果をスケールさせる処方箋」講談社 2024年 https://www.kspub.co.jp/book/detail/5369562.html

Slide 51

Slide 51 text

ビジネスの意思決定に役立つモニタリング一般に、入力されるデータや期待される出力が時間とともに変わるモデルの精度の推移の監視が必要精度向上が KPI を向上させるかの確認も必要杉山阿聖, 太田満久, 久井裕貴編著「事例でわかるMLOps 機械学習の成果をスケールさせる処方箋」講談社 2024年 https://www.kspub.co.jp/book/detail/5369562.html

Slide 52

Slide 52 text

事例. コネヒト株式会社 ML Test Score を用いて機械学習システムのアセスメントを行った例実験環境を整備しダッシュボードを作成 2 回評価を行い、改善箇所の検討と改善効果の可視化を行っている杉山阿聖, 太田満久, 久井裕貴編著「事例でわかるMLOps 機械学習の成果をスケールさせる処方箋」講談社 2024年 https://www.kspub.co.jp/book/detail/5369562.html

Slide 53

Slide 53 text

文化成果を出しやすい組織と出しにくい組織がある成果を出しやすくなる要因は不明規模や設立からの期間、業種は支配的ではないイノベーションへの投資、学習する文化は重要杉山阿聖, 太田満久, 久井裕貴編著「事例でわかるMLOps 機械学習の成果をスケールさせる処方箋」講談社 2024年 https://www.kspub.co.jp/book/detail/5369562.html

Slide 54

Slide 54 text

事例. 日本経済新聞社日経イノベーションラボという研究開発部署作業負荷の軽減や新たな顧客体験の創出のため将来的な課題を見据えて、新技術に関する課題を整理し、先んじて検証組織的な LLM 活用を後押し杉山阿聖, 太田満久, 久井裕貴編著「事例でわかるMLOps 機械学習の成果をスケールさせる処方箋」講談社 2024年 https://www.kspub.co.jp/book/detail/5369562.html

Slide 55

Slide 55 text

事例. サントリー生成 AI を社内で活用している事例実践により活用のための知見を得ていった従来型の機械学習プロジェクトも数多く推進データの品質向上が精度向上につながった杉山阿聖, 太田満久, 久井裕貴編著「事例でわかるMLOps 機械学習の成果をスケールさせる処方箋」講談社 2024年 https://www.kspub.co.jp/book/detail/5369562.html

Slide 56

Slide 56 text

事例でわかる MLOps: はじめにもしあなたが自分の経験に自信がないにもかかわらず機械学習システムに関わらなければいけなくなったのなら、たとえばシステム開発に詳しくないのに開発に携わらなければいけないデータサイエンティストであったり、機械学習に詳しくないソフトウェアエンジニアであったりするのなら、あなたは本書が想定する読者の一人です。杉山阿聖, 太田満久, 久井裕貴編著「事例でわかるMLOps 機械学習の成果をスケールさせる処方箋」講談社 2024 年 https://www.kspub.co.jp/book/detail/5369562.html

Slide 57

Slide 57 text

まとめ機械学習システムの置かれた状況は組織ごとに大きく異なり、 MLOps のそれぞれの原則を理解して適用する必要がある MLOps の取り組みを技術・プロセス・文化で整理した技術面はある程度パターンが見えてきたものの、レイテンシーなどの要件で技術的な複雑さが大きく変わる点に注意が必要プロセスにおいては複雑性に対する取り組みが重要、小さく始めて徐々に進めること、幅広い利害関係者との協業が必要なことに注意文化面は無視できないものの、企業の規模や業種は無関係、学習する文化は大事

Slide 58

Slide 58 text

TOC MLOps とは MLOps の技術・プロセス・文化 LLMOps <- MLOps の今後

Slide 59

Slide 59 text

LLMOps 既存の LLMOps 既存の LLMOps の問題点市場調査 LLM の活用における課題 Eval-Centric AI LLMOps の取り組み

Slide 60

Slide 60 text

既存の LLMOps LLM の出現時に LLMOps というドキュメントが出現した既存の MLOps のプラクティスを LLM に適用するもの LLMOps: What it is and how it works | Google Cloud https://cloud.google.com/discover/what-is-llmops?hl=en

Slide 61

Slide 61 text

既存の LLMOps の問題点 MLOps は CT (継続的な訓練) を中心とした継続的な改善 LLM の活用においては CT を前提とできないため、フィードバックループを構成できていない解決したい課題を明確にしないままに MLOps をベースに定義してしまった

Slide 62

Slide 62 text

市場調査 LLM を活用しているエンジニアにインタビュー (自由形式) 似たような課題・対策を行っていることが見えてきた LLM の活用における課題を再考し、LLMOps を再定義したい

Slide 63

Slide 63 text

LLM の活用における課題システムの正しい振る舞いを、誰も明確に記述できない品質評価の観点を事前に列挙することは困難で、出力から事後的に得られることが大半機械学習による言語パフォーマンスの評価 - Speaker Deck https://speakerdeck.com/langstat/ji-jie-xue-xi-niyoruyan-yu- pahuomansunoping-jia

Slide 64

Slide 64 text

Who Validates the Validators? Aligning LLM-Assisted Evaluation of LLM Outputs with Human Preferences Criteria Drift LLM の出力に対する評価基準が、評価を進めるにつれてユーザー自身によって変化または洗練されていく [2404.12272] Who Validates the Validators? Aligning LLM-Assisted Evaluation of LLM Outputs with Human Preferences https://arxiv.org/abs/2404.12272

Slide 65

Slide 65 text

Eval-Centric AI

Slide 66

Slide 66 text

LLMOps の取り組み Eval-Centric を前提とした LLM の活用のための取り組みを収集技術・プロセス・文化の観点で整理

Slide 67

Slide 67 text

LLMOps の取り組み: 技術プロンプトエンジニアリング LLM-as-a-Judge 継続的な評価 RAG オズの魔法使いパターンユーザーテストトレースガードレールプロンプトのバージョン管理

Slide 68

Slide 68 text

プロンプトエンジニアリング入力文章を調整して、言語モデルを効率的に使おうとする手法群指示文を人が見たときにわかりやすくなるよう、明確に記述することが基本 Gemini の記事が参考になる CoT (Chain of Thought) などのテクニックもある Gemini から欲しい回答を引き出すプロンプト術｜Gemini - Google の AI https://note.com/google_gemini/n/n60a9c426694e

Slide 69

Slide 69 text

LLM-as-a-Judge プロンプトを用いて LLM に出力の良さを評価させる手法新たな評価観点が得られた場合、その評価観点に基づく評価方法の手順書を書くと、その観点に基づく評価が LLM で可能 LLMによるLLMの評価「LLM-as-a-Judge」入門〜基礎から運用まで徹底解説 https://zenn.dev/pharmax/articles/2d07bf0498e212

Slide 70

Slide 70 text

LLM-as-a-Judge のためのプロンプトの例新 NISA に関する問い合わせへの回答評価デモカットオフを考慮し、それ以降の制度との差分を記述検出したい適切ではない回答の例を記述

Slide 71

Slide 71 text

継続的な評価による継続的な改善

Slide 72

Slide 72 text

RAG (Retrieval-Augmented Generation) 検索と LLM を組み合わせることで、言語モデルの持たない外部知識を利用可能にする最新知識や専門知識を後付で与える Gekhman, Zorik, et al. "Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?." arXiv preprint arXiv:2405.05904 (2024). https://arxiv.org/abs/2405.05904

Slide 73

Slide 73 text

Notebook LM & Gemini 検索と生成の分離参照すべきドキュメント全体を入力可能な、とても長いコンテキストウィンドウ Gemini 1.5 のロングコンテキストを活かして AI を育てるアプローチ〜 RAG の限界を軽やかに突破するために https://zenn.dev/google_cloud_jp/articles/598d52341cc56f

Slide 74

Slide 74 text

No content

Slide 75

Slide 75 text

オズの魔法使いパターン (1/2) 人間がシステムの代替を行い、実装する前に評価・検証する方法ククリさまとは？｜SpiralAI https://kukuri-sama.com/about

Slide 76

Slide 76 text

オズの魔法使いパターン (2/2) LLM においては、データがない場合に作成する方法のひとつククリさまとは？｜SpiralAI https://kukuri-sama.com/about

Slide 77

Slide 77 text

ユーザーテスト VUI (Voice User Interface) のような対話に基づくアプリケーションではユーザーテストが有名 LLM が対話を行う場合、ユーザーテストは非常に有効 Cathy Pearl 著川本大功監訳高橋信夫訳デザイニング・ボイスユーザーインターフェース ― 音声で対話するサービスのためのデザイン原則オライリージャパン 2018 年

Slide 78

Slide 78 text

トレース RAG や Agent は検索や LLM を組み合わせて使うため、望ましくない結果が得られたときにその原因追及が困難最終結果を生成するまでの途中で何が起きているのかを記録し、分析できるようにする LangSmith や Langfuse は Trace のための機能を実装している LangSmithによるLLMアプリケーションのトレーシング入門 https://zenn.dev/pharmax/articles/61edc477e4de17

Slide 79

Slide 79 text

ガードレール望ましくない入出力が含まれていることを検知する技術クラウドサービスでは標準的についている Amazon Bedrock ではこれだけを利用することも可能 https://x.com/mayahjp/status/1855920416361201678

Slide 80

Slide 80 text

プロンプトのバージョン管理と CI プロンプトは長くなりがち (1,000 行程度にもなる) プロンプトはデグレしがちバージョン管理とともに継続的な評価を行い、デグレしていないか、改善しているか評価

Slide 81

Slide 81 text

LLMOps の取り組み: プロセス・文化事例共有会計測学習する文化セキュリティ Red Teaming AI ガバナンス

Slide 82

Slide 82 text

事例共有会新しい技術は導入しただけでは広まらない事例共有を行い、有効な事例を展開するのが効果的杉山阿聖, 太田満久, 久井裕貴編著「事例でわかるMLOps 機械学習の成果をスケールさせる処方箋」講談社 2024年 https://www.kspub.co.jp/book/detail/5369562.html

Slide 83

Slide 83 text

計測効果測定はかなり大変コールセンターのように計測できることもあるコード生成のように何を KPI とするのか設計が大変な例も ChatGPTを活用した対話要約機能の実証実験 | Suntory Wellness TechBlog https://wellness- tech.suntory.co.jp/posts/conversation_summarize_feasibility_study/

Slide 84

Slide 84 text

学習する文化新しい技術であり、革新の早い技術なので、専門的な知識を習得してから活用するのは困難利用を通じて技術について知識を得ていくほうが現実的「やってみなはれ」杉山阿聖, 太田満久, 久井裕貴編著「事例でわかるMLOps 機械学習の成果をスケールさせる処方箋」講談社 2024年 https://www.kspub.co.jp/book/detail/5369562.html

Slide 85

Slide 85 text

セキュリティ OWASP や公的な機関から LLM に関するセキュリティについてのドキュメントが公開されている単に利用する場合はかなり考慮事項が減る OWASP Dramatically Expands GenAI Security Guidance with Guides for Handling DeepFakes, Building an Ai Security Center of Excellence, and a Gen AI Security Solutions Guide. - OWASP Top 10 for LLM & Generative AI Security https://genai.owasp.org/2024/10/28/owasp-dramatically-expands- genai-security-guidance-with-guides-for-handling-deepfakes-building-an- ai-security-center-of-excellence-and-a-gen-ai-security-solutions-guide/

Slide 86

Slide 86 text

Red Teaming MLOps では「信頼できる人にシステムを攻撃してもらえ」と言われていたプラクティス複数の機関から Red Teaming のためのドキュメントが公開されている AIセーフティに関するレッドチーミング手法ガイドの公開 - AISI Japan https://aisi.go.jp/effort/effort_information/240925/

Slide 87

Slide 87 text

AI ガバナンスステークホルダーに適切な情報を適切に提供するための体制づくり複数の機関からドキュメントが公開されているものの、詳細は未定義利用を限定的に認めてから詳細を検討する組織のほうが活用が進んでいる (私見) 【AIガバナンス実装WG】「AIガバナンスの実装状況に関するワーキングペーパー」を公表 | AI Governance Association https://www.ai-governance.jp/blog/implement-wp-240807

Slide 88

Slide 88 text

まとめ LLM を実際に活用している現場では共通の課題・解決策が独立に発見されており、初期に定義してしまった LLMOps を見直す段階に来ている LLM の活用においては Eval-Centric (評価中心) の方法論が必要応用上は評価が困難であり、継続的な評価を通じて必要な品質評価の観点を徐々に明確化するのが現実的

Slide 89

Slide 89 text

TOC MLOps とは MLOps の技術・プロセス・文化 LLMOps MLOps の今後 <-

Slide 90

Slide 90 text

MLOps として取り組むべき課題機械学習・AI の分野は進歩が早いため最新の状況への追従が必要次の 4 つは早急に対応が必要 1. 教育 2. 生成モデル 3. 法制度・標準への対応 4. 研究者・開発者・利用者の断絶

Slide 91

Slide 91 text

教育 MLOps は複雑化した結果、新規に取り組むには難しくなりすぎたすでにあるプロダクトや OSS の存在を知らず、再開発を行う事例が出てきた書籍やコミュニティが役立つことを期待杉山阿聖, 太田満久, 久井裕貴編著「事例でわかるMLOps 機械学習の成果をスケールさせる処方箋」講談社 2024年 https://www.kspub.co.jp/book/detail/5369562.html

Slide 92

Slide 92 text

生成モデル生成 AI の活用におけるボトルネックは評価 LLM の活用のためのノウハウは現状をまとめた音声・動画・マルチモーダルは未対応 Learn how to build and scale Generative AI solutions with GenOps | Google Cloud Blog https://cloud.google.com/blog/products/ai-machine- learning/learn-how-to-build-and-scale-generative-ai-solutions-with- genops?hl=en

Slide 93

Slide 93 text

Gemini 2.0: マルチモーダルな生成AI The next chapter of the Gemini era for developers - Google Developers Blog https://developers.googleblog.com/en/the-next-chapter-of-the-gemini-era-for-developers/

Slide 94

Slide 94 text

法制度・標準への対応緊急かつ重大な課題 2024 年 8 月に AI Act が EU で交付 AI セーフティに関する評価観点ガイド (AI セーフティ・インスティテュート) は LLM システムの開発フェーズを定義 MLOps の仮定するフェーズと一致しない場合、既存のノウハウが使えなくなる個人的に AIQMI (産総研主催) の団体に参加したものの、参加者がまだまだ不足

Slide 95

Slide 95 text

AI セーフティに関する評価観点ガイド（第 1.01 版）図 1 AIセーフティに関する評価観点ガイドの公開 - AISI Japan https://aisi.go.jp/2024/09/18/evaluation_perspectives/

Slide 96

Slide 96 text

研究者・開発者・エンドユーザーの断絶イラストを中心として、開発者とエンドユーザーの間には深刻な断絶が発生しており、解消する見込みがない新聞社や報道機関との断絶もすさまじい各種ガイドライン (AIGA, AISI, AIQM, AI 事業者ガイドライン) は公的機関や大企業の研究者、コンサルティングファームが主導しており、開発現場の課題や取り組みを知らない開発者主導のコミュニティと、そのような組織との交流が必要

Slide 97

Slide 97 text

日本におけるガイドラインの現状右は AIQM 第4版から引用ガイドラインが既存の MLOps などの経験知と一致するかは未確認 (AISI, AIGA などの団体も同様) 認証制度についての議論が進行中求められる品質や指標については具体化せずにそのままチェックリストとして運用され始めた機械学習品質マネジメントガイドライン - 成果公開 | デジタルアーキテクチャ研究センター | 産総研 https://www.digiarc.aist.go.jp/publication/aiqm/guideline-rev4.html

Slide 98

Slide 98 text

まとめ MLOps は機械学習の成果をスケールさせるためのさまざまな取り組み MLOps ではフィードバックループによる継続的な改善が最重要 MLOps の全体像について、技術・プロセス・文化でそれぞれの取組を整理 LLMOps では継続的な評価によるフィードバックループを構築可能 MLOps の分野における課題は教育、LLM への対応、法制度・標準への対応に加え、断絶を乗り越えるための取り組みが必要