LLM Night 〜LLM Ops編〜ヘルスケアコンパウンドスタートアップにおける生成AI利活用事例 LLMOpsに向けた取り組みと、それらを支える全社データ基盤のご紹介

Slide 1

Slide 1 text

PharmaX社主催イベント LLM Night 〜LLM Ops編〜ヘルスケアコンパウンドスタートアップにおける⽣成AI利活⽤事例 LLMOpsに向けた取り組みと、それらを⽀える全社データ基盤のご紹介 2024年2⽉29⽇(⽊) 菅井友之(Tomoyuki SUGAI) 株式会社MICIN データエンジニア硴﨑裕晃(Hiroaki KAKIZAKI) 株式会社MICIN プロダクトマネージャー

Slide 2

Slide 2 text

© 2023 MICIN Inc. 2 Conﬁdential はじめにヘルスケアスタートアップのMICINは4つの事業と10個以上の本番プロダクトを展開するコンパウンドスタートアップです。これらのプロダクト群で効率的なデータ利活⽤を実現し、⽣成AIを⽤いたサービスをユーザーに提供するために全社データ基盤/ML基盤を構築しました。本LTではこれらのデータ基盤/ML基盤を構築したデータエンジニア、およびプロダクトマネージャーがその取り組み概要をご紹介させていただきます。

Slide 3

Slide 3 text

Slide 4

Slide 4 text

© 2023 MICIN Inc. 4 Conﬁdential 1. ⾃⼰紹介硴﨑裕晃（Hiroaki Kakizaki）リクルートグループのAI研究所Megagon Labs等を経て医療スタートアップのMICIN に参画。2023年4⽉に発表されたChatGPTを⽤いて⽇本の医師国家試験に合格した論⽂の共著者。2024年1⽉に公開された⽇本初となるヘルスケア業界向け⾃主基準「ヘルスケア⽣成AI活⽤ガイド」主執筆者。現在は保健医療分野における⽣成AI利活⽤事例に関する厚⽣労働科学特別研究事業の分担研究者も担当している。菅井友之（Tomoyuki SUGAI）ソフトウェアエンジニアとして教育系サービスの開発‧運⽤に従事した経験を⽣かし、 2019年からデータエンジニアにキャリアチェンジ。 2022年9⽉に株式会社MICINに⼊社。1⼈⽬のデータエンジニアとして全社データ基盤の構築と運⽤を推進している。

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

© 2023 MICIN Inc. 17 Conﬁdential 3. LLM Ops 実現に向けたプロジェクトの進め⽅ ● 背景 ○ 4つの事業、10個以上のプロダクトで効率的にデータ利活⽤がしたい！ ○ 各プロダクトにLLM機能を搭載したい！ ○ 医療業界特有の⾼い要件に対応したデータマネジメントを実現したい！ ● 課題 ○ データエンジニアやMLエンジニアのリソースは限られている。 ○ 数が増えた際の運⽤負荷を考えると個別対応は現実的ではない。 ○ 医療業界⽔準のデータ取り扱いには多⼤な追加コストがかかる。 ● ⽬的 ○ Data / ML基盤を整備することで、医療業界⽔準を満たした状態のデータマネジメントを実現し、全事業‧プロダクトに共通したLLM Ops環境を提供する。

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

© 2023 MICIN Inc. 23 Conﬁdential 3. LLM Ops 実現に向けたプロジェクトの進め⽅ Data Management LLM Ops Lv 0 何もない Lv 1 限定されたデータ基盤 Lv 2 対象が拡⼤したデータ基盤 Lv 4 Data /ML 基盤で LLM Opsが実現 Lv 3 データ基盤に ML基盤が実装 LLMを⽤いたサービスを⾮常に⾼速に検証‧⽴ち上げが可能。 3ヶ⽉で10個のデモプロダクトの検証が完了。

Slide 24

Slide 24 text

© 2023 MICIN Inc. 24 Conﬁdential 3. LLM Ops 実現に向けたプロジェクトの進め⽅ Data Management LLM Ops Lv 0 何もない Lv 1 限定されたデータ基盤 Lv 2 対象が拡⼤したデータ基盤 Lv 4 Data /ML 基盤で LLM Opsが実現 Lv 3 データ基盤に ML基盤が実装我々のチームが⽬指している状態 Lv 5 多数の本番サービスでLLM Ops が稼働

Slide 25

Slide 25 text

Slide 26

Slide 26 text

© 2023 MICIN Inc. 26 Conﬁdential 3. LLM Ops 実現に向けたプロジェクトの進め⽅（再掲） ● 背景 ○ 4つの事業、10個以上のプロダクトで効率的にデータ利活⽤がしたい！ ○ 各プロダクトにLLM機能を搭載したい！ ○ 医療業界特有の⾼い要件に対応したデータマネジメントを実現したい！ ● 課題 ○ データエンジニアやMLエンジニアのリソースは限られている。 ○ 数が増えた際の運⽤負荷を考えると個別対応は現実的ではない。 ○ 医療業界⽔準のデータ取り扱いには多⼤な追加コストがかかる。 ● ⽬的 ○ Data / ML基盤を整備することで、医療業界⽔準を満たした状態のデータマネジメントを実現し、全事業‧プロダクトに共通したLLM Ops環境を提供する。

Slide 27

Slide 27 text

© 2023 MICIN Inc. 27 Conﬁdential Data Platform Project / GCP 4. Data ＆ ML 基盤のご紹介 Product A Staging ML Platform Project / GCP AI Environment per user and project Product B Product C Intermediate … Component Mart 複数のプロダクト・サービス多様なデータソース dbt Cloud Run Vertex AI BigQuery BigQuery BigQuery BigQuery BigQuery federated queryでデータ参照 dbt with Cloud Run Jobs でパイプライン実装入り口と出口の部分をしっかり作って、中間のDWH部分は整備途中

Slide 28

Slide 28 text

© 2023 MICIN Inc. 28 Conﬁdential 4. Data ＆ ML 基盤のご紹介 ● 各技術選定のポイント ○ 個⼈情報保護法や当社プライバシーポリシーと適合するか ■ 必要に応じて個別にDPA契約 ○ 限られたリソースで求められた結果を提供する ■ Fivetranの導⼊選定 ■ データ抽出とマート作成の部分から作り込み、中間のモデリングは最低限 ○ 将来を⾒据えた打ち⼿ ■ dbtとGitHubでSQLを管理 ● dbtの各種エコシステムに乗ることでデータ品質に関わるアプローチやメタデータの管理にも対応できる

Slide 29

Slide 29 text

© 2023 MICIN Inc. 29 Conﬁdential 4. Data ＆ ML 基盤のご紹介 ● ML基盤 ○ MLエンジニアを護る ■ アクセス管理‧コスト管理‧リソース管理 ○ MLエンジニアをチームで強くする ■ 開発スタイルの標準化 ● Vertex AI Workbench をプロジェクト×ユーザーごとにサクッと建てて壊せるようにTerraformを整備 ○ プロジェクト×ユーザーのマトリックスでアクセス権やリソースを管理できる

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

© 2023 MICIN Inc. 32 Conﬁdential 5. おわりに ● 今後の課題 ○ データカタログやメタデータの充実 ■ 事業部のメンバーが⾃律的にメンテナンスに参加できる状態が理想 ○ ⾮構造データを⼤量にもっている事業のデータにTry ■ MICINはビデオ通話や処⽅箋画像などのデータもある ■ これらはプライバシー対応により気を遣うため、その⽅⾯でも調整中 ○ データ基盤の純粋進化 ■ データオブザーバビリティ、データ品質……etc.

Slide 33

Slide 33 text

Slide 34

Slide 34 text