実践！データセントリックなAIモデル開発

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

© 2023 FastLabel Inc. All Rights Reserved. ⾃⼰紹介 3 ⾵⾒亮（かざみりょう）慶應義塾⼤学卒業後、IT未経験ながら新卒で⼊社した会社の研修で⾏ったプログラミング課題が楽しくエンジニアの道へ。最近の趣味はダイエット。現在はエンジニアリングマネージャーとしてMLOps関連機能の開発を主導。ユーザーのテクニカルサポート部⾨（Customer Success Engineering）の責任者も務める。経歴株式会社ワークスアプリケーションズ（2015~2021）ウェブアプリケーションエンジニアとして⼤規模なERPシステムの会計・⽣産管理の開発を経験。システム要件定義・設計をはじめ、フロントエンド、バックエンド、インフラ等幅広く実装に携わる。 FastLabel株式会社（2021~）創業期にAI未経験からジョイン。混沌とした初期ステージを乗り切った。新規機能設計・実装に加え、顧客の既存モデルの精度改善案件など多くのAIプロジェクトを完遂。 Twitter (@FLKazami)

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

© 2023 FastLabel Inc. All Rights Reserved. データセントリックなAI開発 13 データセントリックなAI開発 ~FastLabelの場合~ 推論結果や評価指標をみながら傾向を把握、下記を実施し改善（具体的な数値は⾮公開） • ⼈によって判断がずれやすいものを統⼀するために定義書を再作成アノテーションの範囲やラベルがぶれないようにする • ⼈間がみても判断が曖昧なものは定義書を作成した上で除外 • ダウンサンプリング学習ラベル数が多く、他の推論結果に影響しているものは積極的にダウンサンプリング

Slide 14

Slide 14 text

© 2023 FastLabel Inc. All Rights Reserved. データセントリックなAI開発 14 まとめ ~データセントリックなAI開発のリアルなところ~ • データの質改善により、短期間での⼤幅な改善に成功 • データの特徴 • 特徴を捉えたアノテーションルールへ • データの質 • 質の悪いデータの定義とデータの除外 • データセントリックな開発について • データの分析を⾏い、AIの弱点を⾒つけピンポイントで直して⾏くプロセスを回していく • アルゴリズム改善での精度向上は困難な⼀⽅で、データ改善はAIエンジニア以外も⾏える

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

© 2023 FastLabel Inc. All Rights Reserved. MLOps構築 26 まとめ ~MLOpsのリアルなところ~ • なかなか運⽤まで踏み込んでまわすのは⼤変予算確保、中⻑期的な効果測定の難しさ考えるべきはシステムだけにとどまらない（組織、オペレーション、ITリテラシー…） • どう対応して⾏くべきか • ビジネス的な観点も⼤切にする • システム構築はゴールではない。関係者全員を巻き込んだコミュニケーションが必要になる • 最初から完璧を⽬指さない • 問題点があったら都度解決するくらいの気持ちで当たる • 全て⾃分で賄わない • 完全に内製は厳しい。便利なライブラリ・サービスは多数あるのでどんどん取り⼊れる

Slide 27

Slide 27 text

Slide 28

Slide 28 text