Slide 1

Slide 1 text

石原祥太郎 (日本経済新聞社) 第 45 回 『事例でわかる MLOps 機械学習の成果をス ケールさせる処方箋』出版記念 MLOps 勉強会 2024 年 10 月 2 日 第 2 部 11 章「大規模言語モ デルの研究開発から実運用に 向けて」に向けて

Slide 2

Slide 2 text

● 著者は、日本経済新聞社の研究開発部署に所属 ● 日経電子版の記事で構築した大規模言語モデルを 題材に、応用事例や継続的な実運用に関する話題 を紹介 ● 事業会社における研究開発が実運用に繋がってい く一例として、参考になれば どんな章? 2

Slide 3

Slide 3 text

● 応用事例 (何が嬉しいの?) ○ 商用 API が充実している時代、独自モデルを 作るには相応の理由が必要 ● 継続的な実運用 (何が困るの?) ○ 独自モデルに関して発生し得る問題を把握・ 対策しておくのが大切 (特に日本語大規模言語 モデルでは、十分に明らかになっていない) 独自の機械学習モデルを作る 3

Slide 4

Slide 4 text

プロジェクト変遷と世界の研究動向 2019 2021 2023 日経電子版 BERT BERT Google の先駆的な取り組み 多様なモデルの開発 や検証、デモや論文 ChatGPT 一般への急速な認知拡大 BloombergGPT 金融情報特化モデル (50B) より大規模な開発や 商用 API の活用 第 0 期 第 1 期 第 2 期 4

Slide 5

Slide 5 text

● 経済情報特化の生成 AI、日経が開発 40 年分の 記事学習, 日経電子版, 2024 年 4 月 24 日 ● AI 編集支援ツール NIKKEI Tailor について 日経 イノベーション・ラボが Minutes 向けに開発, Minutes by NIKKEI, 2023 年11月 21 日 外部に発信している例 5

Slide 6

Slide 6 text

研究開発から実運用へ 6 ● 応用事例 (何が嬉しいの?) ○ 商用 API が充実している時代、独自モデルを 作るには相応の理由が必要 ● 継続的な実運用 (何が困るの?) ○ 独自モデルに関して発生し得る問題を把握・ 対策しておくのが大切 (特に日本語大規模言語 モデルでは、十分に明らかになっていない)

Slide 7

Slide 7 text

● 応用事例 (何が嬉しいの?) ○ GPT-3.5 Turbo など一般的なモデルと比べ、 編集者の文体を模倣した生成を実現した ● 継続的な実運用 (何が困るの?) ○ 幻覚 (ハルシネーション) の分析 ○ 時系列の性能劣化 ○ セキュリティ・著作権 実際に日経では何をしている? 7

Slide 8

Slide 8 text

査読付き論文の内容を平易に 8 ● 応用事例 (何が嬉しいの?) ○ GPT-3.5 Turbo など一般的なモデルと比べ、 編集者の文体を模倣した生成を実現 [1] ● 継続的な実運用 (何が困るの?) ○ 幻覚 (ハルシネーション) の分析 [1] ○ 時系列の性能劣化 [2] ○ セキュリティ・著作権 [3]

Slide 9

Slide 9 text

1. 石原ら. 日本語ニュース記事要約支援に向けたドメイン特化事前学 習済みモデルの構築と活用. 自然言語処理, 2024, 31巻, 4号. 2. 石原ら. Semantic Shift Stability: 学習コーパス内の単語の意味変 化を用いた事前学習済みモデルの時系列性能劣化の監査. 自然言語 処理, 2024, 31巻, 4号. 3. Ishihara et al. Quantifying Memorization and Detecting Training Data of Pre-trained Language Models using Japanese Newspaper. Proceedings of INGL 2024. [paper] 参考文献 9

Slide 10

Slide 10 text

● 日本経済新聞社の研究開発部署に所属 ● 日経電子版の記事で構築した大規模言語モデルを 題材に、応用事例や継続的な実運用に関する話題 を紹介 ● 事業会社における研究開発が実運用に繋がってい く一例として、参考になれば 改めて:どんな章? 10