MLSE 機械学習オペレーション WG & LangCheck Citadel AI Asei Sugiyama

自己紹介 杉山 阿聖 (@K_Ryuichirou) Software Engineer @ Citadel AI Google Cloud Innovators Champion @ Cloud AI/ML MLSE 機械学習オペレーション WG 機械学習図鑑 共著

主旨 お世話になった方々にこの場を借りてお礼を申し上げます

TOC MLSE 機械学習オペレーション WG のお礼 LangCheck の開発に関してのお礼

MLSE 機械学習オペレー ション WG のお礼 WG での活動内容 ワークショップの結果 お礼 MLSE https://sites.google.com/view/sig-mlse

WG での活動内容 ワークショップによる機械学習 の事例収集 事例をまとめた書籍の執筆

ワークショップの結果 (2022年度夏から抜粋)

ご参加いただきありがとうございました

LangCheck の開発に関 してのお礼 LangCheck のご紹介 Tutorial のご紹介 中国語対応 お礼

LangCheck のご紹介 LangCheckは、多様なLLMテス トツールを網羅的にパッケージ 化して備えています。 統一化されたインターフェース で、簡便にLLM Appの検証を行 い、品質を改善したり、運用時 の異常をモニタリングすること に役立てていただくことができ ます。 Citadel AI、大規模言語モデルの信頼性向上ツールLangCheckをOSSで公開 - Citadel AI https://www.citadel.co.jp/news/2023/10/12/announcing-langcheck/

Tutorial 英語と日本語の両方でチュートリアルを実行できます from langcheck.metrics.ja import sentiment # LLM を使って生成したテキストを入力する generated_outputs = [ ' お役に立てて嬉しいです。', ' 質問に回答します。', ' よくわかりません。自分で調べなさい。' ] # テキストに含まれる感情表現を分析する( 閾値に基づくテストも可能) sentiment(generated_outputs) > 0.5 langcheck/README ja.md at main · citadel-ai/langcheck https://github.com/citadel-ai/langcheck/blob/main/README_ja.md

中国語対応 Chinese Language Support for langcheck by Vela-zz · Pull Request #54 · citadel-ai/langcheck https://github.com/citadel-ai/langcheck/pull/54 CN support reference free by Vela-zz · Pull Request #61 · citadel-ai/langcheck https://github.com/citadel-ai/langcheck/pull/61

ご参加いただきありがとうございました

今後の予定 MLSE 機械学習オペレーション WG MLSE で冬合宿を企画中 (2024-02-29 - 2024-03-02) LangCheck ドイツ語対応が進行中

これからもよろしくお願いいたします