- 1 - - 1 - Hugging FaceでAI推論をさくっとやろうぜ 2023/08/31 Takahiro Esaki

- 2 - - 2 - 講師紹介 【経歴】 n東京⼤学 ⽂学部 ⼼理学専修課程 卒業 • 専⾨︓⾼次認知（記憶・学習・⾏動 など） n業務/ITコンサルティング • 基幹システム運⽤保守業務改⾰ • 基幹システム刷新PMO • サプライチェーン最適化/需要予測最適化 • データ分析システム刷新PM/アーキテクチャ設計 など n新規事業開発・アジャイル開発・ローコード開発 • クラウドソーシングプラットフォームサービス • アパレルプラットフォームサービス • 海外クリエーター向けe-Learningサービス など nCSM (カスタマーサクセスマネージャー) @IBM Japan※ • AI & Cloudソリューションの活⽤促進 • コミュニティ活動・アドボケート活動 など ※本講演・本資料は IBM Japan, Ltd. を代表するものではございません 江﨑 崇浩 （Takahiro Esaki） Twitter @t_esaking LinkedIn CSMをご紹介する記事を執筆しましたので、ぜひご確認ください︕ https://www.imagazine.co.jp/customer-success-manager/

- 3 - - 3 - 本⽇の⽬的 n ゴール • Transformersライブラリを使ってLLM(⼤規模⾔語モデル)によるAI推論を気軽に実施できるようになる • AI推論をするために押さえておいた⽅が良い最低限のキーワードや概念を知る n 注意 • 本⽇の内容に関係する機械学習/AIのトピックはざっくりと解説しますが、網羅的かつ詳細には説明はしません • あくまで、Hugging Faceを使って、AIの推論を体験してもらうことが⽬的の勉強会になっています n 対象者 • AIや⾃然⾔語処理の初学者 • LLMやGPUなどのAIに関するキーワードを何となくは知っている⼈ • AIの学習や推論をあまり体験/体感することができていない⼈ n 宣伝 • 9/14(⽊)の勉強会でAI推論だけでなくAI学習(ファインチューニング)の内容も取り扱う予定なので、ご興味あればぜ ひ参加してください︕ • 【初⼼者向け】まだ間に合う︕HuggingFace⼊⾨-TransformersでAI推論&学習 ü https://studyco.connpass.com/event/294971/

- 4 - - 4 - 本⽇の内容 n Hugging Faceで公開されているモデルを使ってAI推論を体験します AI学習︓既存モデルをカスタマイズする︕(Fine-tuning) 公開されているモデル CPU OS (w/GPUドライバー) GPU AI学習⽤のコード/ライブラリ Python, PyTorch, CUDA など 学習⽤ データ AI推論︓まずはモデルを使ってみる︕ 公開されているモデル CPU OS (w/GPUドライバー) GPU AI推論⽤のコード/ライブラリ Python, PyTorch, CUDA など 本⽇のスコープ

- 5 - - 5 - Hugging Faceとは︖ n Wikipediaによると… • ⼀⾔で⾔うと、「機械学習の⺠主化を⽬的としたプラットフォームを提供する会社」 n Hugging Faceの技術・サービス • Diffusers ライブラリ ü Diffusers ライブラリは、画像や⾳声の拡散モデルを扱うためのオープンソースな Python パッケージである。Stable Diffusion を始めとした画像⽣成モデルの学習や推論の実装も含まれる • Transformers ライブラリ ü Transformers ライブラリは、⽂章、画像、⾳声でのタスクを⾏う Transformer のオープンソースな Python パッケージである。 PyTorch、TensorFlow、JAX ライブラリと互換性があり、BERT や GPT モデルのような著名なモデルの実装も含まれる • Hugging Face Hub ü Hugging Face Hub は、ユーザーが事前学習済みモデルやデータセット、機械学習プロジェクトのデモなどを共有できるプラット フォームである。プロジェクトに関する Discussions や Pull Requests、コードの共有やコラボレーションなど GitHub にインス パイアされた機能が存在する。また、Gradio や Streamlit、Docker を利⽤した Web ベースでの機械学習アプリケーションのデ モを公開できるホスティングサービス Hugging Face Spaces を提供している 参考︓https://ja.wikipedia.org/wiki/Hugging_Face 本⽇取り扱う範囲

- 6 - - 6 - Transformersを使ったAI推論の実⾏ n ⼤きく2つのやり⽅ 1. pipeline() メソッドの利⽤︓めっちゃお⼿軽︕ 1. Transformersをインポート ※Hugging Faceが提供するPythonライブラリ 2. pipeline(タスク, モデル, トークナイザー)でオブジェクト化し、プロンプトやメタデータを渡して実⾏する 参考︓ https://huggingface.co/docs/transformers/v4.32.1/en/quicktour#pipeline 2. TokeniserとModelの利⽤︓細かいことできる︕ 1. Transformersをインポート 2. Tokenizer︓⼊⼒⽂章（プロンプトを渡す）→数値に変換 3. Model︓上記の結果とメタデータを渡して推論結果を数値で出⼒ 4. Tokenizer︓出⼒数値→⽂章に変換 n LLMにおける「タスク」 1. 分類、QA、翻訳、⽂書⽣成、要約など ※Hugging Faceでモデル検索するときもタスクで絞り込んだりします 本⽇取り扱う範囲

- 7 - - 7 - デモ n AI推論をするデモの流れは次のとおり AI推論環境を準備する （今回はGoogle Colab） Hugging Face Hub で公開されているモデルを探す Transformersを使った AI推論のコードを実⾏する 本⽇はこちらの公開モデルを使います https://huggingface.co/Mizuiro-sakura/luke- japanese-large-sentiment-analysis-wrime ※注意︓使う前にライセンスを確認しましょう︕

- 8 - - 8 - 本⽇の内容（再掲） n Hugging Faceで公開されているモデルを使ってAI推論を体験します AI学習︓既存モデルをカスタマイズする︕(Fine-tuning) 公開されているモデル CPU OS (w/GPUドライバー) GPU AI学習⽤のコード/ライブラリ Python, PyTorch, CUDA など 学習⽤ データ AI推論︓まずはモデルを使ってみる︕ 公開されているモデル CPU OS (w/GPUドライバー) GPU AI推論⽤のコード/ライブラリ Python, PyTorch, CUDA など 本⽇のスコープ Hugging Faceぜひ触ってみてください︕ 次回の勉強会でももう少し詳しく取り扱います︕︕

- 9 - - 9 - 宣伝 名称︓ IBM TechXchange Conference Japan 技術者集まれ︕ テクノロジーに出会える2⽇間 対象︓ 技術者の皆様 ⽇時︓ 2023年10⽉31⽇（⽕）- 11⽉1⽇（⽔） 会場︓ベルサール東京⽇本橋 東京都中央区⽇本橋２-７-１ 東京⽇本橋タワーB2・4F・5F ベルサール東京⽇本橋 アクセス 受講料︓無料（事前登録制） 詳細・申込︓https://ibm.biz/techxchangejp 紹介社員の欄には 「江﨑 崇浩」と ⼊⼒お願いします