Hugging FaceでAI推論をさくっとやろうぜ

次のオンラインイベントの投影資料です。
https://studyco.connpass.com/event/292513/

Transcript

1. - 1 -
   - 1 -
   Hugging FaceでAI推論をさくっとやろうぜ
   2023/08/31
   Takahiro Esaki
   

   View Slide

2. - 2 -
   - 2 -
   講師紹介
   【経歴】
   n東京⼤学 ⽂学部 ⼼理学専修課程 卒業
   • 専⾨︓⾼次認知（記憶・学習・⾏動 など）
   n業務/ITコンサルティング
   • 基幹システム運⽤保守業務改⾰
   • 基幹システム刷新PMO
   • サプライチェーン最適化/需要予測最適化
   • データ分析システム刷新PM/アーキテクチャ設計 など
   n新規事業開発・アジャイル開発・ローコード開発
   • クラウドソーシングプラットフォームサービス
   • アパレルプラットフォームサービス
   • 海外クリエーター向けe-Learningサービス など
   nCSM (カスタマーサクセスマネージャー) @IBM Japan※
   • AI & Cloudソリューションの活⽤促進
   • コミュニティ活動・アドボケート活動 など
   ※本講演・本資料は IBM Japan, Ltd. を代表するものではございません
   江﨑 崇浩
   （Takahiro Esaki）
   Twitter
   @t_esaking
   LinkedIn
   CSMをご紹介する記事を執筆しましたので、ぜひご確認ください︕
   https://www.imagazine.co.jp/customer-success-manager/
   

   View Slide

3. - 3 -
   - 3 -
   本⽇の⽬的
   n ゴール
   • Transformersライブラリを使ってLLM(⼤規模⾔語モデル)によるAI推論を気軽に実施できるようになる
   • AI推論をするために押さえておいた⽅が良い最低限のキーワードや概念を知る
   n 注意
   • 本⽇の内容に関係する機械学習/AIのトピックはざっくりと解説しますが、網羅的かつ詳細には説明はしません
   • あくまで、Hugging Faceを使って、AIの推論を体験してもらうことが⽬的の勉強会になっています
   n 対象者
   • AIや⾃然⾔語処理の初学者
   • LLMやGPUなどのAIに関するキーワードを何となくは知っている⼈
   • AIの学習や推論をあまり体験/体感することができていない⼈
   n 宣伝
   • 9/14(⽊)の勉強会でAI推論だけでなくAI学習(ファインチューニング)の内容も取り扱う予定なので、ご興味あればぜ
   ひ参加してください︕
   • 【初⼼者向け】まだ間に合う︕HuggingFace⼊⾨-TransformersでAI推論&学習
   ü https://studyco.connpass.com/event/294971/
   

   View Slide

4. - 4 -
   - 4 -
   本⽇の内容
   n Hugging Faceで公開されているモデルを使ってAI推論を体験します
   AI学習︓既存モデルをカスタマイズする︕(Fine-tuning)
   公開されているモデル
   CPU
   OS (w/GPUドライバー)
   GPU
   AI学習⽤のコード/ライブラリ
   Python, PyTorch, CUDA など
   学習⽤
   データ
   AI推論︓まずはモデルを使ってみる︕
   公開されているモデル
   CPU
   OS (w/GPUドライバー)
   GPU
   AI推論⽤のコード/ライブラリ
   Python, PyTorch, CUDA など
   本⽇のスコープ
   

   View Slide

5. - 5 -
   - 5 -
   Hugging Faceとは︖
   n Wikipediaによると…
   • ⼀⾔で⾔うと、「機械学習の⺠主化を⽬的としたプラットフォームを提供する会社」
   n Hugging Faceの技術・サービス
   • Diffusers ライブラリ
   ü Diffusers ライブラリは、画像や⾳声の拡散モデルを扱うためのオープンソースな Python パッケージである。Stable Diffusion
   を始めとした画像⽣成モデルの学習や推論の実装も含まれる
   • Transformers ライブラリ
   ü Transformers ライブラリは、⽂章、画像、⾳声でのタスクを⾏う Transformer のオープンソースな Python パッケージである。
   PyTorch、TensorFlow、JAX ライブラリと互換性があり、BERT や GPT モデルのような著名なモデルの実装も含まれる
   • Hugging Face Hub
   ü Hugging Face Hub は、ユーザーが事前学習済みモデルやデータセット、機械学習プロジェクトのデモなどを共有できるプラット
   フォームである。プロジェクトに関する Discussions や Pull Requests、コードの共有やコラボレーションなど GitHub にインス
   パイアされた機能が存在する。また、Gradio や Streamlit、Docker を利⽤した Web ベースでの機械学習アプリケーションのデ
   モを公開できるホスティングサービス Hugging Face Spaces を提供している
   参考︓https://ja.wikipedia.org/wiki/Hugging_Face
   本⽇取り扱う範囲
   

   View Slide

6. - 6 -
   - 6 -
   Transformersを使ったAI推論の実⾏
   n ⼤きく2つのやり⽅
   1. pipeline() メソッドの利⽤︓めっちゃお⼿軽︕
   1. Transformersをインポート ※Hugging Faceが提供するPythonライブラリ
   2. pipeline(タスク, モデル, トークナイザー)でオブジェクト化し、プロンプトやメタデータを渡して実⾏する
   参考︓ https://huggingface.co/docs/transformers/v4.32.1/en/quicktour#pipeline
   2. TokeniserとModelの利⽤︓細かいことできる︕
   1. Transformersをインポート
   2. Tokenizer︓⼊⼒⽂章（プロンプトを渡す）→数値に変換
   3. Model︓上記の結果とメタデータを渡して推論結果を数値で出⼒
   4. Tokenizer︓出⼒数値→⽂章に変換
   n LLMにおける「タスク」
   1. 分類、QA、翻訳、⽂書⽣成、要約など
   ※Hugging Faceでモデル検索するときもタスクで絞り込んだりします
   本⽇取り扱う範囲
   

   View Slide

7. - 7 -
   - 7 -
   デモ
   n AI推論をするデモの流れは次のとおり
   AI推論環境を準備する
   （今回はGoogle Colab）
   Hugging Face Hub
   で公開されているモデルを探す
   Transformersを使った
   AI推論のコードを実⾏する
   本⽇はこちらの公開モデルを使います
   https://huggingface.co/Mizuiro-sakura/luke-
   japanese-large-sentiment-analysis-wrime
   ※注意︓使う前にライセンスを確認しましょう︕
   

   View Slide

8. - 8 -
   - 8 -
   本⽇の内容（再掲）
   n Hugging Faceで公開されているモデルを使ってAI推論を体験します
   AI学習︓既存モデルをカスタマイズする︕(Fine-tuning)
   公開されているモデル
   CPU
   OS (w/GPUドライバー)
   GPU
   AI学習⽤のコード/ライブラリ
   Python, PyTorch, CUDA など
   学習⽤
   データ
   AI推論︓まずはモデルを使ってみる︕
   公開されているモデル
   CPU
   OS (w/GPUドライバー)
   GPU
   AI推論⽤のコード/ライブラリ
   Python, PyTorch, CUDA など
   本⽇のスコープ
   Hugging Faceぜひ触ってみてください︕
   次回の勉強会でももう少し詳しく取り扱います︕︕
   

   View Slide

9. - 9 -
   - 9 -
   宣伝
   名称︓ IBM TechXchange Conference Japan 技術者集まれ︕ テクノロジーに出会える2⽇間
   対象︓ 技術者の皆様
   ⽇時︓ 2023年10⽉31⽇（⽕）- 11⽉1⽇（⽔）
   会場︓ベルサール東京⽇本橋
   東京都中央区⽇本橋２-７-１ 東京⽇本橋タワーB2・4F・5F ベルサール東京⽇本橋 アクセス
   受講料︓無料（事前登録制）
   詳細・申込︓https://ibm.biz/techxchangejp
   紹介社員の欄には
   「江﨑 崇浩」と
   ⼊⼒お願いします
   

   View Slide