GPTの解説：ミートアップ用

Transcript

1. ২ాɹେथ
   GPTʹ͍ͭͯ
   Generative Pretrained Transformer
   

   View Slide

2. ࠓ೔͸ɺϛʔτΞοϓͷίϯηϓτʹ߹͏Α͏ʹ
   
   Θ͔Γ΍͘͢఻͑Δ͜ͱΛ໨తʹ࡞͍ͬͯ·͢ɻ
   
   ͦͷͨΊɺ9ׂ͘Β͍ਖ਼͍͠ݴ͍ํͰɺ
   
   ͋Μ·Γ࿦จղઆͬΆ͘ͳ͘ͳ͍ͬͯ·͢ɻ
   

   View Slide

3. ࢲ
   ※AIҩྍػث೔ຊॳೝূ
   **2022 年 2 月改訂(第 4 版）
   *2021 年 5 月作成(第 3 版) 製造販売承認番号 30100BZX00142000
   プログラム 01 疾病診断用プログラム
   管理医療機器 MR 装置ワークステーション用プログラム JMDN 40940012
   医用画像解析ソフトウェア EIRL aneurysm
   【形状・構造及び原理等】
   **1. 概要
   本品は画像診断ワークステーションで使用されるプログ
   ラムで、画像診断装置から提供された画像情報をコンピ
   ュータ処理し、画像情報を提供する。
   本品はクラウドでの使用又は汎用 IT 機器等にインスト
   ールして使用し、ダウンロードで提供される。
   **2. 構成および動作環境
   本品はクラウドでの使用又は汎用 IT 機器等にインスト
   ールして使用するプログラムであり、ユーザインタフェ
   ース等を持たない。インストール先の推奨動作環境を以
   下に示す。
   <推奨動作環境>
   サーバ CPU 条件
   ・64bit モード対応プロセッサ
   ・2 コア構成、3GHz 以上
   サーバメモリ条件
   ・16GB 以上
   サーバ Disk 条件
   ・実容量は 10GB 以上で、運用に合わせて定めるこ
   と
   ・読み込み速度 100MB/秒 以上
   サーバネットワーク条件
   ・1000BASE-T 1 ポート（接続ケーブル含む）
   OS
   ・Linux ベース
   *安全性
   ・JIS T 0601-1、または JIS C 62368-1 適合
   *EMC
   ・JIS T 0601-1-2、または CISPR32/CISPR24 適合
   3. 機能
   <主たる機能>
   項目 機能
   脳動脈瘤検
   出支援機能
   頭部 MRA の画像情報から、動脈の
   瘤状の変形に類似した候補点を検出
   できる。
   外部装置と
   の入出力機
   能
   DICOM に準拠した MRI 画像が入力
   でき、解析結果を外部装置に出力で
   きる
   **4. 原理
   本品は、磁気共鳴画像診断装置または磁気共鳴画像診断
   装置で撮影された画像情報を保管している PACS 等サー
   バから頭部 MRA の画像データを受信し、頭部 MRA の
   画像情報より動脈の瘤状の変形に類似した候補点を検出
   し、処理結果を PACS 等サーバに戻す。
   画像等の情報通信は DICOM 規格に準拠している。
   *アルゴリズム解説
   本プログラムは頭部 MRA 画像が入力データとなる。画
   像モダリティは磁気共鳴画像診断装置である。
   はじめに頭部 MRA オリジナル画像から三次元画像を再
   構成、isovoxel にリサンプルし信号強度を標準化する。
   次に閾値に基づく方法で血管部分を抽出し、抽出された
   血管データから特徴点のデータを基にキーポイントを決
   定する。各キーポイントの周囲に 3D パッチを作成し 2
   つの CNN を使用して各キーポイントの脳動脈瘤との類
   似度を推定する。
   脳動脈瘤との類似度が高いキーポイントをクラスタ化
   し、各クラスタの中心を計算する。類似度の高い最初か
   ら n 個の候補点を出力する。検出結果は PACS 等サー
   バに送られる。
   本品の検出する結果については、以下のとおりである。
   （1） サイズ：2mm 以上の脳動脈瘤に類似した候補点
   を検出する。
   （2） 種類：嚢状の脳動脈瘤を対象としている。解離
   性・紡錘状の瘤や漏斗状拡張は対象外。
   （3） 候補点の表示数：脳動脈瘤に類似した候補点を表
   示する。候補点最大数の設定値は 4。
   本品は、主たる機能に加えて、以下の機能を有する。
   z DICOM Overlay 出力機能
   読影ビューワ上で元画像の上でアノテーションを
   ON/OFF できる。読影ビューワが DICOM GSPS
   に対応していない場合に、DICOM Overlay によ
   りアノテーションの ON/OFF を行う。
   z 二次的取得（DICOM Secondary Capture：
   DICOM SC）画像作成機能
   元画像とは別のシリーズでアノテーション付きの
   画像を作成する。
   z 最大値投影処理（Maximum Intensity
   Projection : MIP）機能
   読影ビューワ上でモダリティコンソールなどによ
   り作成された MIP 画像とは別に、本プログラムに
   より作成された MIP 画像上で解析結果を表示す
   る。
   【使用目的又は効果】
   本プログラムは、磁気共鳴画像診断装置から提供された
   頭部 MRA の画像情報をコンピュータ処理し、処理後の
   画像情報を診療のために提供する。磁気共鳴画像診断装
   置の頭部 MRA 画像用のコンピュータ検出支援
   （Computer Aided Detection：CAD）機能を有する。
   本プログラムの脳動脈瘤検出支援機能は、頭部 MRA の
   画像情報から動脈の瘤状の変形に類似した候補点を検出
   • ҩྍAI࿦จ
   
   ӳޠݪஶ ໿30ຊ (corresponding author)
   
   • ड৆
   
   ࠷༏ल࿦จ৆ɺThe Best of Radiology
   
   • ҩྍػثೝূ
   
   30100BZX00142000: MRA͔Β೴ಈ຺ᚅݕग़
   
   30200BZX00269000: ڳ෦Xp͔Βഏ؞ݕग़
   
   • ݚڀࢿۚ
   
   ྩ࿨2-3೥౓࣮੷: 2ԯ/2೥ (NEDO +α)
   

   View Slide

4. ໨࣍
   ͓୊ʂ
   ୈҰ෦: GPT֓࿦
   ୈೋ෦: GPT-4ͷΠϯύΫτ
   ·ͱΊ
   

   View Slide

5. ໨࣍
   ୈҰ෦: GPT֓࿦
   ୈೋ෦: GPT-4ͷΠϯύΫτ
   ·ͱΊ
   

   View Slide

6. GPTͷίϯηϓτ
   Generative Pretrained Transformer
   ڭࢣσʔλΛ࡞Βͣʹɺ͍ΖΜͳλεΫ͕Ͱ͖Δ͍͢͝AIͩΑ
   Pretrained Generative Transformer
   

   View Slide

7. GPTͷίϯηϓτ
   Generative Pretrained Transformer
   ࢲ͸ݘ͕޷͖ ࢲ͸( )͕޷͖
   ( )͸ݘ͕޷͖
   ࢲ͸ݘ͕( )
   

   View Slide

8. ChatGPTͰ͍ͯ͠Δ͜ͱ
   ϓϩϯϓτʹଓ࣍͘ͷ୯ޠ༧ଌΛ͍ͯ͠Δ͚ͩɻ
   Input: ࿦จͷॻ͖ํͷϙΠϯτΛڭ͑ͯԼ͍͞ɻ
   Output: ෼͔Γ·ͨ͠ɺɺɺɺ
   ಺෦: ࿦จͷॻ͖ํͷϙΠϯτΛڭ͑ͯԼ͍͞ɻ( )
   →( )ʹೖΔ୯ޠΛ༧૝͠ͳ͍͞ɻ
   

   View Slide

9. ࠓ·ͰͷGPT
   Transformer
   2018 2019 2020 2022 2023
   GPT1 GPT2 GPT3 GPT3.5 GPT4
   (ChatGPT)
   GPT1 GPT2 GPT3 GPT3.5 GPT4
   ύϥϝλ 1ԯ 15ԯ 1750ԯ ಉ͡ ෆ໌
   ֶशσʔλ 4.5GB 40GB 570GB ಉ͡ ෆ໌
   ಛ௃ Fine tuning͋Γ Fine tuningͳ͠ Fine tuningͳ͠ RLHF ෆ໌
   جຊํ਑͸εέʔϧΞοϓ
   ※Fine tuning: ඍௐ੔ͷͨΊͷֶश
   

   View Slide

10. ਓؒͷϑΟʔυόοΫ
    2022: Training language models to follow instructions with human feedback
    

    View Slide

11. ਓؒͷϑΟʔυόοΫ
    2022: Training language models to follow instructions with human feedback
    45&1ɿձ࿩จʹ͓͍ͯɺਓ͕ؒೖྗʹର͢Δద੾ͳग़ྗΛ
    ͍͔ͭ͘༻ҙͯ͠ɺͦΕΛ΋ͱʹ'JOFUVOJOHΛߦ͏ɻ
    45&1ɿ'JOFUVOJOHޙͷϞσϧʹͭͷೖྗʹର͢Δग़ྗΛ
    ͍͔ͭ͘ग़ͤͯ͞ग़ྗͷద੾͞Λਓ͕ؒϥϯΫ෇͚͢Δɻ
    45&1ɿ45&1ͷϥϯΫ෇͚σʔλΛ΋ͱʹϥϯΫ͕ߴ͍ํ
    ͕ධՁ͕ߴ͘ͳΔใुϞσϧΛ༻͍ͯɺֶशΛߦ͏ɻ
    ※Fine tuning: ඍௐ੔ͷͨΊͷֶश
    

    View Slide

12. ChatGPTΠϯλʔϑΣΠε
    

    View Slide

13. GPT4
    GPT1 GPT2 GPT3 GPT3.5 GPT4
    ύϥϝλ 1ԯ 15ԯ 1750ԯ ಉ͡ ෆ໌
    ֶशσʔλ 4.5GB 40GB 570GB ಉ͡ ෆ໌
    ಛ௃ Fine tuning͋Γ Fine tuningͳ͠ Fine tuningͳ͠ RLHF ෆ໌
    جຊํ਑͸εέʔϧΞοϓ
    ࠓ·ͰͷͲͷGPTΑΓ΋σΧ͍ɺਓؒͷϑΟʔυόοΫͷೖͬͨAI
    

    View Slide

14. View Slide

15. ໨࣍
    ୈҰ෦: GPT֓࿦
    ୈೋ෦: GPT-4ͷΠϯύΫτ
    ·ͱΊ
    

    View Slide

16. GPT4
    ༗໊ͳจॻ
    ᶃGPT-4 Technical Report
    OpenAIͷग़ͨ͠ɺGPT-4ͷςΫχΧϧϊʔτɻ΄ͱΜͲϞσ
    ϧͷઆ໌ͳͲ͸ͳ͍ɻ
    ᶄGPT-4 System Card
    OpenAIͷग़ͨ͠ɺGPT-4ͷ҆શରࡦʹ͍ͭͯɻ
    ᶅGPTs are GPTs
    Microsoftͷग़ͨ͠ɺGPTͷӨڹྗͷௐࠪɻ
    

    View Slide

17. GPT4
    ༗໊ͳจॻ
    ᶃGPT-4 Technical Report
    OpenAIͷग़ͨ͠ɺGPT-4ͷςΫχΧϧϊʔτɻ΄ͱΜͲϞσ
    ϧͷઆ໌ͳͲ͸ͳ͍ɻ
    ᶄGPT-4 System Card
    OpenAIͷग़ͨ͠ɺGPT-4ͷ҆શରࡦʹ͍ͭͯɻ
    ᶅGPTs are GPTs
    Microsoftͷग़ͨ͠ɺGPTͷӨڹྗͷௐࠪɻ
    

    View Slide

18. GPT-4 Technical Report
    ༷ʑͳςετͰͷੑೳධՁ
    

    View Slide

19. GPT-4 Technical Report
    ಘҙͱෆಘҙ
    

    View Slide

20. GPT-4 Technical Report
    ಘҙͱෆಘҙ
    

    View Slide

21. GPTs are GPTs
    GPTͷ࢓ࣄ΁ͷӨڹྗΛௐ΂ͨ࿦จ
    ɹΞϝϦΧͷ໿80%ͷ࿑ಇऀ͕GPTͷಋೖʹΑͬͯগͳ
    ͘ͱ΋λεΫͷ10%͕ӨڹΛ༩͑ɺ࿑ಇऀͷ໿19%͕ࣗ
    ਎ͷλεΫͷ50%ʹӨڹΛ༩͑Δ͜ͱΛࣔ͢ɻ
    
    ɹӨڹൣғ͸શͯͷ௞ۚϨϕϧʹٴͼɺߴऩೖͷ৬͕જ
    ࡏతʹΑΓߴ͍ӨڹΛड͚Δɻ
    

    View Slide

22. ࿐ग़౓ͷධՁج४ͱ৬ۀσʔλ
    ■ E0ɿ࿐ग़ͳ͠ɻLLM࢖༻ʹΑΔ࢓ࣄͷ࣌ؒ୹ॖ͕ͦΕ
    ΄Ͳͳ͍͔ɺٯʹLLMΛ࢖͏͜ͱͰ඼࣭͕௿Լ͢Δɻ
    
    ■ E1ɿ௚઀తͳ࿐ग़͋ΓɻLLM࢖༻ʹΑΓɺλεΫ׬ྃ
    ʹ͔͔Δ͕࣌ؒগͳ͘ͱ΋൒෼ʹ୹ॖ͞ΕΔ৔߹ɻ
    
    ■ E2ɿকདྷతͳ࿐ग़͋ΓɻLLM͚ͩͰ͸ͦΕ΄Ͳ࣌ؒ୹
    ॖ͸࣮ݱͰ͖ͳ͍͕ɺ௥Ճͷιϑτ΢ΣΞ։ൃʢLLMܕ
    ιϑτ΢ΣΞʣʹΑΓ൒෼ҎԼʹ࣌ؒ୹ॖ͕ՄೳʹͳΔ
    ৔߹ɻ
    GPTs are GPTs
    

    View Slide

23. ධՁऀ͸ɺਓؒͱGPT-4ͷ྆ํɻ
    GPTs are GPTs
    

    View Slide

24. GPTs are GPTs
    ࡾ্͕֯ݶɺؙ͕Լݶɻʴ͕தؒతɻ
    

    View Slide

25. GPTs are GPTs
    ࢀೖোนผӨڹ౓
    

    View Slide

26. GPTs are GPTs
    ࡾ্͕֯ݶɺؙ͕Լݶɻԫ৭͕Zone4Ͱ੺͕Zone5ɻ
    

    View Slide

27. GPTs are GPTs
    ਓؒ΋ɺϞσϧ΋ಉ͡Α͏ͳ݁Ռ
    ձܭ࢜ɺδϟʔφϦε
    τɺ਺ֶऀɺ຋༁ऀɺ
    ϨϏϡʔ࿦จ࡞੒ऀɺ
    ಈ෺Պֶऀɺ΢Σϒσ
    βΠφʔɺϒϩοΫ
    νΣʔϯΤϯδχΞɺϥ
    Πλʔɾ࡞ՈͳͲͳͲ
    

    View Slide

28. GPTs are GPTs
    εΩϧผӨڹ౓ɿεέʔϧ͸-1(Өڹখ)͔Β1(Өڹେ)ɻ
    

    View Slide

29. GPTs are GPTs
    ऩೖͱӨڹ౓ɿߴऩೖͰӨڹ͕େ͖͘ɺ௒ߴऩೖͰӨڹԼ͕Δɻ
    

    View Slide

30. GPTs are GPTs
    ChatGPTΛ౿·͑ͯࠓޙͲ͏͍͏εΩϧ͕ॏཁ͔ͷղੳɻ
    ■ ϓϩάϥϛϯά΍ϥΠςΟϯά͸LLM͔Β͔ͳΓ
    ͷӨڹΛड͚Δ
    ■ Պֶతͳ஌ࣝ΍ख๏Λ׆༻ͯ͠՝୊Λղܾ͢Δೳྗ
    ΍ɺϩδοΫ΍ਪ࿦Λ༻͍ͯ໰୊ͷղܾํ๏Λ୳Δ
    ೳྗ
    

    View Slide

31. ໨࣍
    ͓୊ʂ
    ୈҰ෦: GPT֓࿦
    ୈೋ෦: GPT-4ͷΠϯύΫτ
    ·ͱΊ
    

    View Slide

32. ·ͱΊ
    ■ ChatGPT͸ɺڭࢣσʔλΛ࡞Βͣʹ͍ΖΜͳλεΫ
    ͕Ͱ͖Δ͍͢͝AIɻ
    ■ ߴϨϕϧٕज़͕ඞཁͱͳΔྖҬ͕ChatGPT͕ಘҙɻ
    ■ ࠷ߴϨϕϧٕज़ͷ෼໺͸গ͠ෆಘҙɻ
    ■ Ϗδωεతʹ͸ɺߴϨϕϧͷٕज़Λ୅ସ͢ΔΑ͏ͳ
    αʔϏε͕Αͦ͞͏ɻ
    

    View Slide

33. ͓·͚
    

    View Slide

34. ChatGPT͕޷͖ͳਓɺ΋ͬͱٕज़ΑΓͷ࿩͍ͨ͠ਓɺֶ
    ज़తͳ಺༰Λฉ͖͍ͨਓͳͲɺͥͻ஻Γ·͠ΐ͏ɻ
    Mail: ai.labo.ocu@gmail.com
    PodCast: ҩྍAIݚڀձ
    Twitter: @DaijuUeda
    

    View Slide