ChatGPTがエンジニアに与える影響2 / how ChatGPT affect for engineers2

4/22のプレゼンテーションの資料です

Transcript

1. 04/22/2023 1
   ChatGPTが
   エンジニアに与える影響
   LINE Fukuoka きしだ なおき
   2023/4/22 ITエンジニアのためのライトニングトーク
   

   View Slide

2. 04/22/2023 2
   ChatGPTとは
   ●
   OpenAIが開発したチャットAI
   ●
   GPT4、GPT3.5ベース
   ●
   2021年９月までのほぼすべてのWebテキストで学習
   ●
   GPT4はかなり性能が高い
   ●
   入力の続きの単語を生成
   ●
   繰り返すことで返答の文章を生成する
   ※ generated by Stable Diffusion
   

   View Slide

3. GPT
   ●
   GPT = Generative Pre-trained Transformer
   ●
   Transformerが大切
   ●
   Transformer
   ●
   アテンションに基づくエンコーダー&デコー
   ダー
   ●
   「アテンション」は文章のどこに注目するかを
   決める仕組み
   

   View Slide

4. Java song!
   

   View Slide

5. 微調整(Fine Tune)
   

   View Slide

6. ツールの使い方
   

   View Slide

7. コード生成
   

   View Slide

8. Webアクセスするコード
   

   View Slide

9. Javaに変換
   

   View Slide

10. コードの修正
    

    View Slide

11. コードの実行
    

    View Slide

12. 実際の実行結果
    

    View Slide

13. OpenAI API
    ●
    ChatGPTの機能をプログラムから利用可能
    ●
    Chat API
    ●
    テキストに対してテキストを返す
    ●
    Embedding API
    ●
    テキストの特徴をあらわす1500次元のベクトルを得る
    

    View Slide

14. 例
    1. ブログのエントリをEmbeddingでベクトルをとって保存
    2. 質問からベクトルを得て近いベクトルのエントリを検索
    3. 得られたエントリから質問の回答を生成
    

    View Slide

15. ChatGPTを信じてはいけない
    ●
    「もっともありそうな続き」を生成しているだけ
    ●
    それでコードが生成できていることは驚きだけど、論理的に考えている
    わけではない
    ●
    ChatGPTはそれが正しいかどうか気にしていない
    ●
    流れるようにウソをつく
    

    View Slide

16. もっと賢くなるんでは？
    ●
    学習データの限界
    ●
    いまのAIは学習データの量で性能の上限がきまる
    ●
    ほぼすべてのWebテキストを使っているので、これ以上の学習データ
    がない
    ●
    計算機の限界
    ●
    GPT4を学習させた計算機クラスタより大きいものを作るのは困難
    ●
    いまでも運用に1億円/日かかっている
    ●
    ウソが混ざりがちという性質は変わらない
    

    View Slide

17. まとめ
    ●
    アイデアを得るのに強力なツールになる
    ●
    とりかかりになるコードの生成に強い
    ●
    GitHubのCode Copilotを使うと定型コードに時間をとられなくな
    る
    ●
    VS CodeにGPTを組み込む
    ●
    ２つの条件が組み合わさると難しくなる
    ●
    実際のコードは複数の条件を満たすので人間が書く必要がある
    ●
    セキュリティなどコンテキストをもった正しいコードは人間が注
    意して確認する必要がある
    

    View Slide