$30 off During Our Annual Pro Sale. View Details »

ChatGPTがエンジニアに与える影響2 / how ChatGPT affect for engineers2

ChatGPTがエンジニアに与える影響2 / how ChatGPT affect for engineers2

4/22のプレゼンテーションの資料です

Naoki Kishida

April 22, 2023
Tweet

More Decks by Naoki Kishida

Other Decks in Programming

Transcript

  1. 04/22/2023 1
    ChatGPTが
    エンジニアに与える影響
    LINE Fukuoka きしだ なおき
    2023/4/22 ITエンジニアのためのライトニングトーク

    View Slide

  2. 04/22/2023 2
    ChatGPTとは

    OpenAIが開発したチャットAI

    GPT4、GPT3.5ベース

    2021年9月までのほぼすべてのWebテキストで学習

    GPT4はかなり性能が高い

    入力の続きの単語を生成

    繰り返すことで返答の文章を生成する
    ※ generated by Stable Diffusion

    View Slide

  3. GPT

    GPT = Generative Pre-trained Transformer

    Transformerが大切

    Transformer

    アテンションに基づくエンコーダー&デコー
    ダー

    「アテンション」は文章のどこに注目するかを
    決める仕組み

    View Slide

  4. Java song!

    View Slide

  5. 微調整(Fine Tune)

    View Slide

  6. ツールの使い方

    View Slide

  7. コード生成

    View Slide

  8. Webアクセスするコード

    View Slide

  9. Javaに変換

    View Slide

  10. コードの修正

    View Slide

  11. コードの実行

    View Slide

  12. 実際の実行結果

    View Slide

  13. OpenAI API

    ChatGPTの機能をプログラムから利用可能

    Chat API

    テキストに対してテキストを返す

    Embedding API

    テキストの特徴をあらわす1500次元のベクトルを得る

    View Slide


  14. 1. ブログのエントリをEmbeddingでベクトルをとって保存
    2. 質問からベクトルを得て近いベクトルのエントリを検索
    3. 得られたエントリから質問の回答を生成

    View Slide

  15. ChatGPTを信じてはいけない

    「もっともありそうな続き」を生成しているだけ

    それでコードが生成できていることは驚きだけど、論理的に考えている
    わけではない

    ChatGPTはそれが正しいかどうか気にしていない

    流れるようにウソをつく

    View Slide

  16. もっと賢くなるんでは?

    学習データの限界

    いまのAIは学習データの量で性能の上限がきまる

    ほぼすべてのWebテキストを使っているので、これ以上の学習データ
    がない

    計算機の限界

    GPT4を学習させた計算機クラスタより大きいものを作るのは困難

    いまでも運用に1億円/日かかっている

    ウソが混ざりがちという性質は変わらない

    View Slide

  17. まとめ

    アイデアを得るのに強力なツールになる

    とりかかりになるコードの生成に強い

    GitHubのCode Copilotを使うと定型コードに時間をとられなくな


    VS CodeにGPTを組み込む

    2つの条件が組み合わさると難しくなる

    実際のコードは複数の条件を満たすので人間が書く必要がある

    セキュリティなどコンテキストをもった正しいコードは人間が注
    意して確認する必要がある

    View Slide