ChatGPTがエンジニアに与える影響2 / how ChatGPT affect for engineers2

4/22のプレゼンテーションの資料です

Transcript

1. 04/22/2023 1 ChatGPTが エンジニアに与える影響 LINE Fukuoka きしだ なおき 2023/4/22 ITエンジニアのためのライトニングトーク
2. 04/22/2023 2 ChatGPTとは • OpenAIが開発したチャットAI • GPT4、GPT3.5ベース • 2021年９月までのほぼすべてのWebテキストで学習 • GPT4はかなり性能が高い • 入力の続きの単語を生成 • 繰り返すことで返答の文章を生成する ※ generated by Stable Diffusion
3. GPT • GPT = Generative Pre-trained Transformer • Transformerが大切 • Transformer • アテンションに基づくエンコーダー&デコー ダー • 「アテンション」は文章のどこに注目するかを 決める仕組み
4. Java song!
5. 微調整(Fine Tune)
6. ツールの使い方
7. コード生成
8. Webアクセスするコード
9. Javaに変換
10. コードの修正
11. コードの実行
12. 実際の実行結果
13. OpenAI API • ChatGPTの機能をプログラムから利用可能 • Chat API • テキストに対してテキストを返す • Embedding API • テキストの特徴をあらわす1500次元のベクトルを得る
14. 例 1. ブログのエントリをEmbeddingでベクトルをとって保存 2. 質問からベクトルを得て近いベクトルのエントリを検索 3. 得られたエントリから質問の回答を生成
15. ChatGPTを信じてはいけない • 「もっともありそうな続き」を生成しているだけ • それでコードが生成できていることは驚きだけど、論理的に考えている わけではない • ChatGPTはそれが正しいかどうか気にしていない • 流れるようにウソをつく
16. もっと賢くなるんでは？ • 学習データの限界 • いまのAIは学習データの量で性能の上限がきまる • ほぼすべてのWebテキストを使っているので、これ以上の学習データ がない • 計算機の限界 • GPT4を学習させた計算機クラスタより大きいものを作るのは困難 • いまでも運用に1億円/日かかっている • ウソが混ざりがちという性質は変わらない
17. まとめ • アイデアを得るのに強力なツールになる • とりかかりになるコードの生成に強い • GitHubのCode Copilotを使うと定型コードに時間をとられなくな る • VS CodeにGPTを組み込む • ２つの条件が組み合わさると難しくなる • 実際のコードは複数の条件を満たすので人間が書く必要がある • セキュリティなどコンテキストをもった正しいコードは人間が注 意して確認する必要がある