Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ChatGPTがエンジニアに与える影響2 / how ChatGPT affect for engineers2
Search
Naoki Kishida
April 22, 2023
Programming
0
580
ChatGPTがエンジニアに与える影響2 / how ChatGPT affect for engineers2
4/22のプレゼンテーションの資料です
Naoki Kishida
April 22, 2023
Tweet
Share
More Decks by Naoki Kishida
See All by Naoki Kishida
プログラムに組み込みたい人向けLLMの概要 / LLM for programmers
kishida
2
200
Javaの現状2024夏 / Java current status 2024 summer
kishida
4
1.4k
Java 22 Overview
kishida
1
260
Is Object-Oriented nessesary?
kishida
0
67
オブジェクト指向は必要なのか / Is object-oriented needed?
kishida
33
23k
AI時代を乗り切る実装力をつけよう / Get avility of implementation beyond AI era
kishida
2
5.2k
AI時代を生き抜くために処理をちゃんと書けるようになろう / write a executable process for AI era
kishida
24
14k
Javaは今どうなっているの? / how about java now
kishida
14
19k
動くコードを書こう / let's code a process
kishida
25
7.4k
Other Decks in Programming
See All in Programming
Advanced App Shrinking Techniques
cbeyls
2
150
しくじり先生 Image Matching Challenge 2024 編
goosehaaan
0
810
Play Billing Library 7.0.0 変更点まとめ@potatotips#88
kako351
0
160
AWSでゲームサーバーを運用! Amazon GameLiftのお話
iriikeita
0
200
わかりやすい正解を捨てて、コトに向き合う - スクラムフェス金沢2024 スポンサーセッション
yusukekokubo
0
170
Polarsの成長: v0.14からv1.0までの変遷と今後の展望
zerebom
1
350
AWS初心者ってどうやってAWSを学ぶ?〜アプリエンジニアがやってよかったアーキテクチャ学習方法〜
yamanashi_ren01
0
190
Namespace on read
tagomoris
2
370
DDDを志して3年経ったら「DDDの皮を被ったクリーンアーキテクチャ」になった話【デブサミ2024夏】
texmeijin
1
620
CSC307 Lecture 09
javiergs
PRO
1
500
Folding Cheat Sheet #7
philipschwarz
PRO
0
150
Webエディタライブラリ 「CodeMirror」から学ぶ Webアプリ開発のテクニック
ryosukeigarashi
0
250
Featured
See All Featured
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
35
6.3k
Debugging Ruby Performance
tmm1
71
11k
Optimising Largest Contentful Paint
csswizardry
18
2.6k
Embracing the Ebb and Flow
colly
81
4.3k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
26
1.8k
Atom: Resistance is Futile
akmur
261
25k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
155
14k
Typedesign – Prime Four
hannesfritz
37
2.2k
WebSockets: Embracing the real-time Web
robhawkes
59
7.2k
A better future with KSS
kneath
231
17k
YesSQL, Process and Tooling at Scale
rocio
166
14k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
502
140k
Transcript
04/22/2023 1 ChatGPTが エンジニアに与える影響 LINE Fukuoka きしだ なおき 2023/4/22 ITエンジニアのためのライトニングトーク
04/22/2023 2 ChatGPTとは • OpenAIが開発したチャットAI • GPT4、GPT3.5ベース • 2021年9月までのほぼすべてのWebテキストで学習 •
GPT4はかなり性能が高い • 入力の続きの単語を生成 • 繰り返すことで返答の文章を生成する ※ generated by Stable Diffusion
GPT • GPT = Generative Pre-trained Transformer • Transformerが大切 •
Transformer • アテンションに基づくエンコーダー&デコー ダー • 「アテンション」は文章のどこに注目するかを 決める仕組み
Java song!
微調整(Fine Tune)
ツールの使い方
コード生成
Webアクセスするコード
Javaに変換
コードの修正
コードの実行
実際の実行結果
OpenAI API • ChatGPTの機能をプログラムから利用可能 • Chat API • テキストに対してテキストを返す •
Embedding API • テキストの特徴をあらわす1500次元のベクトルを得る
例 1. ブログのエントリをEmbeddingでベクトルをとって保存 2. 質問からベクトルを得て近いベクトルのエントリを検索 3. 得られたエントリから質問の回答を生成
ChatGPTを信じてはいけない • 「もっともありそうな続き」を生成しているだけ • それでコードが生成できていることは驚きだけど、論理的に考えている わけではない • ChatGPTはそれが正しいかどうか気にしていない • 流れるようにウソをつく
もっと賢くなるんでは? • 学習データの限界 • いまのAIは学習データの量で性能の上限がきまる • ほぼすべてのWebテキストを使っているので、これ以上の学習データ がない • 計算機の限界
• GPT4を学習させた計算機クラスタより大きいものを作るのは困難 • いまでも運用に1億円/日かかっている • ウソが混ざりがちという性質は変わらない
まとめ • アイデアを得るのに強力なツールになる • とりかかりになるコードの生成に強い • GitHubのCode Copilotを使うと定型コードに時間をとられなくな る •
VS CodeにGPTを組み込む • 2つの条件が組み合わさると難しくなる • 実際のコードは複数の条件を満たすので人間が書く必要がある • セキュリティなどコンテキストをもった正しいコードは人間が注 意して確認する必要がある