Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
生成AI(Generative AI)
Search
momoka
July 08, 2024
Technology
0
860
生成AI(Generative AI)
GUGAの生成AIパスポートの合格者がLT会で発表した資料です。
momoka
July 08, 2024
Tweet
Share
Other Decks in Technology
See All in Technology
Nekko Cloud、 これまでとこれから ~学生サークルが作る、 小さなクラウド
logica0419
2
970
『衛星データ利用の方々にとって近いようで触れる機会のなさそうな小話 ~ 衛星搭載ソフトウェアと衛星運用ソフトウェア (実物) を動かしながらわいわいする編 ~』 @日本衛星データコミニティ勉強会
meltingrabbit
0
150
Amazon S3 Tablesと外部分析基盤連携について / Amazon S3 Tables and External Data Analytics Platform
nttcom
0
130
室長と気ままに学ぶマイクロソフトのビジネスアプリケーションとビジネスプロセス
ryoheig0405
0
360
目の前の仕事と向き合うことで成長できる - 仕事とスキルを広げる / Every little bit counts
soudai
24
7.1k
君も受託系GISエンジニアにならないか
sudataka
2
430
現場の種を事業の芽にする - エンジニア主導のイノベーションを事業戦略に装着する方法 -
kzkmaeda
2
2.1k
JEDAI Meetup! Databricks AI/BI概要
databricksjapan
0
100
Moved to https://speakerdeck.com/toshihue/presales-engineer-career-bridging-tech-biz-ja
toshihue
2
740
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
6
57k
関東Kaggler会LT: 人狼コンペとLLM量子化について
nejumi
3
580
OpenID BizDay#17 KYC WG活動報告(法人) / 20250219-BizDay17-KYC-legalidentity
oidfj
0
250
Featured
See All Featured
Bash Introduction
62gerente
611
210k
The Cult of Friendly URLs
andyhume
78
6.2k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
129
19k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
193
16k
Mobile First: as difficult as doing things right
swwweet
223
9.3k
Reflections from 52 weeks, 52 projects
jeffersonlam
348
20k
How to Think Like a Performance Engineer
csswizardry
22
1.3k
Scaling GitHub
holman
459
140k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
33
2.1k
Bootstrapping a Software Product
garrettdimon
PRO
306
110k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
160
15k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
114
50k
Transcript
生成AI 非公開
GAN RNN Transformer 目次 AIのレベル AIを実現ための技術(概要) ディープラーニングとニ ューラルネットワーク CNN VAE
AIの区分 1. 2. 3. 3.1 3.2 3.3 3.4 3.6 3.5 0. 自己紹介
GAN RNN Transformer 目次 AIのレベル AIを実現ための技術(概要) ディープラーニングとニ ューラルネットワーク CNN VAE
AIの区分 1. 2. 3. 3.1 3.2 3.3 3.4 3.6 3.5 0. 自己紹介
自己紹介 プログラミングはほぼ独学 学生時代はプログラマー 今はソフトフェアエンジニア(社会人2年生) C# , Java , Phython ,
ShellScript , TypeScript(勉強中) などが使えます 昨日、生成AIパスポートを受験しました(多分合格) LT会はじめてです。優しい目で聞いてください 非公開 非公開
GAN RNN Transformer 目次 AIのレベル AIを実現ための技術(概要) ディープラーニングとニ ューラルネットワーク CNN VAE
AIの区分 1. 2. 3. 3.1 3.2 3.3 3.4 3.6 3.5 0. 自己紹介
AIの区分 ANI AGI Artificial Narrow Intelligence 特定のタスクに特化したAI 目覚ましく進化している Artificial General
Intelligence どんな知的タスクにも対応するAI ほとんど進化していない こっちも進化し てるという誤解 が生じている
GAN RNN Transformer 目次 AIのレベル AIを実現ための技術(概要) ディープラーニングとニ ューラルネットワーク CNN VAE
AIの区分 1. 2. 3. 3.1 3.2 3.3 3.4 3.6 3.5 0. 自己紹介
AIのレベル レベル 呼ばれ方 何ができるか 具体例 レベル1 単純な制御プログラム 条件分岐によって出力する。 ⇒ つまりただのプログラム
AI家電 レベル2 ルールベース 入力データから単純な予測や決定を行う Watsonなどの音声認識や チャットボット レベル3 機械学習 自らパターンを見つけ出し、それに基づいて適 切な出力を調整して返す 特徴量は人間が設定する 検索エンジン レベル4 ディープラーニング 特徴量自体も自ら調整して学習する ChatGPT ※特徴量とは機械学習モデルが学習や予測のために手掛かりとなる変数
GAN RNN Transformer 目次 AIのレベル AIを実現ための技術(概要) ディープラーニングとニ ューラルネットワーク CNN VAE
AIの区分 1. 2. 3. 3.1 3.2 3.3 3.4 3.6 3.5 0. 自己紹介
AIを実現している技術(概要) 自己回帰モデル ディープラーニング 過去のデータを使って次のデータを予測する方法 時系列データの予測が得意 人間の脳を模倣した技術 ニューラルネットワークを重ね合わせて作る CNN(畳み込みニューラルネットワーク) VAE(自己変分符号化器) GAN(敵対的生成ネットワーク)
RNN(回帰型ニューラルネットワーク) LSTM(長・短期記憶) Transformerモデル
AIを実現している技術(概要) 自己回帰モデル ディープラーニング 時系列データの予測が得意 過去のデータを使って次のデータを予測する方法 人間の脳を模倣した技術 ニューラルネットワークを重ね合わせて作る CNN(畳み込みニューラルネットワーク) VAE(自己変分符号化器) GAN(敵対的生成ネットワーク)
RNN(回帰型ニューラルネットワーク) LSTM(長・短期記憶) Transformerモデル 詳しく説明します! 非公開
GAN RNN Transformer 目次 AIのレベル AIを実現ための技術(概要) ディープラーニングとニ ューラルネットワーク CNN VAE
AIの区分 1. 2. 3. 3.1 3.2 3.3 3.4 3.6 3.5 0. 自己紹介
ディープラーニングってなに? ニューラルネットワーク 人口ニューロン (ノード) 人間の脳をプログラム で再現!! ニューラルネットワークを多層に重ね合わせたネットワーク 多層学習とも呼ばれる
GAN RNN Transformer 目次 AIのレベル AIを実現ための技術(概要) ディープラーニングとニ ューラルネットワーク CNN VAE
AIの区分 1. 2. 3. 3.1 3.2 3.3 3.4 3.6 3.5 0. 自己紹介
AIを実現している技術-CNN CNN Convolutional Neural Network 畳み込みニューラルネットワーク 画像認識に使われる 局所的に情報処理 ⇒ 局所的な特徴から全体の特徴を抽出
⇒ 認識
GAN RNN Transformer 目次 AIのレベル AIを実現ための技術(概要) ディープラーニングとニ ューラルネットワーク CNN VAE
AIの区分 1. 2. 3. 3.1 3.2 3.3 3.4 3.6 3.5 0. 自己紹介
エンコーダ AIを実現している技術-VAE VAE Variational Autoencoder 自己変分符号化器 画像認識に使われる ノイズが混ざった情報から元のデータを再現する デコーダ 潜在ベクトル
再現データ ノイズ入り データ 変換 変換
GAN RNN Transformer 目次 AIのレベル AIを実現ための技術(概要) ディープラーニングとニ ューラルネットワーク CNN VAE
AIの区分 1. 2. 3. 3.1 3.2 3.3 3.4 3.6 3.5 0. 自己紹介
AIを実現している技術-GAN GAN Generative Adversarial Networks 敵対的生成ネットワーク 生成器と識別器で競い合う 大量の学習データがいらない ⇒生成AIに大きな影響を与える 生成器
識別器 競い合って互いに進化する 本物っぽい画像を作る 頑張って識別!!
GAN RNN Transformer 目次 AIのレベル AIを実現ための技術(概要) ディープラーニングとニ ューラルネットワーク CNN VAE
AIの区分 1. 2. 3. 3.1 3.2 3.3 3.4 3.6 3.5 0. 自己紹介
AIを実現している技術-RNN RNN Recurrent Neural Network 回帰型ニューラルネットワーク 過去の情報を記憶しながら新しい入力を保持する 前の時刻の出力を次の時刻の出力に利用する 時間的思考性を持つデータに有効 LSTM
特殊なRNN さらに複雑なパターンの時系列データの予測ができる 長文すぎると精度が落ちる
GAN RNN Transformer 目次 AIのレベル AIを実現ための技術(概要) ディープラーニングとニ ューラルネットワーク CNN VAE
AIの区分 1. 2. 3. 3.1 3.2 3.3 3.4 3.6 3.5 0. 自己紹介
Transformerモデル AIを実現している技術- Transformerモデル Self-Attention(自己注意力)という機能を持っている データの順番を考慮せず、一度に処理する 単語の位置は位置エンコーディングで保持する この 花 は キレイ
です。 0.06 0.6 0.03 0.3 0.01 入力文章 Attentionスコア
Transformerモデル AIを実現している技術- Transformerモデルの派生 BERTモデル MLM(Masked Langage Model) ⇒ランダムに単語をマスクする 双方向性を持つ ⇒単語の意味を文脈によって決定することができる
NSP(Next Sentence Prediction) ⇒文脈の関連性を理解できる ALBERT(BERTの軽量モデル) RoBERTa(BERTの改良モデル)
Transformerモデル AIを実現している技術- Transformerモデルの派生 GPTモデル(Generative Pre-trained Transformer) 3.5からRLHFが導入された ChatGPTでは会話向けにファインチューニングされている RLHFとは? Reinforcemrnt
Learning from Human 強化学習の一種 人間からのフィードバックを手掛かりに「より人間が 好む回答」を学習
少し生成AIについて詳しくなれましたか?? 私もまだまだ勉強中なので、アドバイスなどあったら お願いします。 ご清聴ありがとうございました。 今日のご縁を大切にしたいです。
非公開 テックブログ Twitter My data https://kawaii-tech-momoka.com/