Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
金融とAI
Search
abenben
February 26, 2023
Technology
1
300
金融とAI
2023.2.26(Sun)に開催するDSL (データサイエンス特化型学生団体)主催のData Science Meet Upで発表する資料です。
abenben
February 26, 2023
Tweet
Share
More Decks by abenben
See All by abenben
Web3概略:手早く把握
abenben
2
1.3k
Web3とNFTの教科書
abenben
1
370
各種生成AIについて
abenben
3
1.6k
数年先の金融DX/AI活用
abenben
2
540
PythonによるWeb3開発
abenben
1
250
【超入門】対談前に知っておこう! 新時代の常識「Web3」のきほん
abenben
1
160
NFTを覚えて視野を広げよう!
abenben
1
750
進化し続けるPython事情、こっちも使えるか考えてみよう!
abenben
0
200
オルタナティブデータ活用ブームの先に何があるのか
abenben
1
1.2k
Other Decks in Technology
See All in Technology
Creative Pair
kawaguti
PRO
1
150
依存関係があるコンポーネントは Barrel ファイルでまとめよう
azukiazusa1
3
490
滅・サービスクラス🔥 / Destruction Service Class
sinsoku
2
310
Zenn のウラガワ ~エンジニアのアウトプットを支える環境で Google Cloud が採用されているワケ~ #burikaigi #burikaigi_h
kongmingstrap
19
7.3k
WAF に頼りすぎない AWS WAF 運用術 meguro sec #1
izzii
0
440
5分で紹介する生成AIエージェントとAmazon Bedrock Agents / 5-minutes introduction to generative AI agents and Amazon Bedrock Agents
hideakiaoyagi
0
170
カスタムインストラクションでGitHub Copilotをカスタマイズ!
07jp27
8
1.7k
private spaceについてあれこれ調べてみた
operando
1
230
Next Step: Play Time!
trishagee
2
160
プロセス改善による品質向上事例
tomasagi
0
170
生成AIの利活用を加速させるための取り組み「prAIrie-dog」/ Shibuya_AI_1
visional_engineering_and_design
1
130
Datadog APM におけるトレース収集の流れ及び Retention Filters のはなし / datadog-apm-trace-retention-filters
k6s4i53rx
0
190
Featured
See All Featured
Reflections from 52 weeks, 52 projects
jeffersonlam
348
20k
The Language of Interfaces
destraynor
156
24k
Large-scale JavaScript Application Architecture
addyosmani
510
110k
YesSQL, Process and Tooling at Scale
rocio
171
14k
Fireside Chat
paigeccino
34
3.2k
Stop Working from a Prison Cell
hatefulcrawdad
267
20k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
7
620
Learning to Love Humans: Emotional Interface Design
aarron
274
40k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
7
250
The Straight Up "How To Draw Better" Workshop
denniskardys
232
140k
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.3k
Bash Introduction
62gerente
610
210k
Transcript
⾦融とAI Institution for a Global Society株式会社 ㆖席研究員 阿部⼀也 %4-cσʔλαΠΤϯεಛԽܕֶੜஂମओ࠵ %BUB4DJFODF.FFU6Q
4VO
݄ʹࡳຈ͔Β౦ژʹҠॅɻ ݱࡏڭҭˍ)3اۀͰϒϩοΫνΣʔϯΛ׆༻ͨ͠ 8FCϓϩδΣΫτͷςοΫϦʔυΛ୲ɻ ւಓʢখʣੜ·ΕͰɺࡀͱࡀͷ່ɺࡀͷଙ ͕͍Δɻझຯཱྀߦͱਆࣾ८Γɻ 1ZUIPOػցֶशɺϒϩοΫνΣʔϯɺΫϥυɺۚ ༥ɺιϑτΣΞ։ൃʹؔ͢Δ*5ίϛϡχςΟͷελο ϑʢओʹίϯςϯπاը୲ʣɺઌٕज़ɺϏδωε ৫վֵͷΠϕϯτاըɺࣥචͳͲͷݸਓ׆ಈΛߦ͏ɻ ίϛϡχςΟӡӦελοϑ
4UBSU1ZUIPO$MVCɺϑΟϯςοΫཆίϛϡχςΟ΄͔ଟ मɺࣥචɺ༁ɺࠪಡ ɾ4QBSLʹΑΔ࣮ફσʔλղੳ ʕେنσʔλͷͨΊͷػցֶशࣄྫू ɾϚϯΨͱਤղͰεοΩϦΘ͔Δ ϓϩάϥϛϯάͷ͘͠Έ ɾ࣮ફ ۚ༥σʔλαΠΤϯε ӅΕͨߏΛ͋ͿΓग़ͭ͢ͷΞϓϩʔν ɾςετۦಈ1ZUIPO ɾ͋ͨΒ͍͠1ZUIPOʹΑΔσʔλੳͷڭՊॻ ɾΈΜͳͷϒϩοΫνΣʔϯ ɾϑΟϯςοΫΤϯδχΞཆಡຊ ɾ1ZUIPOεΩϧΞοϓڭՊॻ ɾ"GUFS("'"ࢄԽ͢Δੈքͷະདྷਤ ɾ࣮ફγφϦΦɾϓϥϯχϯά Ѩ෦ Ұ ʢ͋ΜΜʣ *OTUJUVUJPOGPSB(MPCBM4PDJFUZגࣜձࣾ ্੮ݚڀһ Profile
ۚ༥σʔλαΠΤϯεˍΤϯδχΞ
"*ͷ • ػցֶश .BDIJOF-FBSOJOH • ࣗવݴޠॲཧ /BUVSBM-BOHVBHF1SPDFTTJOH • ίϯϐϡʔλʔϏδϣϯ $PNQVUFS7JTJPO
• Իೝࣝ 4QFFDI3FDPHOJUJPO • ϩϘςΟΫε 3PCPUJDT • ҙࢥܾఆ %FDJTJPO.BLJOH • σʔλϚΠχϯά %BUB.JOJOH • ڧԽֶश 3FJOGPSDFNFOU-FBSOJOH • ਐԽతܭࢉ &WPMVUJPOBSZ$PNQVUBUJPO • ࣝදݱͱਪ ,OPXMFEHF3FQSFTFOUBUJPOBOE3FBTPOJOH
%FFQ-FBSOJOH*OUFSWJFXT ػցֶशɾਓೳͷͰब৬ ͢ΔͨΊʹɺ໘࣮ٕࢼݧͰ ΘΕΔࣝɾεΩϧɻ ͷதڃऀ͚ͷఆ࣭ͱղ ͕ऩ͞Ε͍ͯΔɻ ֶجૅɺػցֶशɺਂֶशɺ ਂֶशͷԠ༻ͱ෯͘Χόʔ͠ ͍ͯ·͢ɻ໘ͰΑ͘ग़Δ࣭Λ ཏ͍ͯ͠ΔΒ͍͠ɻ
https://arxiv.org/pdf/2201.00650.pdf
ؾʹͳΔτϐοΫ 技術名 説明 Stable Diffusion データの分散表現を⾼次元空間で効果的に表現する⽅法。従来の拡散法と⽐較して性能が向上している。計算量を抑えることがで き、画像⽣成、⾳声処理、⾃然⾔語処理などの分野で有⽤なアプローチとなっている。 ChatGPT ⾃然⾔語処理のタスクに⽤いられるGPT-3を基にした対話システム。多様なトピックに対応するために⼤量のデータで事前学習さ れており、会話の流れを保持して⾃然な対話を⽣成することができる。
⾳声認識・⽣成 ⾳声データを扱う分野で重要な技術。Whisper、HEAR、data2vec、data2vec 2.0などの最新の⼿法は、⾳声認識・⽣成の精度を ⾼めることができる。⾃然⾔語処理の分野での利⽤にも応⽤されている。 ⾔語モデル ⾃然⾔語処理の分野で主要な技術の1つ。GPT-3、LaMDA、PaLM、Megatron-Turing NLGなどの最新の⾔語モデルは、巨⼤な データセットで学習されており、テキスト⽣成、質問応答、機械翻訳などのタスクに成功している。 オープンソースAI ⼈⼯知能の研究や開発において、⾃由にアクセスできるソフトウェアの利⽤を可能にするもの。HuggingFace、Eleuther AI、 LAION、Stability.AIなどのオープンソースAIフレームワークは、⾼度な⾃然⾔語処理タスクを扱うことができる。GPT-NeoX-20B やBLOOMなどの⼤規模⾔語モデルもオープンソースで公開されている。 拡散モデル (画像・ビデオ⽣成) 画像⽣成、ビデオ⽣成などのタスクに有⽤な深層学習モデル。画像のピクセル値の進化を表現することで、⾼品質な画像⽣成が可 能になる。特にDiffusion Probabilistic Modelsは、モデルを学習させるときに⾼速化され、時間とともにデータを拡散することで、 ⾼品質な画像・ビデオ⽣成が可能になっている。 拡散モデル (その他のドメイン) ⾃然⾔語処理にも応⽤されており、Diffusion-LMやDiffuSeqといったモデルが開発されている。これらのモデルは、⾔語モデルを 学習するために⽤いられる。Diffusion-LMは、⾔語モデルのサンプリングを⾼速化し、⾃然な⽂章の⽣成が可能になっている。 DiffuSeqは、DNAの塩基配列を予測することができ、遺伝⼦の研究に応⽤されている。 強化学習 エージェントが環境に対して⾏動を選択することで、報酬を最⼤化することを学習する⼿法。Decision Transformer、Trajectory Transformer、Gatoなどの最新の⼿法は、深層学習モデルを使⽤して、より⾼度なタスクを解決することができる。特に、Gatoは、 複数のタスクに対応することができる「万能エージェント」として注⽬を集めている。 マルチモーダル・制御 複数の⼊⼒情報を扱う技術。超マルチモーダル・超マルチタスク「万能エージェント」は、複数のタスクを同時に実⾏し、⾳声、 映像、テキストなどの複数の⼊⼒に対応することができる。これにより、より⾼度なタスクを解決することができる。 計算量削減 ディープラーニングモデルの⾼速化や軽量化を実現する技術。DiNA、Token Merging、ConvNeXt、NeRF、Chinchillaなどの最新 の技術は、⾼速かつ⾼精度なモデルを構築することができる。特に、Chinchillaは、70億のパラメータを持つ巨⼤な⾔語モデルを ⾼速かつ効率的に処理できることが可能であり、より⼤規模なデータセットを⽤いた⾃然⾔語処理のタスクにも適⽤することがで きる。また、計算量削減技術は、エネルギー消費量の削減にもつながる。
$IBU(15 ⼈間との対話に最適化された強⼒な⾔語モデルであり、⼈間のフィード バックに基づく強化学習を使⽤して微調整されています。これにより、 ユーザーの要望に合わせた応答を⽣成することが可能となっています。 RLHFは、⼈間からのフィードバックによって⾔語モデルを微調整する⼿ 法であり、DeepMindやAnthropicなど他の企業・研究者もこの⼿法 を研究しています。 ChatGPTは事実関係を間違えたり、有害・差別的な⾔葉を出⼒する問題が依 然として存在しており、また誰でも簡単に⾼品質な⽂章を⽣成できるため、不正 利⽤が社会問題化しています。草の根的AIコミュニティであるEleuther
AIの⼀ 部でも、RLHFによる強化学習を⽤いたオープンソースの実装・モデルがリリースさ れていますが、OpenAIが従来⼿法の10倍以上の予算を費やしてChatGPTを 訓練しているという噂もあり、これらの技術を再現することは容易ではない。 このような⾔語モデルのアラインメント問題や、⼈間の嗜好・利害に合わせ た応答を⽣成する技術を研究し、より⾼品質な応答を⽣成することが求 められています。また、ChatGPTのような⾔語モデルを活⽤した⾃動⽂章 ⽣成技術は、様々な分野で利⽤されるため、データサイエンティストは、こ の技術を最⼤限に活⽤するための研究を⾏うことが重要です。 ਓؒϑΟʔυόοΫʹΑΔ ݴޠϞσϧͷ࠷దԽ $IBU(15ͷͱ ෆਖ਼ར༻ͷࣾձԽ ݴޠϞσϧͷߴ࣭Ԡੜ ʹ͚ͨݚڀ՝
4UBCMF%JGGVTJPO 任意のテキストから⾼品質な画像を⽣成することができる技術で、AI 業界やアート業界に⼤きなインパクトを与えました。この技術は、テキ ストと画像の相互作⽤をより深く理解することができる可能性があり、 従来の⼿法とは異なり、テキストと画像の間に相互作⽤を持たせるこ とができます。この点が注⽬された理由です。 拡散モデルLDMが⽤いられており、これは、2020年に提案された「ノ イズ除去拡散確率モデル」(DDPM)に基づいています。DDPMは、 ノイズ画像を徐々にノイズを除去していくことで、⾼品質な画像を⽣成 することができます。拡散モデルは、DDPMを発展させたものであり、よ
り⾼速で⾼品質な画像⽣成が実現できます。 画像⽣成において拡散モデルが重要な⼿法であることや、U-Netや ViTなどの画像⽣成や画像処理に⽤いられる⼿法との関連性にあり ます。これらの⼿法は、データサイエンティストが理解すべき重要な技 術です。Stable Diffusionの応⽤範囲は、ECサイトや医療分野な ど、ビジネスや社会の様々な分野で期待されています。 ςΩετ͔Β ߴ࣭ը૾ੜٕज़ ֦ࢄϞσϧʹΑΔ ߴߴ࣭ը૾ੜ ը૾ੜɾॲཧʹ͓͚Δ 4UBCMF%JGGVTJPOͷॏཁੑ
DALL·E 2 2022年2⽉に公開した⼈⼯知能のモデルで、 ⾃然⾔語の指⽰に応じて画像を⽣成する ことができる。以前に公開されたDALL·E というモデルの改良版で、より⾼品質で 多様な画像が⽣成できる。 Whisper ⽂字起こしサービスとして公開した無料 の⾳声認識モデルです。Webから収集し
た68万時間分の多⾔語⾳声データを教師 付きデータで学習させており、⾼い精度 で⼊⼒した⾳声を⽂字起こしが可能。 0QFO"*ͦͷଞͷϓϩμΫτ
None
ۚ༥ͰνϟϨϯδ͖͢͜ͱ ❏未知のデータ開拓 ❏⼤規模コンピューティングによる解析 ❏お互いにプライバシーを確保したままで分析
ۚ༥σʔλαΠΤϯεˍΤϯδχΞ
ʲએɿۙެ։ʳ<݄>ۚ༥ͱ0QFO"* https://fintech-engineer.connpass.com/event/276472