Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
金融とAI
Search
abenben
February 26, 2023
Technology
1
280
金融とAI
2023.2.26(Sun)に開催するDSL (データサイエンス特化型学生団体)主催のData Science Meet Upで発表する資料です。
abenben
February 26, 2023
Tweet
Share
More Decks by abenben
See All by abenben
Web3概略:手早く把握
abenben
2
990
Web3とNFTの教科書
abenben
1
340
各種生成AIについて
abenben
3
1.5k
数年先の金融DX/AI活用
abenben
2
520
PythonによるWeb3開発
abenben
1
210
【超入門】対談前に知っておこう! 新時代の常識「Web3」のきほん
abenben
1
150
NFTを覚えて視野を広げよう!
abenben
1
710
進化し続けるPython事情、こっちも使えるか考えてみよう!
abenben
0
180
オルタナティブデータ活用ブームの先に何があるのか
abenben
1
1.1k
Other Decks in Technology
See All in Technology
フロントエンド開発事例③ Yahoo! JAPAN トップページ
lycorptech_jp
PRO
0
110
急拡大する開発組織を支えるナレッジワークの E2E テスト基盤
kworkdev
PRO
0
180
OCI で始める!! Red Hat OpenShift / Get Started OpenShift on OCI
oracle4engineer
PRO
1
200
開発生産性を始める前に開発チームができること / optim-improve-development-productivity.pdf
optim
0
150
『GRANBLUE FANTASY Relink』ソフトウェアラスタライザによる実践的なオクルージョンカリング
cygames
0
180
スタッフエンジニアの道: The Staff Engineer’s Path
snoozer05
PRO
44
15k
たった1人からはじめる【Agile Community of Practice】~ソース原理とFearless Changeを添えて~
ktc_corporate_it
1
510
LLVM/ASMを使った有限体の高速実装
herumi
0
120
DroidKaigi 2024 たすけて!ViewModel
mhidaka
5
1.1k
突撃! 隣のAmazon Bedrockユーザー 〜YouはどうしてAWSで?〜
minorun365
PRO
3
400
『GRANBLUE FANTASY: Relink』専任エンジニアチームで回す大規模開発QAサイクル
cygames
0
110
Developer Experienceを向上させる基盤づくりの取り組み事例集
coconala_engineer
0
160
Featured
See All Featured
The Mythical Team-Month
searls
218
43k
The MySQL Ecosystem @ GitHub 2015
samlambert
250
12k
Gamification - CAS2011
davidbonilla
79
5k
How to Ace a Technical Interview
jacobian
274
23k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
29
2.6k
YesSQL, Process and Tooling at Scale
rocio
167
14k
Atom: Resistance is Futile
akmur
261
25k
Fireside Chat
paigeccino
31
2.9k
GitHub's CSS Performance
jonrohan
1030
450k
Faster Mobile Websites
deanohume
304
30k
Fontdeck: Realign not Redesign
paulrobertlloyd
80
5.1k
Designing on Purpose - Digital PM Summit 2013
jponch
114
6.8k
Transcript
⾦融とAI Institution for a Global Society株式会社 ㆖席研究員 阿部⼀也 %4-cσʔλαΠΤϯεಛԽܕֶੜஂମओ࠵ %BUB4DJFODF.FFU6Q
4VO
݄ʹࡳຈ͔Β౦ژʹҠॅɻ ݱࡏڭҭˍ)3اۀͰϒϩοΫνΣʔϯΛ׆༻ͨ͠ 8FCϓϩδΣΫτͷςοΫϦʔυΛ୲ɻ ւಓʢখʣੜ·ΕͰɺࡀͱࡀͷ່ɺࡀͷଙ ͕͍Δɻझຯཱྀߦͱਆࣾ८Γɻ 1ZUIPOػցֶशɺϒϩοΫνΣʔϯɺΫϥυɺۚ ༥ɺιϑτΣΞ։ൃʹؔ͢Δ*5ίϛϡχςΟͷελο ϑʢओʹίϯςϯπاը୲ʣɺઌٕज़ɺϏδωε ৫վֵͷΠϕϯτاըɺࣥචͳͲͷݸਓ׆ಈΛߦ͏ɻ ίϛϡχςΟӡӦελοϑ
4UBSU1ZUIPO$MVCɺϑΟϯςοΫཆίϛϡχςΟ΄͔ଟ मɺࣥචɺ༁ɺࠪಡ ɾ4QBSLʹΑΔ࣮ફσʔλղੳ ʕେنσʔλͷͨΊͷػցֶशࣄྫू ɾϚϯΨͱਤղͰεοΩϦΘ͔Δ ϓϩάϥϛϯάͷ͘͠Έ ɾ࣮ફ ۚ༥σʔλαΠΤϯε ӅΕͨߏΛ͋ͿΓग़ͭ͢ͷΞϓϩʔν ɾςετۦಈ1ZUIPO ɾ͋ͨΒ͍͠1ZUIPOʹΑΔσʔλੳͷڭՊॻ ɾΈΜͳͷϒϩοΫνΣʔϯ ɾϑΟϯςοΫΤϯδχΞཆಡຊ ɾ1ZUIPOεΩϧΞοϓڭՊॻ ɾ"GUFS("'"ࢄԽ͢Δੈքͷະདྷਤ ɾ࣮ફγφϦΦɾϓϥϯχϯά Ѩ෦ Ұ ʢ͋ΜΜʣ *OTUJUVUJPOGPSB(MPCBM4PDJFUZגࣜձࣾ ্੮ݚڀһ Profile
ۚ༥σʔλαΠΤϯεˍΤϯδχΞ
"*ͷ • ػցֶश .BDIJOF-FBSOJOH • ࣗવݴޠॲཧ /BUVSBM-BOHVBHF1SPDFTTJOH • ίϯϐϡʔλʔϏδϣϯ $PNQVUFS7JTJPO
• Իೝࣝ 4QFFDI3FDPHOJUJPO • ϩϘςΟΫε 3PCPUJDT • ҙࢥܾఆ %FDJTJPO.BLJOH • σʔλϚΠχϯά %BUB.JOJOH • ڧԽֶश 3FJOGPSDFNFOU-FBSOJOH • ਐԽతܭࢉ &WPMVUJPOBSZ$PNQVUBUJPO • ࣝදݱͱਪ ,OPXMFEHF3FQSFTFOUBUJPOBOE3FBTPOJOH
%FFQ-FBSOJOH*OUFSWJFXT ػցֶशɾਓೳͷͰब৬ ͢ΔͨΊʹɺ໘࣮ٕࢼݧͰ ΘΕΔࣝɾεΩϧɻ ͷதڃऀ͚ͷఆ࣭ͱղ ͕ऩ͞Ε͍ͯΔɻ ֶجૅɺػցֶशɺਂֶशɺ ਂֶशͷԠ༻ͱ෯͘Χόʔ͠ ͍ͯ·͢ɻ໘ͰΑ͘ग़Δ࣭Λ ཏ͍ͯ͠ΔΒ͍͠ɻ
https://arxiv.org/pdf/2201.00650.pdf
ؾʹͳΔτϐοΫ 技術名 説明 Stable Diffusion データの分散表現を⾼次元空間で効果的に表現する⽅法。従来の拡散法と⽐較して性能が向上している。計算量を抑えることがで き、画像⽣成、⾳声処理、⾃然⾔語処理などの分野で有⽤なアプローチとなっている。 ChatGPT ⾃然⾔語処理のタスクに⽤いられるGPT-3を基にした対話システム。多様なトピックに対応するために⼤量のデータで事前学習さ れており、会話の流れを保持して⾃然な対話を⽣成することができる。
⾳声認識・⽣成 ⾳声データを扱う分野で重要な技術。Whisper、HEAR、data2vec、data2vec 2.0などの最新の⼿法は、⾳声認識・⽣成の精度を ⾼めることができる。⾃然⾔語処理の分野での利⽤にも応⽤されている。 ⾔語モデル ⾃然⾔語処理の分野で主要な技術の1つ。GPT-3、LaMDA、PaLM、Megatron-Turing NLGなどの最新の⾔語モデルは、巨⼤な データセットで学習されており、テキスト⽣成、質問応答、機械翻訳などのタスクに成功している。 オープンソースAI ⼈⼯知能の研究や開発において、⾃由にアクセスできるソフトウェアの利⽤を可能にするもの。HuggingFace、Eleuther AI、 LAION、Stability.AIなどのオープンソースAIフレームワークは、⾼度な⾃然⾔語処理タスクを扱うことができる。GPT-NeoX-20B やBLOOMなどの⼤規模⾔語モデルもオープンソースで公開されている。 拡散モデル (画像・ビデオ⽣成) 画像⽣成、ビデオ⽣成などのタスクに有⽤な深層学習モデル。画像のピクセル値の進化を表現することで、⾼品質な画像⽣成が可 能になる。特にDiffusion Probabilistic Modelsは、モデルを学習させるときに⾼速化され、時間とともにデータを拡散することで、 ⾼品質な画像・ビデオ⽣成が可能になっている。 拡散モデル (その他のドメイン) ⾃然⾔語処理にも応⽤されており、Diffusion-LMやDiffuSeqといったモデルが開発されている。これらのモデルは、⾔語モデルを 学習するために⽤いられる。Diffusion-LMは、⾔語モデルのサンプリングを⾼速化し、⾃然な⽂章の⽣成が可能になっている。 DiffuSeqは、DNAの塩基配列を予測することができ、遺伝⼦の研究に応⽤されている。 強化学習 エージェントが環境に対して⾏動を選択することで、報酬を最⼤化することを学習する⼿法。Decision Transformer、Trajectory Transformer、Gatoなどの最新の⼿法は、深層学習モデルを使⽤して、より⾼度なタスクを解決することができる。特に、Gatoは、 複数のタスクに対応することができる「万能エージェント」として注⽬を集めている。 マルチモーダル・制御 複数の⼊⼒情報を扱う技術。超マルチモーダル・超マルチタスク「万能エージェント」は、複数のタスクを同時に実⾏し、⾳声、 映像、テキストなどの複数の⼊⼒に対応することができる。これにより、より⾼度なタスクを解決することができる。 計算量削減 ディープラーニングモデルの⾼速化や軽量化を実現する技術。DiNA、Token Merging、ConvNeXt、NeRF、Chinchillaなどの最新 の技術は、⾼速かつ⾼精度なモデルを構築することができる。特に、Chinchillaは、70億のパラメータを持つ巨⼤な⾔語モデルを ⾼速かつ効率的に処理できることが可能であり、より⼤規模なデータセットを⽤いた⾃然⾔語処理のタスクにも適⽤することがで きる。また、計算量削減技術は、エネルギー消費量の削減にもつながる。
$IBU(15 ⼈間との対話に最適化された強⼒な⾔語モデルであり、⼈間のフィード バックに基づく強化学習を使⽤して微調整されています。これにより、 ユーザーの要望に合わせた応答を⽣成することが可能となっています。 RLHFは、⼈間からのフィードバックによって⾔語モデルを微調整する⼿ 法であり、DeepMindやAnthropicなど他の企業・研究者もこの⼿法 を研究しています。 ChatGPTは事実関係を間違えたり、有害・差別的な⾔葉を出⼒する問題が依 然として存在しており、また誰でも簡単に⾼品質な⽂章を⽣成できるため、不正 利⽤が社会問題化しています。草の根的AIコミュニティであるEleuther
AIの⼀ 部でも、RLHFによる強化学習を⽤いたオープンソースの実装・モデルがリリースさ れていますが、OpenAIが従来⼿法の10倍以上の予算を費やしてChatGPTを 訓練しているという噂もあり、これらの技術を再現することは容易ではない。 このような⾔語モデルのアラインメント問題や、⼈間の嗜好・利害に合わせ た応答を⽣成する技術を研究し、より⾼品質な応答を⽣成することが求 められています。また、ChatGPTのような⾔語モデルを活⽤した⾃動⽂章 ⽣成技術は、様々な分野で利⽤されるため、データサイエンティストは、こ の技術を最⼤限に活⽤するための研究を⾏うことが重要です。 ਓؒϑΟʔυόοΫʹΑΔ ݴޠϞσϧͷ࠷దԽ $IBU(15ͷͱ ෆਖ਼ར༻ͷࣾձԽ ݴޠϞσϧͷߴ࣭Ԡੜ ʹ͚ͨݚڀ՝
4UBCMF%JGGVTJPO 任意のテキストから⾼品質な画像を⽣成することができる技術で、AI 業界やアート業界に⼤きなインパクトを与えました。この技術は、テキ ストと画像の相互作⽤をより深く理解することができる可能性があり、 従来の⼿法とは異なり、テキストと画像の間に相互作⽤を持たせるこ とができます。この点が注⽬された理由です。 拡散モデルLDMが⽤いられており、これは、2020年に提案された「ノ イズ除去拡散確率モデル」(DDPM)に基づいています。DDPMは、 ノイズ画像を徐々にノイズを除去していくことで、⾼品質な画像を⽣成 することができます。拡散モデルは、DDPMを発展させたものであり、よ
り⾼速で⾼品質な画像⽣成が実現できます。 画像⽣成において拡散モデルが重要な⼿法であることや、U-Netや ViTなどの画像⽣成や画像処理に⽤いられる⼿法との関連性にあり ます。これらの⼿法は、データサイエンティストが理解すべき重要な技 術です。Stable Diffusionの応⽤範囲は、ECサイトや医療分野な ど、ビジネスや社会の様々な分野で期待されています。 ςΩετ͔Β ߴ࣭ը૾ੜٕज़ ֦ࢄϞσϧʹΑΔ ߴߴ࣭ը૾ੜ ը૾ੜɾॲཧʹ͓͚Δ 4UBCMF%JGGVTJPOͷॏཁੑ
DALL·E 2 2022年2⽉に公開した⼈⼯知能のモデルで、 ⾃然⾔語の指⽰に応じて画像を⽣成する ことができる。以前に公開されたDALL·E というモデルの改良版で、より⾼品質で 多様な画像が⽣成できる。 Whisper ⽂字起こしサービスとして公開した無料 の⾳声認識モデルです。Webから収集し
た68万時間分の多⾔語⾳声データを教師 付きデータで学習させており、⾼い精度 で⼊⼒した⾳声を⽂字起こしが可能。 0QFO"*ͦͷଞͷϓϩμΫτ
None
ۚ༥ͰνϟϨϯδ͖͢͜ͱ ❏未知のデータ開拓 ❏⼤規模コンピューティングによる解析 ❏お互いにプライバシーを確保したままで分析
ۚ༥σʔλαΠΤϯεˍΤϯδχΞ
ʲએɿۙެ։ʳ<݄>ۚ༥ͱ0QFO"* https://fintech-engineer.connpass.com/event/276472