Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
金融とAI
Search
abenben
February 26, 2023
Technology
1
290
金融とAI
2023.2.26(Sun)に開催するDSL (データサイエンス特化型学生団体)主催のData Science Meet Upで発表する資料です。
abenben
February 26, 2023
Tweet
Share
More Decks by abenben
See All by abenben
Web3概略:手早く把握
abenben
2
1k
Web3とNFTの教科書
abenben
1
340
各種生成AIについて
abenben
3
1.5k
数年先の金融DX/AI活用
abenben
2
530
PythonによるWeb3開発
abenben
1
220
【超入門】対談前に知っておこう! 新時代の常識「Web3」のきほん
abenben
1
150
NFTを覚えて視野を広げよう!
abenben
1
710
進化し続けるPython事情、こっちも使えるか考えてみよう!
abenben
0
180
オルタナティブデータ活用ブームの先に何があるのか
abenben
1
1.1k
Other Decks in Technology
See All in Technology
入社半年(合計1年)でGoogle Cloud 認定を全冠した秘訣🤫
risatube
1
260
GPSデバイスを使った簡易位置案内システムの構築をしてみた話。/jawsfesta2024
kwada
0
150
さくっと実践!Postmanを活用した高品質で持続可能なAPI管理
yokawasa
5
290
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
5
48k
CData Virtuality 日本ローンチイベントのKeynote
cdataj
0
400
0x5F3759DF
ykozw
0
140
品質マネジメントで抑えておきたい2つのリスクを見分けて未来に備えよう #yapcjapan
makky_tyuyan
0
140
Azure Verified Moduleを触って分かった注目ポイント/azure-verified-module-begin
mhrtech
1
540
プロダクト開発の貢献をアピールするための目標設計や認知活動 / Goal design and recognition activities to promote product development contributions.
oomatomo
5
1k
KongによるAPIライフサイクル マネジメント
hashitokyo
1
140
地域DXにおけるGrafana活用事例
wacky
0
340
業務ヒアリングと知識の呪い
tamai_63
0
310
Featured
See All Featured
For a Future-Friendly Web
brad_frost
174
9.3k
Adopting Sorbet at Scale
ufuk
73
9k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
37
1.7k
Designing for humans not robots
tammielis
249
25k
Fireside Chat
paigeccino
32
3k
The Art of Programming - Codeland 2020
erikaheidi
51
13k
4 Signs Your Business is Dying
shpigford
180
21k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
167
49k
The Invisible Customer
myddelton
119
13k
Designing for Performance
lara
604
68k
Mobile First: as difficult as doing things right
swwweet
222
8.8k
Speed Design
sergeychernyshev
23
520
Transcript
⾦融とAI Institution for a Global Society株式会社 ㆖席研究員 阿部⼀也 %4-cσʔλαΠΤϯεಛԽܕֶੜஂମओ࠵ %BUB4DJFODF.FFU6Q
4VO
݄ʹࡳຈ͔Β౦ژʹҠॅɻ ݱࡏڭҭˍ)3اۀͰϒϩοΫνΣʔϯΛ׆༻ͨ͠ 8FCϓϩδΣΫτͷςοΫϦʔυΛ୲ɻ ւಓʢখʣੜ·ΕͰɺࡀͱࡀͷ່ɺࡀͷଙ ͕͍Δɻझຯཱྀߦͱਆࣾ८Γɻ 1ZUIPOػցֶशɺϒϩοΫνΣʔϯɺΫϥυɺۚ ༥ɺιϑτΣΞ։ൃʹؔ͢Δ*5ίϛϡχςΟͷελο ϑʢओʹίϯςϯπاը୲ʣɺઌٕज़ɺϏδωε ৫վֵͷΠϕϯτاըɺࣥචͳͲͷݸਓ׆ಈΛߦ͏ɻ ίϛϡχςΟӡӦελοϑ
4UBSU1ZUIPO$MVCɺϑΟϯςοΫཆίϛϡχςΟ΄͔ଟ मɺࣥචɺ༁ɺࠪಡ ɾ4QBSLʹΑΔ࣮ફσʔλղੳ ʕେنσʔλͷͨΊͷػցֶशࣄྫू ɾϚϯΨͱਤղͰεοΩϦΘ͔Δ ϓϩάϥϛϯάͷ͘͠Έ ɾ࣮ફ ۚ༥σʔλαΠΤϯε ӅΕͨߏΛ͋ͿΓग़ͭ͢ͷΞϓϩʔν ɾςετۦಈ1ZUIPO ɾ͋ͨΒ͍͠1ZUIPOʹΑΔσʔλੳͷڭՊॻ ɾΈΜͳͷϒϩοΫνΣʔϯ ɾϑΟϯςοΫΤϯδχΞཆಡຊ ɾ1ZUIPOεΩϧΞοϓڭՊॻ ɾ"GUFS("'"ࢄԽ͢Δੈքͷະདྷਤ ɾ࣮ફγφϦΦɾϓϥϯχϯά Ѩ෦ Ұ ʢ͋ΜΜʣ *OTUJUVUJPOGPSB(MPCBM4PDJFUZגࣜձࣾ ্੮ݚڀһ Profile
ۚ༥σʔλαΠΤϯεˍΤϯδχΞ
"*ͷ • ػցֶश .BDIJOF-FBSOJOH • ࣗવݴޠॲཧ /BUVSBM-BOHVBHF1SPDFTTJOH • ίϯϐϡʔλʔϏδϣϯ $PNQVUFS7JTJPO
• Իೝࣝ 4QFFDI3FDPHOJUJPO • ϩϘςΟΫε 3PCPUJDT • ҙࢥܾఆ %FDJTJPO.BLJOH • σʔλϚΠχϯά %BUB.JOJOH • ڧԽֶश 3FJOGPSDFNFOU-FBSOJOH • ਐԽతܭࢉ &WPMVUJPOBSZ$PNQVUBUJPO • ࣝදݱͱਪ ,OPXMFEHF3FQSFTFOUBUJPOBOE3FBTPOJOH
%FFQ-FBSOJOH*OUFSWJFXT ػցֶशɾਓೳͷͰब৬ ͢ΔͨΊʹɺ໘࣮ٕࢼݧͰ ΘΕΔࣝɾεΩϧɻ ͷதڃऀ͚ͷఆ࣭ͱղ ͕ऩ͞Ε͍ͯΔɻ ֶجૅɺػցֶशɺਂֶशɺ ਂֶशͷԠ༻ͱ෯͘Χόʔ͠ ͍ͯ·͢ɻ໘ͰΑ͘ग़Δ࣭Λ ཏ͍ͯ͠ΔΒ͍͠ɻ
https://arxiv.org/pdf/2201.00650.pdf
ؾʹͳΔτϐοΫ 技術名 説明 Stable Diffusion データの分散表現を⾼次元空間で効果的に表現する⽅法。従来の拡散法と⽐較して性能が向上している。計算量を抑えることがで き、画像⽣成、⾳声処理、⾃然⾔語処理などの分野で有⽤なアプローチとなっている。 ChatGPT ⾃然⾔語処理のタスクに⽤いられるGPT-3を基にした対話システム。多様なトピックに対応するために⼤量のデータで事前学習さ れており、会話の流れを保持して⾃然な対話を⽣成することができる。
⾳声認識・⽣成 ⾳声データを扱う分野で重要な技術。Whisper、HEAR、data2vec、data2vec 2.0などの最新の⼿法は、⾳声認識・⽣成の精度を ⾼めることができる。⾃然⾔語処理の分野での利⽤にも応⽤されている。 ⾔語モデル ⾃然⾔語処理の分野で主要な技術の1つ。GPT-3、LaMDA、PaLM、Megatron-Turing NLGなどの最新の⾔語モデルは、巨⼤な データセットで学習されており、テキスト⽣成、質問応答、機械翻訳などのタスクに成功している。 オープンソースAI ⼈⼯知能の研究や開発において、⾃由にアクセスできるソフトウェアの利⽤を可能にするもの。HuggingFace、Eleuther AI、 LAION、Stability.AIなどのオープンソースAIフレームワークは、⾼度な⾃然⾔語処理タスクを扱うことができる。GPT-NeoX-20B やBLOOMなどの⼤規模⾔語モデルもオープンソースで公開されている。 拡散モデル (画像・ビデオ⽣成) 画像⽣成、ビデオ⽣成などのタスクに有⽤な深層学習モデル。画像のピクセル値の進化を表現することで、⾼品質な画像⽣成が可 能になる。特にDiffusion Probabilistic Modelsは、モデルを学習させるときに⾼速化され、時間とともにデータを拡散することで、 ⾼品質な画像・ビデオ⽣成が可能になっている。 拡散モデル (その他のドメイン) ⾃然⾔語処理にも応⽤されており、Diffusion-LMやDiffuSeqといったモデルが開発されている。これらのモデルは、⾔語モデルを 学習するために⽤いられる。Diffusion-LMは、⾔語モデルのサンプリングを⾼速化し、⾃然な⽂章の⽣成が可能になっている。 DiffuSeqは、DNAの塩基配列を予測することができ、遺伝⼦の研究に応⽤されている。 強化学習 エージェントが環境に対して⾏動を選択することで、報酬を最⼤化することを学習する⼿法。Decision Transformer、Trajectory Transformer、Gatoなどの最新の⼿法は、深層学習モデルを使⽤して、より⾼度なタスクを解決することができる。特に、Gatoは、 複数のタスクに対応することができる「万能エージェント」として注⽬を集めている。 マルチモーダル・制御 複数の⼊⼒情報を扱う技術。超マルチモーダル・超マルチタスク「万能エージェント」は、複数のタスクを同時に実⾏し、⾳声、 映像、テキストなどの複数の⼊⼒に対応することができる。これにより、より⾼度なタスクを解決することができる。 計算量削減 ディープラーニングモデルの⾼速化や軽量化を実現する技術。DiNA、Token Merging、ConvNeXt、NeRF、Chinchillaなどの最新 の技術は、⾼速かつ⾼精度なモデルを構築することができる。特に、Chinchillaは、70億のパラメータを持つ巨⼤な⾔語モデルを ⾼速かつ効率的に処理できることが可能であり、より⼤規模なデータセットを⽤いた⾃然⾔語処理のタスクにも適⽤することがで きる。また、計算量削減技術は、エネルギー消費量の削減にもつながる。
$IBU(15 ⼈間との対話に最適化された強⼒な⾔語モデルであり、⼈間のフィード バックに基づく強化学習を使⽤して微調整されています。これにより、 ユーザーの要望に合わせた応答を⽣成することが可能となっています。 RLHFは、⼈間からのフィードバックによって⾔語モデルを微調整する⼿ 法であり、DeepMindやAnthropicなど他の企業・研究者もこの⼿法 を研究しています。 ChatGPTは事実関係を間違えたり、有害・差別的な⾔葉を出⼒する問題が依 然として存在しており、また誰でも簡単に⾼品質な⽂章を⽣成できるため、不正 利⽤が社会問題化しています。草の根的AIコミュニティであるEleuther
AIの⼀ 部でも、RLHFによる強化学習を⽤いたオープンソースの実装・モデルがリリースさ れていますが、OpenAIが従来⼿法の10倍以上の予算を費やしてChatGPTを 訓練しているという噂もあり、これらの技術を再現することは容易ではない。 このような⾔語モデルのアラインメント問題や、⼈間の嗜好・利害に合わせ た応答を⽣成する技術を研究し、より⾼品質な応答を⽣成することが求 められています。また、ChatGPTのような⾔語モデルを活⽤した⾃動⽂章 ⽣成技術は、様々な分野で利⽤されるため、データサイエンティストは、こ の技術を最⼤限に活⽤するための研究を⾏うことが重要です。 ਓؒϑΟʔυόοΫʹΑΔ ݴޠϞσϧͷ࠷దԽ $IBU(15ͷͱ ෆਖ਼ར༻ͷࣾձԽ ݴޠϞσϧͷߴ࣭Ԡੜ ʹ͚ͨݚڀ՝
4UBCMF%JGGVTJPO 任意のテキストから⾼品質な画像を⽣成することができる技術で、AI 業界やアート業界に⼤きなインパクトを与えました。この技術は、テキ ストと画像の相互作⽤をより深く理解することができる可能性があり、 従来の⼿法とは異なり、テキストと画像の間に相互作⽤を持たせるこ とができます。この点が注⽬された理由です。 拡散モデルLDMが⽤いられており、これは、2020年に提案された「ノ イズ除去拡散確率モデル」(DDPM)に基づいています。DDPMは、 ノイズ画像を徐々にノイズを除去していくことで、⾼品質な画像を⽣成 することができます。拡散モデルは、DDPMを発展させたものであり、よ
り⾼速で⾼品質な画像⽣成が実現できます。 画像⽣成において拡散モデルが重要な⼿法であることや、U-Netや ViTなどの画像⽣成や画像処理に⽤いられる⼿法との関連性にあり ます。これらの⼿法は、データサイエンティストが理解すべき重要な技 術です。Stable Diffusionの応⽤範囲は、ECサイトや医療分野な ど、ビジネスや社会の様々な分野で期待されています。 ςΩετ͔Β ߴ࣭ը૾ੜٕज़ ֦ࢄϞσϧʹΑΔ ߴߴ࣭ը૾ੜ ը૾ੜɾॲཧʹ͓͚Δ 4UBCMF%JGGVTJPOͷॏཁੑ
DALL·E 2 2022年2⽉に公開した⼈⼯知能のモデルで、 ⾃然⾔語の指⽰に応じて画像を⽣成する ことができる。以前に公開されたDALL·E というモデルの改良版で、より⾼品質で 多様な画像が⽣成できる。 Whisper ⽂字起こしサービスとして公開した無料 の⾳声認識モデルです。Webから収集し
た68万時間分の多⾔語⾳声データを教師 付きデータで学習させており、⾼い精度 で⼊⼒した⾳声を⽂字起こしが可能。 0QFO"*ͦͷଞͷϓϩμΫτ
None
ۚ༥ͰνϟϨϯδ͖͢͜ͱ ❏未知のデータ開拓 ❏⼤規模コンピューティングによる解析 ❏お互いにプライバシーを確保したままで分析
ۚ༥σʔλαΠΤϯεˍΤϯδχΞ
ʲએɿۙެ։ʳ<݄>ۚ༥ͱ0QFO"* https://fintech-engineer.connpass.com/event/276472