Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
金融とAI
Search
abenben
February 26, 2023
Technology
1
260
金融とAI
2023.2.26(Sun)に開催するDSL (データサイエンス特化型学生団体)主催のData Science Meet Upで発表する資料です。
abenben
February 26, 2023
Tweet
Share
More Decks by abenben
See All by abenben
Web3概略:手早く把握
abenben
2
360
Web3とNFTの教科書
abenben
1
290
各種生成AIについて
abenben
2
1.5k
数年先の金融DX/AI活用
abenben
2
480
PythonによるWeb3開発
abenben
1
130
【超入門】対談前に知っておこう! 新時代の常識「Web3」のきほん
abenben
1
150
NFTを覚えて視野を広げよう!
abenben
1
650
進化し続けるPython事情、こっちも使えるか考えてみよう!
abenben
0
160
オルタナティブデータ活用ブームの先に何があるのか
abenben
1
1.1k
Other Decks in Technology
See All in Technology
Oracle Database で機械学習を始めよう! Oracle Machine Learning
oracle4engineer
PRO
1
140
GitHub最新情報キャッチアップ 2024年3月
dzeyelid
16
3.2k
オブジェクトのおしゃべり大失敗 メッセージングアンチパターン集 / messaging anti-pattern collection
ytake
0
330
Kubeflow Pipelines v2 で変わる機械学習パイプライン開発
asei
4
340
中央集権体制からDataOpsへの転換 / centralized-to-dataops-transformation
pei0804
7
1.5k
Autopsy of a Cascading Outage from a MySQL Crashing Bug
jfg956
0
200
技術イベントはなんとかひねり出す 日経の技術広報の取り組み/techpr3
nishiuma
0
220
プッシュ型子育てサービスを、先行プロジェクト実施自治体において開始します
govtechtokyo
0
250
ビジネスロジックを「型」で表現するOOPのための関数型DDD / Functional And Type-Safe DDD for OOP
yuitosato
29
12k
どう買う?Azure
kuniteru
1
190
8週連続ウェビナー_イチから学ぶFivetran
cmsuzu
0
170
業務で使えるかもしれない…!?GitHub Actions の Tips 集 / CI/CD Test Night #7
ponkio_o
PRO
24
7k
Featured
See All Featured
Testing 201, or: Great Expectations
jmmastey
27
6.3k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
39
4.3k
Navigating Team Friction
lara
177
13k
Web development in the modern age
philhawksworth
201
10k
Typedesign – Prime Four
hannesfritz
36
2k
Optimizing for Happiness
mojombo
369
69k
Rebuilding a faster, lazier Slack
samanthasiow
72
8.2k
Pencils Down: Stop Designing & Start Developing
hursman
115
11k
The MySQL Ecosystem @ GitHub 2015
samlambert
242
12k
Ruby is Unlike a Banana
tanoku
95
10k
Fashionably flexible responsive web design (full day workshop)
malarkey
397
65k
It's Worth the Effort
3n
180
27k
Transcript
⾦融とAI Institution for a Global Society株式会社 ㆖席研究員 阿部⼀也 %4-cσʔλαΠΤϯεಛԽܕֶੜஂମओ࠵ %BUB4DJFODF.FFU6Q
4VO
݄ʹࡳຈ͔Β౦ژʹҠॅɻ ݱࡏڭҭˍ)3اۀͰϒϩοΫνΣʔϯΛ׆༻ͨ͠ 8FCϓϩδΣΫτͷςοΫϦʔυΛ୲ɻ ւಓʢখʣੜ·ΕͰɺࡀͱࡀͷ່ɺࡀͷଙ ͕͍Δɻझຯཱྀߦͱਆࣾ८Γɻ 1ZUIPOػցֶशɺϒϩοΫνΣʔϯɺΫϥυɺۚ ༥ɺιϑτΣΞ։ൃʹؔ͢Δ*5ίϛϡχςΟͷελο ϑʢओʹίϯςϯπاը୲ʣɺઌٕज़ɺϏδωε ৫վֵͷΠϕϯτاըɺࣥචͳͲͷݸਓ׆ಈΛߦ͏ɻ ίϛϡχςΟӡӦελοϑ
4UBSU1ZUIPO$MVCɺϑΟϯςοΫཆίϛϡχςΟ΄͔ଟ मɺࣥචɺ༁ɺࠪಡ ɾ4QBSLʹΑΔ࣮ફσʔλղੳ ʕେنσʔλͷͨΊͷػցֶशࣄྫू ɾϚϯΨͱਤղͰεοΩϦΘ͔Δ ϓϩάϥϛϯάͷ͘͠Έ ɾ࣮ફ ۚ༥σʔλαΠΤϯε ӅΕͨߏΛ͋ͿΓग़ͭ͢ͷΞϓϩʔν ɾςετۦಈ1ZUIPO ɾ͋ͨΒ͍͠1ZUIPOʹΑΔσʔλੳͷڭՊॻ ɾΈΜͳͷϒϩοΫνΣʔϯ ɾϑΟϯςοΫΤϯδχΞཆಡຊ ɾ1ZUIPOεΩϧΞοϓڭՊॻ ɾ"GUFS("'"ࢄԽ͢Δੈքͷະདྷਤ ɾ࣮ફγφϦΦɾϓϥϯχϯά Ѩ෦ Ұ ʢ͋ΜΜʣ *OTUJUVUJPOGPSB(MPCBM4PDJFUZגࣜձࣾ ্੮ݚڀһ Profile
ۚ༥σʔλαΠΤϯεˍΤϯδχΞ
"*ͷ • ػցֶश .BDIJOF-FBSOJOH • ࣗવݴޠॲཧ /BUVSBM-BOHVBHF1SPDFTTJOH • ίϯϐϡʔλʔϏδϣϯ $PNQVUFS7JTJPO
• Իೝࣝ 4QFFDI3FDPHOJUJPO • ϩϘςΟΫε 3PCPUJDT • ҙࢥܾఆ %FDJTJPO.BLJOH • σʔλϚΠχϯά %BUB.JOJOH • ڧԽֶश 3FJOGPSDFNFOU-FBSOJOH • ਐԽతܭࢉ &WPMVUJPOBSZ$PNQVUBUJPO • ࣝදݱͱਪ ,OPXMFEHF3FQSFTFOUBUJPOBOE3FBTPOJOH
%FFQ-FBSOJOH*OUFSWJFXT ػցֶशɾਓೳͷͰब৬ ͢ΔͨΊʹɺ໘࣮ٕࢼݧͰ ΘΕΔࣝɾεΩϧɻ ͷதڃऀ͚ͷఆ࣭ͱղ ͕ऩ͞Ε͍ͯΔɻ ֶجૅɺػցֶशɺਂֶशɺ ਂֶशͷԠ༻ͱ෯͘Χόʔ͠ ͍ͯ·͢ɻ໘ͰΑ͘ग़Δ࣭Λ ཏ͍ͯ͠ΔΒ͍͠ɻ
https://arxiv.org/pdf/2201.00650.pdf
ؾʹͳΔτϐοΫ 技術名 説明 Stable Diffusion データの分散表現を⾼次元空間で効果的に表現する⽅法。従来の拡散法と⽐較して性能が向上している。計算量を抑えることがで き、画像⽣成、⾳声処理、⾃然⾔語処理などの分野で有⽤なアプローチとなっている。 ChatGPT ⾃然⾔語処理のタスクに⽤いられるGPT-3を基にした対話システム。多様なトピックに対応するために⼤量のデータで事前学習さ れており、会話の流れを保持して⾃然な対話を⽣成することができる。
⾳声認識・⽣成 ⾳声データを扱う分野で重要な技術。Whisper、HEAR、data2vec、data2vec 2.0などの最新の⼿法は、⾳声認識・⽣成の精度を ⾼めることができる。⾃然⾔語処理の分野での利⽤にも応⽤されている。 ⾔語モデル ⾃然⾔語処理の分野で主要な技術の1つ。GPT-3、LaMDA、PaLM、Megatron-Turing NLGなどの最新の⾔語モデルは、巨⼤な データセットで学習されており、テキスト⽣成、質問応答、機械翻訳などのタスクに成功している。 オープンソースAI ⼈⼯知能の研究や開発において、⾃由にアクセスできるソフトウェアの利⽤を可能にするもの。HuggingFace、Eleuther AI、 LAION、Stability.AIなどのオープンソースAIフレームワークは、⾼度な⾃然⾔語処理タスクを扱うことができる。GPT-NeoX-20B やBLOOMなどの⼤規模⾔語モデルもオープンソースで公開されている。 拡散モデル (画像・ビデオ⽣成) 画像⽣成、ビデオ⽣成などのタスクに有⽤な深層学習モデル。画像のピクセル値の進化を表現することで、⾼品質な画像⽣成が可 能になる。特にDiffusion Probabilistic Modelsは、モデルを学習させるときに⾼速化され、時間とともにデータを拡散することで、 ⾼品質な画像・ビデオ⽣成が可能になっている。 拡散モデル (その他のドメイン) ⾃然⾔語処理にも応⽤されており、Diffusion-LMやDiffuSeqといったモデルが開発されている。これらのモデルは、⾔語モデルを 学習するために⽤いられる。Diffusion-LMは、⾔語モデルのサンプリングを⾼速化し、⾃然な⽂章の⽣成が可能になっている。 DiffuSeqは、DNAの塩基配列を予測することができ、遺伝⼦の研究に応⽤されている。 強化学習 エージェントが環境に対して⾏動を選択することで、報酬を最⼤化することを学習する⼿法。Decision Transformer、Trajectory Transformer、Gatoなどの最新の⼿法は、深層学習モデルを使⽤して、より⾼度なタスクを解決することができる。特に、Gatoは、 複数のタスクに対応することができる「万能エージェント」として注⽬を集めている。 マルチモーダル・制御 複数の⼊⼒情報を扱う技術。超マルチモーダル・超マルチタスク「万能エージェント」は、複数のタスクを同時に実⾏し、⾳声、 映像、テキストなどの複数の⼊⼒に対応することができる。これにより、より⾼度なタスクを解決することができる。 計算量削減 ディープラーニングモデルの⾼速化や軽量化を実現する技術。DiNA、Token Merging、ConvNeXt、NeRF、Chinchillaなどの最新 の技術は、⾼速かつ⾼精度なモデルを構築することができる。特に、Chinchillaは、70億のパラメータを持つ巨⼤な⾔語モデルを ⾼速かつ効率的に処理できることが可能であり、より⼤規模なデータセットを⽤いた⾃然⾔語処理のタスクにも適⽤することがで きる。また、計算量削減技術は、エネルギー消費量の削減にもつながる。
$IBU(15 ⼈間との対話に最適化された強⼒な⾔語モデルであり、⼈間のフィード バックに基づく強化学習を使⽤して微調整されています。これにより、 ユーザーの要望に合わせた応答を⽣成することが可能となっています。 RLHFは、⼈間からのフィードバックによって⾔語モデルを微調整する⼿ 法であり、DeepMindやAnthropicなど他の企業・研究者もこの⼿法 を研究しています。 ChatGPTは事実関係を間違えたり、有害・差別的な⾔葉を出⼒する問題が依 然として存在しており、また誰でも簡単に⾼品質な⽂章を⽣成できるため、不正 利⽤が社会問題化しています。草の根的AIコミュニティであるEleuther
AIの⼀ 部でも、RLHFによる強化学習を⽤いたオープンソースの実装・モデルがリリースさ れていますが、OpenAIが従来⼿法の10倍以上の予算を費やしてChatGPTを 訓練しているという噂もあり、これらの技術を再現することは容易ではない。 このような⾔語モデルのアラインメント問題や、⼈間の嗜好・利害に合わせ た応答を⽣成する技術を研究し、より⾼品質な応答を⽣成することが求 められています。また、ChatGPTのような⾔語モデルを活⽤した⾃動⽂章 ⽣成技術は、様々な分野で利⽤されるため、データサイエンティストは、こ の技術を最⼤限に活⽤するための研究を⾏うことが重要です。 ਓؒϑΟʔυόοΫʹΑΔ ݴޠϞσϧͷ࠷దԽ $IBU(15ͷͱ ෆਖ਼ར༻ͷࣾձԽ ݴޠϞσϧͷߴ࣭Ԡੜ ʹ͚ͨݚڀ՝
4UBCMF%JGGVTJPO 任意のテキストから⾼品質な画像を⽣成することができる技術で、AI 業界やアート業界に⼤きなインパクトを与えました。この技術は、テキ ストと画像の相互作⽤をより深く理解することができる可能性があり、 従来の⼿法とは異なり、テキストと画像の間に相互作⽤を持たせるこ とができます。この点が注⽬された理由です。 拡散モデルLDMが⽤いられており、これは、2020年に提案された「ノ イズ除去拡散確率モデル」(DDPM)に基づいています。DDPMは、 ノイズ画像を徐々にノイズを除去していくことで、⾼品質な画像を⽣成 することができます。拡散モデルは、DDPMを発展させたものであり、よ
り⾼速で⾼品質な画像⽣成が実現できます。 画像⽣成において拡散モデルが重要な⼿法であることや、U-Netや ViTなどの画像⽣成や画像処理に⽤いられる⼿法との関連性にあり ます。これらの⼿法は、データサイエンティストが理解すべき重要な技 術です。Stable Diffusionの応⽤範囲は、ECサイトや医療分野な ど、ビジネスや社会の様々な分野で期待されています。 ςΩετ͔Β ߴ࣭ը૾ੜٕज़ ֦ࢄϞσϧʹΑΔ ߴߴ࣭ը૾ੜ ը૾ੜɾॲཧʹ͓͚Δ 4UBCMF%JGGVTJPOͷॏཁੑ
DALL·E 2 2022年2⽉に公開した⼈⼯知能のモデルで、 ⾃然⾔語の指⽰に応じて画像を⽣成する ことができる。以前に公開されたDALL·E というモデルの改良版で、より⾼品質で 多様な画像が⽣成できる。 Whisper ⽂字起こしサービスとして公開した無料 の⾳声認識モデルです。Webから収集し
た68万時間分の多⾔語⾳声データを教師 付きデータで学習させており、⾼い精度 で⼊⼒した⾳声を⽂字起こしが可能。 0QFO"*ͦͷଞͷϓϩμΫτ
None
ۚ༥ͰνϟϨϯδ͖͢͜ͱ ❏未知のデータ開拓 ❏⼤規模コンピューティングによる解析 ❏お互いにプライバシーを確保したままで分析
ۚ༥σʔλαΠΤϯεˍΤϯδχΞ
ʲએɿۙެ։ʳ<݄>ۚ༥ͱ0QFO"* https://fintech-engineer.connpass.com/event/276472