テクノフェスタ

テクノフェスタでの登壇資料です．

Transcript

1. 静岡大情報学部 片岩拓也 言葉を操る機械について 1 /9 片岩 拓也 静岡大学情報学部2年 LT大会用 2024年 11月 9日（土） 言葉を操る機械について ～言葉を機械で扱うには～
2. 静岡大情報学部 片岩拓也 言葉を操る機械について 2 /9 Sizuoka University 自己紹介 片岩拓也：情報社会学科2年 興味：機械学習の数理や，自然言語処理 甘いもの食べるのが好きです． 背景 背景 先行研究 実装 参考文献
3. 静岡大情報学部 片岩拓也 言葉を操る機械について 3 /9 Sizuoka University 昨今流行りのChatGPT……．その背景にあるのが， 自然言語処理技術（Natural Language Processing; NLP） 自然言語（ex, 英語, 日本語）をコンピュータ上で扱えるよう にする技術． 背景 背景 先行研究 実装 参考文献
4. 静岡大情報学部 片岩拓也 言葉を操る機械について 4 /9 Sizuoka University でも冷静に考えてみると…… 機械は簡単な計算しかできないはずなのに， どうやって言葉を操っているんだろう…？ という問いが浮かびます． 背景 背景 先行研究 実装 参考文献
5. 静岡大情報学部 片岩拓也 言葉を操る機械について 5 /9 Sizuoka University そもそも，NLPはここ十数年で飛躍的に発展した分野． まだまだ謎なことが多い． 「どうやって、言葉を理解しているの？」などのクリティカ ルな問いにはいまだに明確な答えは出ていない． ただ、世間が言うほど、わからないことだらけでもない． 背景 背景 先行研究 実装 参考文献
6. 静岡大情報学部 片岩拓也 言葉を操る機械について 6 /9 Sizuoka University NLPの三大発明品 ・言語の埋め込み Word2Vec [Mikolov 2014] ・注意機構 Attention [Bahdanau 2015] ・Transformer Attention is All You Need [Vaswani 2017] 背景 背景 先行研究 実装 参考文献
7. 静岡大情報学部 片岩拓也 言葉を操る機械について 7 /9 Sizuoka University NLPの三大発明品 ・言語の埋め込み Word2Vec [Mikolov 2014] ・注意機構 Attention [Bahdanau 2015] ・Transformer Attention is All You Need [Vaswani 2017] 今日はこの言語の埋め込みについて話します． 背景 背景 先行研究 実装 参考文献
8. 静岡大情報学部 片岩拓也 言葉を操る機械について 8 /9 Sizuoka University そもそも意味の埋め込みとは何か？（ざっくり） 意味的に似たもの同士は近くなるように， 単語を数字に変換する技術． これを使うと，機械に言葉を教えることができそう． 背景 背景 先行研究 実装 参考文献
9. 静岡大情報学部 片岩拓也 言葉を操る機械について 9 /9 Sizuoka University そもそも意味の埋め込みとは何か？（ざっくり） 意味的に似たもの同士は近くなるように， 単語を数字に変換する技術． これを使うと，機械に言葉を教えることができそう． →実際にベースになっている（といえる）． 背景 背景 先行研究 実装 参考文献
10. 静岡大情報学部 片岩拓也 言葉を操る機械について 10 /9 Sizuoka University 埋め込みはおおよそ2種類ある． ・静的埋め込み…… 単語のベクトルは一度学習してしまえば，変化しない． ・文脈付き埋め込み…… 入力する文の周りの単語によってベクトルが変化する． 背景 背景 先行研究 実装 参考文献
11. 静岡大情報学部 片岩拓也 言葉を操る機械について 11 /9 Sizuoka University そもそも意味の埋め込みとは何か？（きちんと） 文書中の単語の共起関係を学習するように， 類似単語同士が近くなるように単語にベクトルを 割り当てること．（とくに静的埋め込みの場合） 背景 背景 先行研究 実装 参考文献
12. 静岡大情報学部 片岩拓也 言葉を操る機械について 12 /9 Sizuoka University 先行研究 共起関係 (2-windowの場合) 研究室 で 自然言語処理 の 研究 を してみたい！ 共起 共起でない 共起の背景にはHarrisの意味分布仮説がある． 背景 先行研究 実装 参考文献
13. 静岡大情報学部 片岩拓也 言葉を操る機械について 13 /9 Sizuoka University 先行研究 意味分布仮説 “you shall know a word by the company it keeps” ～連れ立った仲間を見れば、言葉を知ることができる～ [Firth 1957] 背景 先行研究 実装 参考文献
14. 静岡大情報学部 片岩拓也 言葉を操る機械について 14 /9 Sizuoka University 先行研究 意味分布仮説 We found a little, hairy wampimuk sleeping behind the tree. Wampimukは存在しない単語だが、little（小さくて）hairy（毛むく じゃら）な存在（＝生きもの？）と予想できる． 背景 先行研究 実装 参考文献
15. 静岡大情報学部 片岩拓也 言葉を操る機械について 15 /9 Sizuoka University 先行研究 こうして意味分布仮説に基づいて言語をモデリング． →言葉がベクトル（数字の列）になる． ベクトル（数字の列）に直すと何が嬉しいの？ 機械学習モデルに入力できるようになる． 言葉を計算することができる．（距離や角度など） 背景 先行研究 実装 参考文献
16. 静岡大情報学部 片岩拓也 言葉を操る機械について 16 /9 Sizuoka University 先行研究 実際に計算すると 背景 先行研究 実装 参考文献
17. 静岡大情報学部 片岩拓也 言葉を操る機械について 17 /9 Sizuoka University 先行研究 実際に計算すると 背景 先行研究 実装 参考文献
18. 静岡大情報学部 片岩拓也 言葉を操る機械について 18 /9 Sizuoka University 先行研究 単語類似度 単語ベクトルの間の「角度」を測る． 背景 先行研究 実装 参考文献
19. 静岡大情報学部 片岩拓也 言葉を操る機械について 19 /9 Sizuoka University まとめ ・言語の埋め込みによって、言葉は計算可能になる． ・ただ、今回はもっとも基本的な部分だけ． ・そこから言葉を操る機械ができるまでには十分な先がある ので興味ある人はぜひ掘ってみてください． 背景 背景 先行研究 実装 参考文献
20. 静岡大情報学部 片岩拓也 言葉を操る機械について 20 /9 Sizuoka University 先行研究 実演 背景 先行研究 実装 参考文献
21. 静岡大情報学部 片岩拓也 言葉を操る機械について 21 /9 Sizuoka University 先行研究 PMI行列の特異値分解 [Levy&Goldberg 2014] PMI行列 単語ベクトル 文脈ベクトル 背景 先行研究 実装 参考文献
22. 静岡大情報学部 片岩拓也 言葉を操る機械について 22 /9 Sizuoka University 先行研究 PMI行列の特異値分解 [Levy&Goldberg 2014] PMI行列 単語ベクトル 文脈ベクトル 背景 先行研究 実装 参考文献 Skip-Gram with Negative Sampling(SGNS)と等しい
23. 静岡大情報学部 片岩拓也 言葉を操る機械について 23 /9 Sizuoka University 先行研究 1次元埋め込み [sato NACCL 2022] 単語は都市で，巡回経路が埋め込みと解釈する TSP（巡回セールスマン問題）として解くことができる 背景 先行研究 実装 参考文献