人工知能界隈の変遷

クリエイター広場第4回用

Transcript

1. 人工知能界隈の変遷 第4回クリエイター広場 モデル構造とAIのニュースから第三次AIブームの歴史をふりかえる
2. 田邉　純佳（ぴよ） Web系のエンジニア9年→法人設立 社会人大学生で数理最適化を研究 中。フルスタックだったけど今はPM と経営メイン。鳥が好き。 プロフィール @piyo_sleeping
3. 話す ・AIの全体像 ・第三次AIブーム初期から今までのト レンドやモデルについて 今日話すこと話さないこと 話さない ・モデルの論文解説 ・実際の実装 ・プロダクトをどう作るか
4. 話す ・AIの全体像 ・第三次AIブーム初期から今までのト レンドやモデルについて 話さない ・モデルの論文解説 ・実際の実装 ・プロダクトをどう作るか 歴史やモデル概要 今日話すこと話さないこと 実装やLLM
5. AI基礎知識
6. AIとは AI（人工知能） ルールベース ルールや判断基準を自分た ちが決める。辞書を作って マッチングしたり、人手で if文をかいたり 統計学を利用 大量データから統計的に解析してルールを設定 機械学習 人が特徴量を設定 し、何かのモデルで 統計的に分類や予測 深層学習 特徴から全て自動で 分類や予測 教師あり学習 教師なし学習 強化学習
7. 1 2 3 4 5 ちらばっているデータを集めたり、CSVなどにまとめたり データ整形 はずれ値の処理、分布をいい感じにする、ベクトル化など データ前処理 タスクごとに最適なモデルを選定したり、モデルを作成したり モデル選択/作成 教師データを用いて学習→評価を繰り返して前処理やモデルを改良。最 後にハイパーパラメータのチューニング モデル訓練/評価/ハイパラチューニング デプロイし実データに対応できるよう改善していく デプロイと改善 AI開発の流れ
8. 画像処理 ・ResNet ・AlexNet ・VGG AIがとけるタスクとモデル 自然言語処理 ・GPT-3 ・BERT ・T5 音声認識 ・DeepSpeech ・WaveNet 物体/顔認識 ・Yolo ・FaceNet その他 ・自動運転 ・ゲームプレイ ・翻訳 強化学習 ・DQN ・PPO ・A3C 生成モデル ・GANs ・VAEs
9. 分類 ・SVN ・ランダムフォ レスト おまけ　機械学習のタスクとモデル 回帰 ・線形回帰 ・NN クラスタリング ・K-means 時系列分析 ・ARIMA ・LSTM(深層学 習） 確率系 ・ベイズ推定 ・最尤推定 レコメンデーシ ョン ・協調フィルタ リング ・バンディット 自然言語処理 （おまけ） ・TF-IDF ・コサイン類似 度 画像処理（おまけ） ・sift特徴量 ・hog特徴量 ・openCVにあるよ うなやつ
10. 画像処理 ・ガウスぼかし ・リサイズ、回 転、 ・コントラスト 調整 ・2値化やカラ ーバランス調整 おまけ：前処理について 自然言語処理 ・トークン化 ・ストップワー ド削除 ・形態素解析 ・ベクトル化 音声処理 ・フーリエ変換 通常の数値デー タ ・欠損データ補 完や削除 ・標準化や正規 化 ・外れ値処理
11. AI関連のニュース（全体） 第1次AIブーム ・チューリングテスト ・ELIZA 第2次AIブーム 1960年 1980年 ・エキスパートシステム ・バックプロパゲーション （ニューラルネットワーク 使えるように） ・ディープブルーがチェス の世界チャンピオンに勝利 （IBM） 1990年 第3次AIブーム ・機械学習 ・ビックデータ ・深層学習 ・ワトソンがクイズ王に勝 利（IBM） ・アルファ碁がトップクラ ス棋士に勝利 最近 Chat-GPT登場 ・Co-pilot ・画像自動生成 ・音声自動生成 ・AIの民主化 資源枯渇 AI オワコン説 ルールベ ース限界
12. 自然言語処理界隈の歴史
13. 2013年 2014年 2015年 2017年 主なモデルのトレンド Word embedding ・ Bag-of-Words（疎なベ クトル）とskip gram ・RNNやLSTMによる時系 列データの取り扱い sequens-to-sequence ・エンコーダーデコーダー モデル（機械翻訳に強い） ・エンコーダーもデコーダ ーもRNNを用いている ・長文対応できない Attention ・系列データの特定の部分 に注意をむける（hidden statusを直接デコーダーか ら参照できる。翻訳前の元 ネタを直接参照する） Transformer ・multi head attentionと いう特徴的なパーツがある ・BERT, GPTモデルのもと となったモデル
14. モデル解説 GPT BERT
15. モデル解説 GPT BERT ・文章中の一部の単語マスクして、前後 のテキストを予測に用いる ・文章中の一部の単語マスクして、それ 以降のテキストを予測に用いる ・要約や対話など、文章生成が得意 ・ ファインチューニングがとても楽 （few-shot） ・文脈理解や、パラグラフから答え探す のが得意 ・ ファインチューニングは数百個程度 のデータは必要
16. 手作業 RNN BERT GPTたち 自然言語界隈まとめ ・ 自力で特徴量を作 る ・統計処理でなんとか 分類 ・ データは自分で作 る ・いい感じに特徴量込 みでモデルがなんとか してくれる ・ pre-training, fine-tuningでほぼデ ータ不要に ・どんなタスクもだい たい解ける ・ もっとデータ不要 に ・どんなタスクもだい たい解ける ・一般人は使えない ・モデル構造自体を工夫する ・データ用意が楽で誰でも使える ・データ量とモデル規模で殴る 規模で殴 る時代 ・ 人間のニューロン の数と同じパラメータ 数 ・結果知識習得できて いる「ように見える」
17. 会 社 名 W e b サ イ ト T w i t t e r う ぐ い す ソ リ ュ ー シ ョ ン ズ h t t p s : / / u g u i s u - s o l u t i o n s . c o m / @ p i y o _ s l e e p i n g 気になったら連絡ください！ ・ 一 緒 に 会 社 づ く り し ま し ょ う ！ （ 創 業 メ ン バ ー 募 集 中 ） ・ 3 年 目 〜 の エ ン ジ ニ ア を 募 集 し て い ま す ・ フ ロ ン ト 強 い / L L M 強 い 人 は 別 の 会 社 も 手 伝 っ て 欲 し い 会 社 が あ り ま す
18. 会 社 名 W e b サ イ ト T w i t t e r う ぐ い す ソ リ ュ ー シ ョ ン ズ h t t p s : / / u g u i s u - s o l u t i o n s . c o m / @ p i y o _ s l e e p i n g 気になったら連絡ください！ ・ 一 緒 に 会 社 づ く り し ま し ょ う ！ （ 創 業 メ ン バ ー 募 集 中 ） ・ 3 年 目 〜 の エ ン ジ ニ ア を 募 集 し て い ま す ・ フ ロ ン ト 強 い / L L M 強 い 人 は 別 の 会 社 も 手 伝 っ て 欲 し い 会 社 が あ り ま す でもAIじゃなくてWeb開発の会社です！笑 (生成AIできる人は副業でもほしい）
19. 参考文献 ・ U n d e r s t a n d i n g L S T M N e t w o r k s （ h t t p s : / / c o l a h . g i t h u b . i o / p o s t s / 2 0 1 5 - 0 8 - U n d e r s t a n d i n g - L S T M s / ） ・ O c t O p t 技 術 ブ ロ グ （ h t t p s : / / b l o g . o c t o p t . c o m / s e q u e n c e - t o - s e q u e n c e / ） ・ A s h i s h V a s w a n i ら , A t t e n t i o n I s A l l Y o u N e e d , 2 0 1 7
20. おわり