Slide 1

Slide 1 text

ώτͱ"*ͷڞੜɺͦͯ͠γϯΪϡϥϦςΟ ౦๺େֶۚଐࡐྉݚڀॴߨԋ 4ZNCJPTJTPGIVNBOBOE"* BOETJOHVMBSJUZ 4"*-BCגࣜձࣾ ୅දऔక໾զ࠺޾௕

Slide 2

Slide 2 text

ຊ೔ͷ಺༰ 4FDࣗݾ঺հ͜Ε·ͰͷาΈ 4FDਓ޻஌ೳͱ͸ʁ 4FDσΟʔϓϥʔχϯάΛ௒͑ͯ 4FD4"*-BCͷऔΓ૊Έ

Slide 3

Slide 3 text

Sec. 1 ࣗݾ঺հ + ͜Ε·ͰͷาΈ

Slide 4

Slide 4 text

ࣗݾ঺հ :VLJOBHB"[VNB
 ʢզ࠺޾௕ʣ 4"*-BCגࣜձࣾ୅දऔక໾ !ZVLZ@B[ ʮώτͱ"*ͷڞੜʯ͕ϛογϣϯ "*ؔ࿈ͷڭҭͱݚڀ։ൃʹैࣄ म࢜ϙευΫ·Ͱۚݚʹࡏ੶ ཧֶത࢜ ੈք࠷େͷΦϯϥΠϯڭҭϓϥοτϑΥʔϜ 6EFNZͰສਓΛࢦಋ

Slide 5

Slide 5 text

ஶॻ ग़൛ ग़൛

Slide 6

Slide 6 text

ʮ͸͡ΊͯͷσΟʔϓϥʔχϯάʯ͕ਓؾͰ͢ "NB[POͷͭͷΧςΰϦͰҐʂ ୈ࡮ɺ૿࡮ͷܾఆʂ

Slide 7

Slide 7 text

͜Ε·ͰͷาΈ 1. ⼤学院、ポスドク 2. ⼤企業勤務 3. フリーランス → ベンチャー 4. SAI-Lab株式会社の設⽴

Slide 8

Slide 8 text

େֶӃ → ϙευΫʢ-2007ʣ • 理学研究科物理学専攻 • 結晶の研究(SiGe、LiNbO3など) • 「界⾯」に対する関⼼ • etc…

Slide 9

Slide 9 text

େاۀʹۈ຿ʢ-2012ʣ • 株式会社SUMCOに勤務 • 勤務地は⼭形→佐賀 • シリコンウェハーの研究開発 • etc…

Slide 10

Slide 10 text

ϑϦʔϥϯε → ϕϯνϟʔʢ-2018ʣ • iPhone⽤アプリの開発 • App Storeに30本以上アプリをリリース • プログラミング、AIの講師 • 教育⽤ビジュアルプログラミング⾔語の開発 • iOSDC2016-2018への登壇 • バーチャルリアリティ(VR)関連のベンチャーに勤務 • etc…

Slide 11

Slide 11 text

SAI-Labגࣜձࣾͷઃཱʢ2018ʣ • ⼈⼯知能関連の教育、研究開発 • Udemyで複数の⼈⼯知能講座を展開、受講⽣2.3万⼈ • ⽇本ディープラーニング協会、エンジニア資格の講師 • 書籍「はじめてのディープラーニング」の出版 • 企業研修、コンテンツの提供 • etc…

Slide 12

Slide 12 text

ͳͥਓ޻஌ೳͳͷ͔ʁ ൚༻ੑͱ͸ʁ σϯΩ΢φΪ ಄ͷ௚ۙʹᡗ໳ɺ಄෇ۙʹ಺ଁ͕ѹॖ ༡ӭͷͨΊͷے೑͸Θ͔ͣ ௕͍ମͷେ෦෼͸ൃిث׭ ʮൃిʯʹಛԽͨ͠ੜ͖෺ ώτ ೴͕ΧϩϦʔͷఔ౓Λফඅ ώτҎ֎ͷྶ௕ྨ͸ఔ౓ ૬ରతʹےྗ͕௿Լɺໟൽ΍Ӷ͍௺Λ΋ͨͳ͍ ʮ஌ೳʯʹಛԽͨ͠ੜ͖෺ σϯΩ΢φΪ - Wikipedia

Slide 13

Slide 13 text

ʮ஌ೳʯͷ࣋ͭڪΔ΂͖൚༻ੑ • ⾼度な⾔語を⽤いることで、集団での協調や⽂化の伝播、伝承が可能に • ⾃然のメカニズムの理解により⾼度な道具の使⽤が可能に • ⾷物連鎖の頂点に。他の哺乳類と⽐較して圧倒的な個体数。 • ヒトは70億、チンパンジーは25万程度 • 「⼈新世」の始まり • etc… ʮ஌ೳʯͷຊ࣭Λɺநग़Ͱ͖ͳ͍ͩΖ͏͔ʁ

Slide 14

Slide 14 text

Sec. 2 ਓ޻஌ೳͱ͸ʁ

Slide 15

Slide 15 text

ਓ޻஌ೳʢAIɺArtificial intelligenceʣͱ͸ʁ • ⾃ら考える⼒が備わっているコンピュータのプログラム • コンピュータによる知的な情報処理システム • ⽣物の知能、もしくはその延⻑線上にあるものを再現する技術

Slide 16

Slide 16 text

AIͷྺ࢙: ୈ1࣍AIϒʔϜ 1950೥୅ʙ1960೥୅ https://ja.wikipedia.org/wiki/アラン・チューリング アラン・チューリング マービン・ミンスキー https://ja.wikipedia.org/wiki/マービン・ミンスキー

Slide 17

Slide 17 text

AIͷྺ࢙: ୈ2࣍AIϒʔϜ 1980೥୅ʙ1990೥୅൒͹ • エキスパートシステムの誕⽣ → ⼀部であれば実際の問題に対しても専⾨家と同様の判断が下せるようになった → 膨⼤な量のルールの作成と⼊⼒が必要、曖昧な事柄に極端に弱い • バックプロパゲーションの誕⽣ → アメリカの認知学者デビッド・ラメルハートらが提唱

Slide 18

Slide 18 text

ୈ3࣍AIϒʔϜ: 2000೥୅ʙ • シンギュラリティ → 2005年にアメリカの未来学者レイ・カーツワイルが提唱 → 指数関数的に⾼度化する⼈⼯知能が2045年頃にヒトを凌駕するという概念 • ディープラーニングの登場 → 2006年にジェフリー・ヒントンらが提案 → 2012年、画像認識のコンテストILSVRCにおいて、ヒントンが率いる トロント⼤学のチームがディープラーニングにより優勝

Slide 19

Slide 19 text

AIͷະདྷ 脳のリバースエンジニアリング ⽣命全体をシミュレートする「⼈⼯⽣命」 量⼦コンピュータを利⽤した⼈⼯知能 脳とデバイスのインターフェイス ディープラーニングによる遺伝⼦の研究 etc... シンギュラリティは来るのか︖

Slide 20

Slide 20 text

ਓ޻஌ೳ(AI)ɺػցֶशɺσΟʔϓϥʔχϯά ⼈⼯知能 (AI) 機械学習 ディープラーニング

Slide 21

Slide 21 text

ڧ͍AIͱऑ͍AI • 強いAI(汎⽤⼈⼯知能) →⽣物(特にヒト)の知能に迫るAI e.g. ドラえもん、鉄腕アトム、C-3POなど • 弱いAI(特化型⼈⼯知能) →限定的な問題解決や推論 e.g. チェスや将棋のAI、画像認識など

Slide 22

Slide 22 text

ਓ޻஌ೳͷ༻్ʢऑ͍AIʣ 画像処理 →物体認識、画像⽣成 ⾳声、会話 →⾳声認識、会話エンジン ⽂章の認識、⽂章の作成 →チャットロボット、⼩説の執筆 機械制御 →⾃動運転、産業⽤ロボット 作曲、絵画などのアート →⾃動作曲、画⾵の模倣 etc…

Slide 23

Slide 23 text

ਓ޻஌ೳͷछྨ 機械学習 →コンピュータが経験、学習を⾏う 遺伝的アルゴリズム →⽣物の遺伝⼦を模倣、アルゴリズムが突然変異及び交配する 群知能 →⽣物の群れを模倣、個体の集合体が⾼度な振る舞い ファジイ制御、エキスパートシステム、etc…

Slide 24

Slide 24 text

ػցֶशͱ͸ ⼈⼯知能の⼀分野 コンピュータプログラムが経験、学習を⾏うシステム

Slide 25

Slide 25 text

ػցֶशͷΞϧΰϦζϜ 強化学習 →報酬が最も⾼い⽅法を学習 決定⽊ →枝分かれでデータを分類 ニューラルネットワーク →脳の神経細胞ネットワークを模倣 サポートベクターマシン、K近傍法、etc…

Slide 26

Slide 26 text

ਆܦࡉ๔ʢχϡʔϩϯʣ マウスの⼤脳新⽪質における神経細胞 ニューラルネットワークは、⽣物の神経細胞ネットワークを模倣

Slide 27

Slide 27 text

ਆܦࡉ๔ͷωοτϫʔΫ 出⼒ ⼊⼒ ニューロン 樹状突起 ヒトの脳には1000億個の神経細胞 100兆個の結合(シナプス) シナプス 軸索

Slide 28

Slide 28 text

ίϯϐϡʔλ্ʹ͓͚Δਆܦࡉ๔ͷϞσϧԽ • ⼈⼯ニューロン (Artificial neuron) • ⼈⼯ニューラルネットワーク (Artificial neural network)

Slide 29

Slide 29 text

ਓ޻χϡʔϩϯͷ࢓૊Έ x: ニューロンへの⼊⼒ w: 重み ೖྗ ೖྗ ೖྗ ग़ྗ χϡʔϩϯ ॏΈ όΠΞε ׆ੑԽؔ਺

Slide 30

Slide 30 text

χϡʔϥϧωοτϫʔΫ ⼊⼒ 出⼒ 層 ニューロン

Slide 31

Slide 31 text

χϡʔϥϧωοτϫʔΫͷදݱྗ Y࠲ඪ Z࠲ඪ ग़ྗ χϡʔϩϯ Y࠲ඪ

Slide 32

Slide 32 text

χϡʔϥϧωοτϫʔΫͷ֓ཁ • ⽣物の神経細胞ネットワークを模倣 • 単純な⼈⼯ニューロンを層状に組むことにより構築される • ニューロンの数、層の数が増えると表現⼒が増加

Slide 33

Slide 33 text

σΟʔϓϥʔχϯάͱ͸ 多層で構成されるニューラルネットワークを⽤いた機械学習 層 ⼊⼒ 出⼒

Slide 34

Slide 34 text

όοΫϓϩύήʔγϣϯʹΑΔֶश ⼊⼒ 出⼒ バックプロパゲーション 情報がネットワークを遡上することによりネットワークが学習する

Slide 35

Slide 35 text

GoogLeNet oss as the classifier (pre- as the main classifier, but ng network is depicted in ined using the DistBe- ing system using mod- rallelism. Although we n only, a rough estimate work could be trained to GPUs within a week, the usage. Our training used escent with 0.9 momen- ule (decreasing the learn- lyak averaging [13] was at inference time. e changed substantially ompetition, and already with other options, some- d hyperparameters, such Therefore, it is hard to most effective single way ate matters further, some on smaller relative crops, [8]. Still, one prescrip- y well after the competi- sized patches of the im- y between 8% and 100% constrained to the inter- photometric distortions to combat overfitting to data. fication Challenge n challenge involves the ne of 1000 leaf-node cat- There are about 1.2 mil- r validation and 100,000 is associated with one mance is measured based predictions. Two num- -1 accuracy rate, which the first predicted class, mpares the ground truth es: an image is deemed input Conv 7x7+2(S) MaxPool 3x3+2(S) LocalRespNorm Conv 1x1+1(V) Conv 3x3+1(S) LocalRespNorm MaxPool 3x3+2(S) Conv 1x1+1(S) Conv 1x1+1(S) Conv 1x1+1(S) MaxPool 3x3+1(S) DepthConcat Conv 3x3+1(S) Conv 5x5+1(S) Conv 1x1+1(S) Conv 1x1+1(S) Conv 1x1+1(S) Conv 1x1+1(S) MaxPool 3x3+1(S) DepthConcat Conv 3x3+1(S) Conv 5x5+1(S) Conv 1x1+1(S) MaxPool 3x3+2(S) Conv 1x1+1(S) Conv 1x1+1(S) Conv 1x1+1(S) MaxPool 3x3+1(S) DepthConcat Conv 3x3+1(S) Conv 5x5+1(S) Conv 1x1+1(S) Conv 1x1+1(S) Conv 1x1+1(S) Conv 1x1+1(S) MaxPool 3x3+1(S) AveragePool 5x5+3(V) DepthConcat Conv 3x3+1(S) Conv 5x5+1(S) Conv 1x1+1(S) Conv 1x1+1(S) Conv 1x1+1(S) Conv 1x1+1(S) MaxPool 3x3+1(S) DepthConcat Conv 3x3+1(S) Conv 5x5+1(S) Conv 1x1+1(S) Conv 1x1+1(S) Conv 1x1+1(S) Conv 1x1+1(S) MaxPool 3x3+1(S) DepthConcat Conv 3x3+1(S) Conv 5x5+1(S) Conv 1x1+1(S) Conv 1x1+1(S) Conv 1x1+1(S) Conv 1x1+1(S) MaxPool 3x3+1(S) AveragePool 5x5+3(V) DepthConcat Conv 3x3+1(S) Conv 5x5+1(S) Conv 1x1+1(S) MaxPool 3x3+2(S) Conv 1x1+1(S) Conv 1x1+1(S) Conv 1x1+1(S) MaxPool 3x3+1(S) DepthConcat Conv 3x3+1(S) Conv 5x5+1(S) Conv 1x1+1(S) Conv 1x1+1(S) Conv 1x1+1(S) Conv 1x1+1(S) MaxPool 3x3+1(S) DepthConcat Conv 3x3+1(S) Conv 5x5+1(S) Conv 1x1+1(S) AveragePool 7x7+1(V) FC Conv 1x1+1(S) FC FC SoftmaxActivation softmax0 Conv 1x1+1(S) FC FC SoftmaxActivation softmax1 SoftmaxActivation softmax2 Figure 3: GoogLeNet network with all the bells and whistles. ⼤規模画像認識コンペティション ILSVRCで2014年に優勝 C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, and A. Rabinovich. Going deeper with convolutions. In CVPR, 2015.

Slide 36

Slide 36 text

όοΫϓϩύήʔγϣϯʹΑΔχϡʔϥϧωοτϫʔΫͷֶश ೖྗ ग़ྗ ٯ఻೻ ਖ਼ղ ޡࠩ ॏΈͱόΠΞεͷߋ৽ ܁Γฦ͢ 誤差が⼩さくなるように、重みとバイアスを更新(訓練)していく XॏΈ Бֶश܎਺ &ޡࠩ

Slide 37

Slide 37 text

ɹχϡʔϥϧωοτϫʔΫʹΑΔը૾෼ྨͷྫ ΧΤσ Πνϣ΢ ππδ ೖྗ 訓練済みのネットワークは、画像の分類などが可能になる

Slide 38

Slide 38 text

χϡʔϥϧωοτϫʔΫֶ͕श͢Δ༷ࢠ Y࠲ඪ Z࠲ඪ ೖྗ૚ தؒ૚ ग़ྗ૚ ਖ਼ղ஋ΛTJOؔ਺ ͱֶͯ͠श

Slide 39

Slide 39 text

σΟʔϓϥʔχϯάͷ֓ཁ • 多層のNNで重みとバイアスを調整し、誤差を最⼩にする • ⾦属のアニーリングに似ている︖ • 畳み込みニューラルネットワーク(CNN)はヒトの視神経を モデルにした特殊な層を持つ • 再帰型ニューラルネットワーク(RNN)は層がループ構造を 持ち、⽂章などの時系列データを扱うのが得意

Slide 40

Slide 40 text

χϡʔϥϧωοτϫʔΫͷ൚Խੑೳ: ཧ૝తͳྫ ܇࿅ճ਺ ܇࿅σʔλ ະ஌ͷσʔλ ޡࠩ 未知のデータにも⾼い性能を発揮

Slide 41

Slide 41 text

χϡʔϥϧωοτϫʔΫͷ൚Խੑೳ: աֶशͷൃੜ ޡࠩ ޡࠩ ܇࿅σʔλ ܇࿅σʔλ ܇࿅ճ਺ ܇࿅ճ਺ ະ஌ͷσʔλ ະ஌ͷσʔλ ネットワークが訓練データに過剰に適合する(過学習)

Slide 42

Slide 42 text

աֶशͱ൚Խੑೳ • ニューラルネットワークは、特定のデータに過剰に適合してしま うことがある(過学習) • ニューラルネットワークが汎化性能を保つためには、数多くの多 様なデータで学習を⾏うのが望ましい • ネットワークの汎化性能を向上させる、様々なテクニックがある
 (例: ドロップアウト) • 様々な現象を「過学習」で説明することができる

Slide 43

Slide 43 text

͜͜·Ͱͷ·ͱΊ • ニューラルネットワークは⽣物の神経細胞ネットワークをモデルにし ている。 • ただし、バックプロパゲーションは脳内で起きていない可能性が⾼い • ディープラーニングは特化型⼈⼯知能。特定の問題に対してのみ有効 に機能する。 • 誤差が⼩さくなるように、各パラメータを調整することを繰り返す • 未知のデータに対応できるようにするために、汎化性能が⼤事

Slide 44

Slide 44 text

Sec. 3 σΟʔϓϥʔχϯάΛ௒͑ͯ

Slide 45

Slide 45 text

σΟʔϓϥʔχϯάͷ໰୊఺ • 特化型⼈⼯知能であるため「汎⽤性」がない • 脳ではバックプロパゲーションが観察されていない • アルゴリズムによる集中制御(⇔ 分散制御)

Slide 46

Slide 46 text

σΟʔϓϥʔχϯάΛ௒͑ͯ • 深層強化学習 • 群知能と創発 • 無脊椎⽣物に学ぶ • グリア細胞に注⽬

Slide 47

Slide 47 text

ਂ૚ڧԽֶशͱ͸ʁ ディープラーニングを利⽤した強化学習

Slide 48

Slide 48 text

೴ͱػցֶश • ⼤脳 
 → 教師なし学習(正解なし) • ⼩脳
 → 教師あり学習(正解あり) • ⼤脳基底核
 → 強化学習(正解なし) େ೴ খ೴ େ೴جఈ֩

Slide 49

Slide 49 text

೴ͱڧԽֶश ೥୅ޙ൒ͷ4DIVMU[ത࢜ΒʹΑΔߦಈ࣮ݧ ˠ࣮ࡍʹαϧͷ೴ʹిۃΛࢗͯ͠ɺχϡʔϩϯͷ׆ಈΛه࿥͢Δ ˠ೴ͷ͋Δ෦Ґʹ͓͚ΔυʔύϛϯΛ์ग़͢Δχϡʔϩϯͷ ׆ಈλΠϛϯά͕ɺ՝୊ͷֶशલޙͰมԽ͢Δ ˠ͜Ε͸ɺڧԽֶशͱΑ͘ࣅ͍ͯΔ

Slide 50

Slide 50 text

ਓ޻஌ೳ(AI)ɺػցֶशɺڧԽֶश ਓ޻஌ೳ "* ػցֶश σΟʔϓϥʔχ ϯά ڧԽֶश

Slide 51

Slide 51 text

ڧԽֶशͱ͸ʁ •機械学習の⼀種 •試⾏錯誤を通じて「環境において最も報酬が得られ やすい⾏動」を「エージェント」が学習する ߦಈ ใु ΤʔδΣϯτ ؀ڥ ֶश

Slide 52

Slide 52 text

ڧԽֶशʹඞཁͳ֓೦ 1. ⾏動(action) 2. 状態(state) 3. 報酬(reward) 4UBSU (PBM : : エージェント : 環境

Slide 53

Slide 53 text

1. ߦಈʢactionʣ •エージェントが環境に働きかけること •迷路の例で⾔えば、エージェントが迷路 内を移動すること •複数の⾏動の中から1つを選択する 4UBSU (PBM

Slide 54

Slide 54 text

2. ঢ়ଶʢstateʣ •エージェントが環境において置かれた状態 •迷路の例で⾔えば、エージェントの位置 S1-S9が状態 •⾏動によって状態は変化する 4 4 4 4 4 4 4 4 4

Slide 55

Slide 55 text

3. ใुʢrewardʣ wΤʔδΣϯτ͕ड͚औΔใु w໎࿏ͷྫͰݴ͑͹ɺΤʔδΣϯτ͕ΰʔϧ ʹ౸ୡ͢Ε͹ͷใुɻΤʔδΣϯτ͕᠘ ʹ౸ୡ͢Ε͹ͷใुɻ wใुΛ΋ͱʹɺ࠷దͳߦಈΛֶश͍ͯ͘͠ 4UBSU (PBM

Slide 56

Slide 56 text

Qֶश •Q学習は、強化学習の⼀種で、各状態と⾏動の組み合わせ にQ値を設定 •エージェントは最もQ値の⾼い⾏動を選択する •Q-Tableの各値が最適化されることで学習する ˢ ˣ ˡ ˠ 4 4 4 ʜ ʜ ʜ ʜ ʜ 4 4 4 4 4 4 4 4 4 25BCMF

Slide 57

Slide 57 text

Q஋ͷߋ৽ w ߦಈͷ݁ՌɺಘΒΕͨใुͱ࣍ͷঢ়ଶͰ࠷େͷ
 2஋ʢׂΓҾ͘ʣ͔Βݱࡏͷ2஋Λࠩ͠Ҿ͘ w ͜Εʹֶश܎਺ʢͳͲʣΛ͔͚ͯ2஋ͷߋ৽ྔͱ͢Δ 4UBSU (PBM 2஋ͷߋ৽ྔֶश܎਺Y ใुׂҾ཰Y࣍ͷঢ়ଶͰ࠷େͷ2஋ݱࡏͷ2஋ ߦಈʹΑΔ2஋ͷߋ৽

Slide 58

Slide 58 text

Qֶशͷ໰୊఺ 扱う状態の数が多いとQ-Tableが巨⼤になり 学習がうまく進まなくなってしまう ˢ ˣ ˡ ˠ 4 4 ʜ ʜ ʜ ʜ ʜ 4

Slide 59

Slide 59 text

ਂ૚ڧԽֶश ڧԽֶशʹਂ૚ֶशʢσΟʔϓϥʔχϯάʣΛऔΓೖΕͨͷ͕ਂ૚ڧԽֶश
 %FFQ2/FUXPSL %2/ ͸ਂ૚ڧԽֶशͷҰछͰɺ 25BCMFͷ୅ΘΓʹχϡʔϥϧωοτϫʔΫΛ࢖༻͢Δ ˢ ˣ ˡ ˠ 4 4 4 ʜ ʜ ʜ ʜ ʜ

Slide 60

Slide 60 text

ʜ ঢ়ଶst ϓϨʔϠʔͷҐஔ ϓϨʔϠʔͷ଎౓ ఢΩϟϥͷҐஔ ఢΩϟϥͷ଎౓ ɹ2 st, ߦಈ ɹ2 st, ߦಈ ɹ2 st, ߦಈ Deep Q-NetworkʢDQNʣ χϡʔϥϧωοτϫʔΫͰɺঢ়ଶ͔Β֤ߦಈͷ2஋ΛٻΊΔ

Slide 61

Slide 61 text

Cart Pole໰୊ Cart Pole問題は強化学習の古典的な問題 Cartを左右に移動させて、上に乗ったPoleが倒れないようにする $BSU 1PMF 状態: Cartの位置 Cartの速度 Poleの⾓度 Poleの⾓速度 ⾏動: Cartを左に動かす Cartを右に動かす

Slide 62

Slide 62 text

Q-Tableͷ࣮૷ 2ֶशΛ༻͍Δ ؆୯ʹ͢ΔͨΊʹɺ1PMFͷ֯౓ͱ֯଎౓ͷΈ͔Βঢ়ଶ ΛܾΊΔ 1PMFͷ֯౓ɺ֯଎౓ΛͦΕͧΕʹ෼͚ͯ σδλϧԽ ঢ়ଶͷ਺͸Y௨Γ ˡ ˠ 4 4 ʜ ʜ ʜ 4 25BCMF

Slide 63

Slide 63 text

ใुʹ͍ͭͯ $BSU 1PMF $BSU 1PMF ϑϨʔϜΩʔϓͰ͖ͨΒใु ›܏͍ͨΒใु

Slide 64

Slide 64 text

Demo: Cart Pole໰୊ -Qֶश-

Slide 65

Slide 65 text

ʜ ঢ়ଶst ϓϨʔϠʔͷҐஔ ϓϨʔϠʔͷ଎౓ ఢΩϟϥͷҐஔ ఢΩϟϥͷ଎౓ ɹ2 st, ߦಈ ɹ2 st, ߦಈ ɹ2 st, ߦಈ ٯ఻೻ʹΑΔֶश Deep Q-NetworkʢDQNʣ ૚

Slide 66

Slide 66 text

χϡʔϥϧωοτϫʔΫͷߏ੒ ೖྗ૚ தؒ૚ தؒ૚ ग़ྗ૚ O O 1PMFͷ֯౓ 1PMFͷ֯଎౓ 2஋ʢࠨʹಈ͘ʣ 2஋ʢӈʹಈ͘ʣ

Slide 67

Slide 67 text

Demo: Cart Pole໰୊ -Deep Q-Network-

Slide 68

Slide 68 text

ΤʔδΣϯτͷઓུ ͿΔͿΔҠಈ࡞ઓ

Slide 69

Slide 69 text

ΤʔδΣϯτͷઓུ εΠον࡞ઓ

Slide 70

Slide 70 text

ΤʔδΣϯτͷઓུ Χ΢ϯλʔΞλοΫ

Slide 71

Slide 71 text

ਓ޻஌ೳͱʮཉٻʯ • AIは⽣物と違い、⽣来の「欲求」を持たない • 正の報酬、負の報酬
 → 快楽や痛み、感情のようなもの • 強化学習においては、AIが「感情のようなもの」に基づき ⾏動を修正することが可能 • 感情(︖)に基づき⾏動することで、創造⼒のようなもの が発揮される

Slide 72

Slide 72 text

܈஌ೳͱ૑ൃ ܈஌ೳ͸ਓ޻஌ೳͷҰछɺूஂͱ ͯ͠ߴ౓ͳৼΔ෣͍ ௗͷ܈Ε ૑ൃ͸֤ݸମͷੑ࣭ͷ୯७ͳ૯࿨ʹ ͱͲ·Βͳ͍ੑ࣭͕ɺશମͱͯ͠ݱΕΔ͜ͱ γϩΞϦͷ௩ IUUQTKBXJLJQFEJBPSHXJLJ૑ൃ

Slide 73

Slide 73 text

܈஌ೳ: 3ͭͷϧʔϧͷಋೖ a: 等距離: 各個体が等距離を保つように動く b: 並⾏: 各個体が他の個体と同じ向きになるように動く c: 等速: 各個体は他の個体と同じ速度になるように動く

Slide 74

Slide 74 text

܈஌ೳ: ਺ࣜԽ B౳ڑ཭ Cฒߦ D౳଎౓ ֯౓ͷมԽ ֯౓ͷมԽ ଎౓ͷมԽ

Slide 75

Slide 75 text

σϞ: ܈஌ೳ α=0.03 β=−0.35 γ=0.005 α=0.16 β=0 γ=0.005 α=0.025 β=0.2 γ=0.005

Slide 76

Slide 76 text

஌ೳͷʮ૑ൃʯ • 単純なルールに従う個体が集合することで、機能が創発する • 脳は⼀種の群知能。個々の神経細胞は単純な機能しか持たない。 • ⼈⼯ニューラルネットワークも⼀種の群知能

Slide 77

Slide 77 text

ແ੸௣ੜ෺ʹֶͿ • 頭⾜類の知能
 → 腕に多くの神経細胞を持つ、分散型の知能
 → タコの神経細胞数は5億、2/3が腕に存在 • 昆⾍の知能
 → 約4600個しか神経細胞を持たない寄⽣バチ
 (アザミウマタマゴバチの⼀種)
 → ハチやアリの群知能

Slide 78

Slide 78 text

ແ੸௣ੜ෺ʹֶͿ • 線⾍の知能
 → 線⾍の⼀種、C・エレガンスは体細胞 約1000個のうち300個が神経細胞
 → 神経細胞のすべての接続が明らかに なっている https://ja.wikipedia.org/wiki/ΧΤϊϥϒσΟςΟεɾΤϨΨϯε

Slide 79

Slide 79 text

ແ੸௣ੜ෺ʹֶͿ • 単細胞⽣物の知能
 → 障害物でゾウリムシの動きが反転
 → 化学物質や電気信号による細菌同⼠のコミニケーション
 → 迷路を解く粘菌

Slide 80

Slide 80 text

୯ࡉ๔ੜ෺ͷγϛϡϨʔγϣϯ ⽣命の最⼩限の定義 a. ⾃⼰複製ができる b. 外部と代謝(物質のやりとり)ができる c. 遺伝⼦が存在し、遺伝⼦が⼀定以上異なる個体は別種とみなされる

Slide 81

Slide 81 text

γϛϡϨʔγϣϯͷϧʔϧ 1. 個体がある⼀定以上の⼤きさになると分裂する。
 2. 分裂の際に、個体の遺伝⼦が複製される。その際わずかな遺伝⼦の変異が ランダムに起きる。
 3. 遺伝⼦には、個体の動くスピード、個体の⼤きさ、個体の⾁⾷性を決定す る3つのものがある。
 4. ある特定のエリアにおいて、個体にリソースが補給される。 そのゾーン以外では補給されない。補給速度は⾁⾷度が⾼くなると低下する。

Slide 82

Slide 82 text

γϛϡϨʔγϣϯͷϧʔϧ 5. 遺伝⼦が⼀定以上異なる個体が重なっていると、その個体を他種とみなし捕⾷⾏動が ⾏われる。捕⾷速度は⾁⾷度が⾼くなる、もしくは個体サイズが⼤きくなると向上する。 捕⾷活動により被捕⾷者からはリソースが奪われ、捕⾷者に与えられる。 6. 個体は、体の⼤きさに応じた速度でリソースを消費する。 7. 個体は、移動速度に応じた速度でリソースを消費する。

Slide 83

Slide 83 text

γϛϡϨʔγϣϯͷϧʔϧ 8. 4.5.6.7.によって獲得、もしくは消費されたリソースの合計値が正であればその値に 応じて個体のサイズが拡⼤し、合計値が負であればその値に応じて個体のサイズは縮⼩ する。 9. サイズが⼀定の値以下になった個体は死亡したとみなされる。 10. 各個体はランダムウォークで移動するが、予め設定した境界より外に移動すること はできない。

Slide 84

Slide 84 text

σϞ: ୯ࡉ๔ੜ෺ͷγϛϡϨʔγϣϯ https://www.youtube.com/watch?v=TZHDfr969ZM

Slide 85

Slide 85 text

γϛϡϨʔγϣϯ͔Βֶ΂Δ͜ͱ • 多様性の⾼く活気のある状態を経て、やがて系は
 「収束 = 死」を迎える • ディープラーニングは、「死」の状態への過程。汎⽤性がな いのはこのためか︖ • 系を継続的に活性化するにはどうしたらいいか︖
 → 系を解放系にする
 → 環境に変化を加える

Slide 86

Slide 86 text

ʮάϦΞࡉ๔ʯʹ஫໨ • グリア細胞とは、神経系における神経細胞以外の細胞 • グリア細胞の⼀種、アストロサイトはシナプスにおける学習に少 なくない影響を与えている • 他のアストロサイトとCa2+濃度を⽤いて情報伝達を⾏っている • 神経細胞ネットワーク以外のネットワークが、脳に存在

Slide 87

Slide 87 text

τϥΠύʔλΠτγφϓε • シナプス前後の細胞、及びアストロサイト三つの細胞で⼀つの シナプス機能を担うという考え⽅ IUUQTKBXJLJQFEJBPSHXJLJάϦΞࡉ๔

Slide 88

Slide 88 text

ਓ޻஌ೳ͕ʮ൚༻ੑʯΛಘΔͨΊʹ͸ʁ •「指揮者のいない即興オーケストラ」 → 集中制御よりも、分散制御 → 「感情」に基づく学習 → 知能の「創発」を起こす •ネットワークに宿る⽣命性 → 系をダイナミックに保つ仕組み → ⼈⼯知能にも「死」が必要か︖

Slide 89

Slide 89 text

Sec. 4 SAI-LabͷऔΓ૊Έ

Slide 90

Slide 90 text

SAI-Labͷϛογϣϯ 「ヒトとAIの共⽣」 https://sai-lab.co.jp/mission-vision/ AIの「教育」と「研究開発」を⾏う

Slide 91

Slide 91 text

AIͷʮڭҭʯ • 世界最⼤の動画教育プラットフォーム「Udemy」で複数の AI講座を展開、2.3万⼈の受講⽣ • 企業へAI関連の研修、AI教育コンテンツの提供 • 執筆、講演活動 限りなく多くの⽅に、AIを学ぶことの恩恵を与える

Slide 92

Slide 92 text

AIؔ࿈ͷݚڀ։ൃ ⽣命性を宿す、チャットボットの開発 ニューラルネットワークB ニューラルネットワークA ⽂章を表すベクトル ネットワークのダイナミックさ(≒汎⽤性)をどのように保つか

Slide 93

Slide 93 text

࠷ޙʹ࣭໰: 30೥ޙͷAI • AIは単なるツールなのか︖ • AIは新たな「⽣物種」なのか︖ • ヒトとAIは、融合するのか︖

Slide 94

Slide 94 text

͝੩ௌɺ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂ The best way to the predict the future is to invent it. アラン=ケイ