DÉCOUVRIR LA NEUROÉVOLUTION EN CRÉANT UNE VOITURE AUTONOME DANS SON NAVIGATEUR

Découvrir la neuroévolution en créant une voiture autonome dans son
navigateur @ChrisCamicas

Christophe Camicas @ChrisCamicas in/christophecamicas Senior Software Architect Streamer / Podcaster
Tech enthusiast Curious (Retro)Gamer

AI learn to play video games

2015 MarI/O @SethBling

2018 - DeepMind

Objectifs 1ST Apprendre 292768 2ND Pratiquer 220990 3RD Créer 186500
4TH S’amuser 179170

Complexité Collecter les données Développement long Entrainement trèèès long function
getPositions() marioX = memory.read_s16_le(0x94) marioY = memory.read_s16_le(0x96) local layer1x = memory.read_s16_le(0x1A); local layer1y = memory.read_s16_le(0x1C); screenX = marioX-layer1x screenY = marioY-layer1y

Navigateur ? JavaScript is the new BASIC Intelligence @ Edge
- alléger l'infra (les coûts) - utiliser la puissance de calcul locale - GPU / NPU - sécurisation des données

Creative Coding

<!DOCTYPE html> <html> <body> <script src="p5.min.js"></script> <script src="sketch.js"></script> </body> </html>
index.html

function setup() { createCanvas(800, 600) } function draw() { background(0)
} sketch.js

class Car { constructor(pos) { this.pos = pos.copy() this.vel =
createVector(0, 0) this.acc = createVector(0, 0) this.heading = 0 } }

M P O OP = OM + MP Arrivée -
Départ MP = OP - OM

draw() { stroke(0, 148, 255) // I'm blue strokeWeight(8) point(this.pos.x,
this.pos.y) strokeWeight(4) let h = p5.Vector.fromAngle(this.heading) h.setMag(10) h.add(this.pos) line(this.pos.x, this.pos.y, h.x, h.y) }

class Car { constructor(pos) { this.pos = pos.copy() this.vel =
createVector(0, 0) this.acc = createVector(0, 0) this.heading = 0 } }

Accélération Vitesse Position évolution position dans le temps évolution vitesse
dans le temps v = dOM / dt a = dv / dt

Accélération Vitesse Position évolue de a tous les ‘t’ évolue
de v tous les ‘t’

this.acc = p5.Vector.fromAngle(this.heading) this.vel.add(this.acc) this.pos.add(this.vel) Tous les ‘t’ Toutes les
frames

accelerate() { this.acc = p5.Vector.fromAngle(this.heading) this.acc.mult(0.1) } decelerate() { this.acc
= p5.Vector.fromAngle(this.heading) this.acc.mult(-0.1) } rotate(offset) { this.heading += offset this.acc.rotate(offset) this.vel.rotate(offset) }

class Wall { constructor(x1, y1, x2, y2) { this.start =
createVector(x1, y1) this.end = createVector(x2, y2) } }

RayCasting Pioupiou

class Car { constructor(...) { this.lidar = [] for (let
angle = 0; angle < TWO_PI; angle += TWO_PI / 8) { this.lidar.push(new Ray(angle)) } } }

On cherche t et u, tels que

Produit vectoriel (2D)

function cross2d(v1, v2) { return v1.x * v2.y - v2.x
* v1.y } const s = p5.Vector.sub(w.end, w.start) const t = cross2d(p5.Vector.sub(w.start, this.start), s) / cross2d(r, s) const u = cross2d(p5.Vector.sub(this.start, w.start), r) / cross2d(s, r)

8 entrées 4 actions

Distance Ray1 Distance Ray2 ... Input Layer Hidden Layer Output
Layer Accelerate Decelerate Turn left Turn right Where the magic happens

Layer Accelerate Decelerate Turn left Turn right

Neurone d1 d2 out w1 w2

Poids d1 d2 w1 w2 in out

Activation d1 d2 w1 w2 in out

Layer Accelerate Decelerate Turn left Turn right

Layer Accelerate Decelerate Turn left Turn right w1 … w8

Layer Accelerate Decelerate Turn left Turn right w1 … w8 w’1 … w’8 w”1 … w”8 …

Layer Accelerate Decelerate Turn left Turn right w 8x8 Tensor !

Layer Accelerate Decelerate Turn left Turn right w 8x8 Tensor ! w 4x8 Tensor !

Flow ! Tensor Tensor Tensor Tensor

let model = tf.sequential()

let model = tf.sequential() // hidden layer model.add(tf.layers.dense({ units: 8,
// 8 neurons inputShape: [8], // 8 inputs / lidars activation: 'relu6' }))

let model = tf.sequential() // hidden layer model.add(tf.layers.dense({ units: 8,
// 8 neurons inputShape: [8], // 8 inputs / lidars activation: 'relu6' })) // 1. convert all scores to probabilities // 2. sum of all probabilities is 1 model.add(tf.layers.dense({ units: 4, // 4 outputs ⬅➡⬆⬇ activation: 'softmax' }))

Evolution et Génétique

Algorithme évolutionniste • Inspiré de mécanismes naturels • Recherche d’une
solution approchée à un problème d’optimisation

Génétique • Variation • Adaptation • Hérédité

• Population ensemble de solutions possibles • Individu une des
solutions • Chromosome ensemble des caractéristiques • Gène codage d’une caractéristique

• Population • Individu • Chromosome • Gènes

cars = [] for (let i = 0; i <
POPULATION_SIZE; i++) { let car = new Car() cars.push(car) } Population

Variation tf.layers.dense({ kernelInitializer: 'randomNormal', biasInitializer: 'randomNormal'

Evolution Genèse Population Play the game Sélection Croisement Mutation

function roulettePick(parents, pick) { let current = 0 for (const
parent of parents) { current += parent.currentScore if (current > pick) { return parent } } } let pickA = random(0, totalFitness) let pickB = random(0, totalFitness) let parentA = roulettePick(bestCars, pickA) let parentB = roulettePick(bestCars, pickB)

Tensor Tensor Tensor Tensor

const myWeights = this.model.getWeights() const otherWeights = otherBrain.model.getWeights() for (let
i = 0; i < myWeights.length; i++) { let myTensor = myWeights[i] let otherTensor = otherWeights[i] let myValues = myTensor.dataSync().slice() let otherValues = otherTensor.dataSync().slice() for (let j = 0; j < myValues.length; j++) { if (j % 2 === 0) myValues[j] = otherValues[j] }

for (let i = 0; i < weights.length; i++) {
let tensor = weights[i] let values = tensor.dataSync().slice() for (let j = 0; j < values.length; j++) { if (random(1) < rate) { let w = values[j] //actual mutation values[j] = randomGaussian() } }

Takeaways A emporter

Une autre technique d’apprentissage Pas de dérivée Pas de gradient

Ça sert à quoi ? • Ordonnancement de tâches •
Collecte et distribution • Problème du voyageur de commerce • Motorola : tests automatisés ◦ Non régression ◦ Couverture de code • Sony Aibo

Et le reste ? • Reinforcement Learning Q-Learning, DDPG, …
• NEAT : Neuroevolution of Augmenting Topologies

AWS Deep Racer Deep Reinforcement Learning

Metacar Project metacar-project.com

To-Do App Learning Learn & Fun

DÉCOUVRIR LA NEUROÉVOLUTION EN CRÉANT UNE VOITURE AUTONOME DANS SON NAVIGATEUR

DÉCOUVRIR LA NEUROÉVOLUTION EN CRÉANT UNE VOITURE AUTONOME DANS SON NAVIGATEUR

Other Decks in Technology

Featured

Transcript