Следите за руками: Python, умные часы и нейронные сети

Глеб Ивашкевич @ MoscowPython 37

Умные часы и фитнес-браслеты могут показывать не только число шагов и время, но и много других вещей. Чтобы их извлечь, нам понадобится Python, машинное обучение и умение удивляться. Заодно узнаем, что нейронные сети в Python - это просто и быстро.

Transcript

1. Следите за руками: Python, умные часы и нейронные сети Глеб Ивашкевич независимый разработчик
2. Носимые устройства и безопасность Можно ли распознать ПИН-код с помощью умных часов? Да
3. Носимые устройства и безопасность Можно ли распознать ПИН-код с помощью умных часов? Да Каким образом? С помощью данных со встроенных сенсоров
4. Носимые устройства и безопасность Можно ли распознать ПИН-код с помощью умных часов? Да Каким образом? С помощью данных со встроенных сенсоров Это сложно? Нет
5. Носимые устройства и безопасность октябрь 2011 точность: 40% (по словам. топ10)
6. Носимые устройства и безопасность июнь 2016 сентябрь 2016
7. Восстановление ПИН-кода 22% - одна попытка, одно наблюдение 35% - три попытки, одно наблюдение 53% - три попытки, три наблюдения 0,03% - три попытки, наугад
8. Восстановление ПИН-кода акселерометр, гироскоп сверточная нейронная сеть ПИН-код 7 8 9 6 5 4 1 2 3 0 нажатия
9. Сбор данных: сенсоры часы: Sony SmartWatch 3 + приложение (Android Wear) сенсоры: акселерометр, гироскоп частота: ~50Hz (SENSOR_DELAY_GAME) количество: ~200K точек
10. Сбор данных: клавиши Linux, xinput: > xinput test-xi2 --root количество: 2K 4-значных комбинаций
11. Сбор данных: предобработка выравнивание: заданная комбинация клавиш частота семплинга: ресемплинг в 50Hz клавиши: все комбинации → номера классов
12. Сбор данных: обучающая выборка 8 1 5 7 1 81 81 8 15 5 57 57 7 номера классов (one-hot) сенсоры клавиши
13. Нейронная сеть: keras inpt = Input(shape=[SLICE_DT, 3]) x = Convolution1D(128, 3, activation='relu', border_mode='same')(inpt) x = MaxPooling1D(2, border_mode='same')(x) x = Dropout(0.5)(x) x = Convolution1D(128, 3, activation='relu', border_mode='same')(x) x = MaxPooling1D(2, border_mode='same')(x) x = Flatten()(x) x = Dropout(0.5)(x) x = Dense(Y.shape[1], activation='softmax')(x) model = Model(inpt, x) model.compile(optimizer='adagrad', loss='categorical_crossentropy') model.fit(Xtr, Ytr, nb_epoch=500, batch_size=BATCH_SIZE, shuffle=True, validation_data=(Xcv, Ycv) keras functional API сверточный слой max-pooling слой dropout слой тренировка
14. Нейронная сеть: keras - высокоуровневый интерфейс - поддержка GPU - прост в использовании - можно покопаться внутри
15. Нейронная сеть: предсказания 8 1 5 7 сенсоры 8 8 8 8 8 1 1 8 8 1 1 1 1 1 1 8 1 5 7 1 1 5 5 5 5 5 5 5 5 7 7 5 5 7 7 7 7 7 7 8
16. Нейронная сеть: good, ...
17. Нейронная сеть: bad, ...
18. Нейронная сеть: bad, ...
19. Восстановление ПИН-кода 22% - одна попытка, одно наблюдение 35% - три попытки, одно наблюдение 53% - три попытки, три наблюдения 0,03% - три попытки, наугад
20. Вопросы?