从 Swift 到机器学习

Transcript

1. 从 Swift 到 机器器学习 CreateML - Swifter 通向 ML 的⾦金金钥匙 王 巍 (onevcat) 2018.09.15, @Swift Conf.
2. 后移动开发时代 Google Trends: “iOS Develop”
3. WWDC 2013
4. 转变⼀一般都会带来痛苦
5. 如何评价 2017 年年初华为开始「清理理」34 岁以上的职员？ 程序员能纯靠技术渡过中年年危机吗？ 程序员30岁之前年年薪不不到40W，再不不转⾏行行都晚了了？ iOS 末路路了了吗，我找⼯工作两个⽉月，没⼈人要 35 岁做不不到管理理就等于失业
6. 我(们)的出路路在哪⾥里里
7. 我(们)的出路路在哪⾥里里 ⼤大前端 React Native Weex ⼩小程序 Flutter 机器器学习 深度学习 计算机视觉 ⾃自然语⾔言处理理 ⻛风格化图像处理理
8. 其余的出路路 区块链 P2P信贷 做个快乐的肥宅
9. 做个快乐的肥宅
10. I have an idea!
11. App: 普尔亚后援会 • 使⽤用相机或者照⽚片库 • 识别照⽚片中的普尔亚⼿手势 • 收集到三张照⽚片获得奖励
12. HOW?
13. 我(们)的出路路在哪⾥里里 ⼤大前端 React Native Weex ⼩小程序 Flutter 机器器学习 深度学习 计算机视觉 ⾃自然语⾔言处理理 ⻛风格化图像处理理
14. CreateML WWDC 2018 Session 703 https://developer.apple.com/videos/play/wwdc2018/703/
15. ⼀一般流程 准备数据 训练模型 评估模型
16. ⼀一般流程 准备数据 训练模型 评估模型 图⽚片 + 分类标签 准备训练数据 (train set) 和验证数据 (validation set) 调整参数 寻找使训练数据具有最⼩小误差值的⼀一组参数 使⽤用验证数据对模型准确率评估
18. ⼀一般流程 准备数据 训练模型 评估模型
19. CreateML 到底做了了什什么
20. mlmodel https://apple.github.io/coremltools/coremlspecification/index.html Protocol Buffers 序列列化的模型描述 layer 类型，权重等
21. ~KB 迁移学习 VisionFeaturePrint_Scene mlmodel VisionFeaturePrint_Scene 只存在于 iOS 12, macOS 10.14 Vision 框架背后的特征提取 17KB in Demo Transfer Learning
23. ✅ VisionFeaturePrint_Scene VisionFeaturePrint_Screen
24. Core ML Community Tools
26. visionFeaturePrint glmClassifier
27. 开始定义 pipeline 输⼊入 299x299 保留留特性的同时限制处理理时间 内置模型 (特征提取) 2048 个特征的数组 (1, 2048) ⼴广义线性模型 (GLM) (2048, 1)，与特征点乘得到结果
28. 发⽣生了了什什么
29. Turi
30. Turi • 2013, 成⽴立 • 2016, Apple 以 2 亿美元收购 • 2017, 开源, ⽀支持 Metal 和 macOS GPU 加速 • 2018, 部分集成⼊入 Apple Developer Toolkit (Xcode) • 未来, 更更多的学习任务… 基于学习任务的 “傻⽠瓜式” 机器器学习框架
31. ⼏几个问题
32. VisionFeaturePrint 集成在 iOS 12 和 macOS 10.14 中 问题 No.1
33. Core ML - iOS 11 • CoreML 从 iOS 11 开始⽀支持 • ⽆无法读取 CreateML 创建的带有 VisionFeaturePrint 的模型
34. Core ML - iOS 11 使⽤用 TuriCreate 的其他模型进⾏行行特征提取 可以得到与 CreateML 相近的结果
35. https://github.com/apple/turicreate
36. Demo
38. ~ 90+ MB
39. 过拟合，准确率 问题 No.2
40. ⼀一个⾼高度 的模型 Overfitting 过拟合
41. 过拟合
42. 过拟合 训练数据严重不不⾜足 只来源于单⼀一⼈人员和单⼀一场景 对于⾮非该⼈人员的识别相当低效 默认的训练⽅方式只对最后⼀一层进⾏行行训练 特征提取模型中不不包含对应特征
43. 0 22.5 45 67.5 90 0 5 10 15 20 准确率
44. 默认特征提取模型下 增加训练数据，可以达到 85% 左右
45. 卷积神经⽹网络和特征提取
46. 抽象特征 (边缘，线条，⻆角度) 具体特征 (眼睛，⿐鼻⼦子，⽿耳朵)
47. CreateML (Turi) 的迁移学习 只对最后⼀一层进⾏行行训练 抽象特征 泛⽤用性 具体特征 专⽤用性
48. 调整若⼲干层卷积层参数 进⾏行行迁移学习
49. CreateML / Turi
50. 更更加“可操控”的学习⽅方式
51. 更更加“可操控”的学习⽅方式
52. 92% 左右的正确率
53. ⼀一些客户端 ML 的 实际应⽤用
54. Super-Resolution SRCNN
55. https://speakerdeck.com/kenmaz/super-resolution-with-coreml-at-try-swift-tokyo-2018 SRCNNKit from DeNA
56. https://github.com/DeNA/SRCNNKit
57. 在漫画之外使⽤用 1. 专⻔门的训练数据 2. 通过预处理理提取场景特征 (⼈人物，⻛风景，UI) 3.更更多的层数
58. ⾳音乐情绪识别
59. 从⾳音乐的曲调和节奏识别⾳音乐情绪 Music Keyword 梁梁祝 温柔婉转 命运交响曲 激情雄壮 ⼩小苹果 轻松欢快
60. 其他场景 • 本地垃圾短信识别 • 游戏 AI (GameplayKit) • 专⽤用的图像分类/识别 • etc…
61. 总结 • ⼩小模型，Client Side ML 的关键 • 对于既有特征表现⾮非常出⾊色 (ImageNet Category) • 简单，⽆无脑，拖拽式得到可⽤用模型 • 对⼯工程师友好，可以在 client 本机编译 (下载更更新模型)
62. 总结 • 只适⽤用于特定任务 (图⽚片分类/⾃自然语⾔言处理理/回归分析) • TuriCreate 只能有限扩展 (使⽤用第三⽅方模型, ⻛风格化图 ⽚片滤镜等) • ⽆无法处理理⾃自定义模型，或者更更⼀一般化的任务
63. ⼀一些资源 Awesome Core ML Models https://github.com/likedan/Awesome-CoreML-Models Machine Learning for iOS https://github.com/alexsosn/iOS_ML Apple Machine Learning Journal https://machinelearning.apple.com Kraggle https://www.kaggle.com Machine Learning (Turi) - Coursera https://coursera.org/specializations/machine-learning Deep Learning with Python https://www.manning.com/books/deep-learning-with-python
64. 谢谢！: ] @onevcat, me@onev.cat