视觉障碍出行辅助仪 -The Third Eye

By 陈琢, 宋玉浩, 徐海坤, 2nd TechParty@UIC

Transcript

1. 视觉障碍出行辅助仪 视觉障碍出行辅助仪 视觉障碍出行辅助仪 视觉障碍出行辅助仪 视觉障碍出行辅助仪 视觉障碍出行辅助仪 视觉障碍出行辅助仪 视觉障碍出行辅助仪 -The Third Eye -The Third Eye -The Third Eye -The Third Eye -The Third Eye -The Third Eye -The Third Eye -The Third Eye 北京师范大学 北京师范大学 北京师范大学 北京师范大学 北京师范大学 北京师范大学 北京师范大学 北京师范大学- - - - - - - -香港浸会大学联合国际学院 香港浸会大学联合国际学院 香港浸会大学联合国际学院 香港浸会大学联合国际学院 香港浸会大学联合国际学院 香港浸会大学联合国际学院 香港浸会大学联合国际学院 香港浸会大学联合国际学院 BNU-HKBU United International College BNU-HKBU United International College BNU-HKBU United International College BNU-HKBU United International College BNU-HKBU United International College BNU-HKBU United International College BNU-HKBU United International College BNU-HKBU United International College 指导老师：唐新民老师 指导老师：唐新民老师 指导老师：唐新民老师 指导老师：唐新民老师 指导老师：唐新民老师 指导老师：唐新民老师 指导老师：唐新民老师 指导老师：唐新民老师 小组成员：徐海坤 小组成员：徐海坤 小组成员：徐海坤 小组成员：徐海坤 小组成员：徐海坤 小组成员：徐海坤 小组成员：徐海坤 小组成员：徐海坤 宋玉浩 宋玉浩 宋玉浩 宋玉浩 宋玉浩 宋玉浩 宋玉浩 宋玉浩 陈琢 陈琢 陈琢 陈琢 陈琢 陈琢 陈琢 陈琢
2. 视觉障碍人群 视觉障碍人群 视觉障碍人群 视觉障碍人群 0 2000 4000 6000 1980 1990 2000 2010 2020 中国视力残疾患者 人数/万 数据来源：世界卫生组织
3. 既然有如此庞大的基数， 为什么平时在路上看不到呢？ 困惑 困惑 困惑 困惑
4. 原因 原因 原因 原因 通过对珠海市特殊教育学校盲童班的实地采访， 我们发现他们热切的希望可以像正常人一样 出外行走。 只是，现实世界有太多东西使他们不方便在 外面活动。不是不想，而是不能。 做这一款产品就是希望可以在安全的前提下，尽可能准确地帮他们走到 外面的世界，即使双眼只剩黑暗，依然有心要沐浴阳光。 下面是我们第二次回访的时候拍的视频。
5. 视频 视频 视频 视频
6. 功能需求 功能需求 功能需求 功能需求 1.用语音控制和输出 2.障碍物的检测 3.地图查询和准确性 4.直线行走
7. 语音控制功能 语音控制功能 语音控制功能 语音控制功能 需求 需求 需求 需求 因为我们看不见，不能通过屏幕来使用系 因为我们看不见，不能通过屏幕来使用系 因为我们看不见，不能通过屏幕来使用系 因为我们看不见，不能通过屏幕来使用系 统。希望 统。希望 统。希望 统。希望有一种无阻碍的，方便我们操作 有一种无阻碍的，方便我们操作 有一种无阻碍的，方便我们操作 有一种无阻碍的，方便我们操作 的方式。 的方式。 的方式。 的方式。
8. • 语音识别 – 用户主要的输入方式 • 语音合成 – 获得系统信息 1. 1. 1. 1. 语音控制功能 语音控制功能 语音控制功能 语音控制功能 系统 通过声音 听 说
9. 说出语音内容 找到最接近的字词 分析声波 与默认语法配对 作为识别的内容 把内容输入系统 1.1 1.1 1.1 1.1 语音识别 语音识别 语音识别 语音识别 1. 1. 1. 1. 语音控制功能 语音控制功能 语音控制功能 语音控制功能
10. 语音识别率 语音识别率 语音识别率 语音识别率 • 麦克风设置 麦克风设置 麦克风设置 麦克风设置 – 麦克风类型 麦克风类型 麦克风类型 麦克风类型 – 用户习惯说话音量 用户习惯说话音量 用户习惯说话音量 用户习惯说话音量 • 语音训练 语音训练 语音训练 语音训练 – 让系统熟悉用户语音 让系统熟悉用户语音 让系统熟悉用户语音 让系统熟悉用户语音 语音训练次数 语音训练次数 语音训练次数 语音训练次数 0 0 0 0次 次 次 次 1 1 1 1次 次 次 次 3 3 3 3次 次 次 次 5 5 5 5次 次 次 次 多次 多次 多次 多次 语音识别率 40% 60% 70% 75% 通常只有 80% 1. 1. 1. 1. 语音控制功能 语音控制功能 语音控制功能 语音控制功能
11. • 字词声音相近 – 如：“第一个” “地沟” • 地方口音 • 环境噪音 低识别率因素 低识别率因素 低识别率因素 低识别率因素 1. 1. 1. 1. 语音控制功能 语音控制功能 语音控制功能 语音控制功能
12. 说出语音内容 找到最接近的字词 分析声波 与自定义语法配对 1.1 1.1 1.1 1.1 语音识别 语音识别 语音识别 语音识别 1. 1. 1. 1. 语音控制功能 语音控制功能 语音控制功能 语音控制功能 作为识别的内容 把内容输入系统
13. 系统自带语法（包含了所有字词） 自定义语法 （只包含特定的字词） 自定义语法 自定义语法 自定义语法 自定义语法 1. 1. 1. 1. 语音控制功能 语音控制功能 语音控制功能 语音控制功能 语法类型 语法类型 语法类型 语法类型 识别内容量 识别内容量 识别内容量 识别内容量 识别率 识别率 识别率 识别率 识别效率 识别效率 识别效率 识别效率 系统自带语法 所有字词 平均约75% 速度较低 自定义语法 特定字词 高达99% 反应迅速
14. •即时合成 •播出预先合成的WAV文件 1.2 1.2 1.2 1.2 语音合成 语音合成 语音合成 语音合成 1. 1. 1. 1. 语音控制功能 语音控制功能 语音控制功能 语音控制功能
15. • 确保用户安全 – 遇到障碍 – 偏离路线 • 系统优化 – 固定提示语音 响应时间差 响应时间差 响应时间差 响应时间差 1. 1. 1. 1. 语音控制功能 语音控制功能 语音控制功能 语音控制功能 合成类型 合成类型 合成类型 合成类型 播放内容 播放内容 播放内容 播放内容 响应效率 响应效率 响应效率 响应效率 举例 举例 举例 举例 即时合成 所有内容 相对较慢 当前时间， 当前地点… 播放WAV 指定内容 相对更快 "小心危险"， 开机提示语音
16. 地图导航功能 地图导航功能 地图导航功能 地图导航功能 需求 需求 需求 需求 能出门走走，去自己想去的地方。在行走 能出门走走，去自己想去的地方。在行走 能出门走走，去自己想去的地方。在行走 能出门走走，去自己想去的地方。在行走 的时候能得到一些提示，比如每走 的时候能得到一些提示，比如每走 的时候能得到一些提示，比如每走 的时候能得到一些提示，比如每走5 5 5 5米提 米提 米提 米提 示一次，让我知道我走的路是正确的。 示一次，让我知道我走的路是正确的。 示一次，让我知道我走的路是正确的。 示一次，让我知道我走的路是正确的。
17. 2. 2. 2. 2. 地图导航功能 地图导航功能 地图导航功能 地图导航功能 2.1 2.1 2.1 2.1 获取路线 获取路线 获取路线 获取路线
18. 2. 2. 2. 2. 地图导航功能 地图导航功能 地图导航功能 地图导航功能 2.2 2.2 2.2 2.2 优化路线 优化路线 优化路线 优化路线 两点之间都为直线 两点之间都为直线 两点之间都为直线 两点之间都为直线
19. 2. 2. 2. 2. 地图导航功能 地图导航功能 地图导航功能 地图导航功能 •行走的方向，直行还是拐弯。 行走的方向，直行还是拐弯。 行走的方向，直行还是拐弯。 行走的方向，直行还是拐弯。“ “ “ “从金凤路向北前行 从金凤路向北前行 从金凤路向北前行 从金凤路向北前行” ” ” ” •离下一位置的距离，每行走 离下一位置的距离，每行走 离下一位置的距离，每行走 离下一位置的距离，每行走10 10 10 10米提醒一次。 米提醒一次。 米提醒一次。 米提醒一次。“ “ “ “距离下 距离下 距离下 距离下 一点还有 一点还有 一点还有 一点还有212 212 212 212米 米 米 米” ” ” ” •报告当前位置。 报告当前位置。 报告当前位置。 报告当前位置。“ “ “ “当前位置唐家湾金凤路 当前位置唐家湾金凤路 当前位置唐家湾金凤路 当前位置唐家湾金凤路28 28 28 28号 号 号 号” ” ” ” 2.3 2.3 2.3 2.3 导航提示内容 导航提示内容 导航提示内容 导航提示内容
20. •软件： 软件： 软件： 软件：Google Map JavaScript API Google Map JavaScript API Google Map JavaScript API Google Map JavaScript API •硬件： 硬件： 硬件： 硬件：GPS GPS GPS GPS模块 模块 模块 模块 2. 2. 2. 2. 地图导航功能 地图导航功能 地图导航功能 地图导航功能 2.4 2.4 2.4 2.4 实现原理 实现原理 实现原理 实现原理
21. 检测障碍物功能 检测障碍物功能 检测障碍物功能 检测障碍物功能 需求 需求 需求 需求 出门安全第一，户外障碍物很多，没有人 出门安全第一，户外障碍物很多，没有人 出门安全第一，户外障碍物很多，没有人 出门安全第一，户外障碍物很多，没有人 提醒的情况下很容易撞到障碍物。对于我 提醒的情况下很容易撞到障碍物。对于我 提醒的情况下很容易撞到障碍物。对于我 提醒的情况下很容易撞到障碍物。对于我 们盲人来说，这是我们害怕出门的主要原 们盲人来说，这是我们害怕出门的主要原 们盲人来说，这是我们害怕出门的主要原 们盲人来说，这是我们害怕出门的主要原 因之一。 因之一。 因之一。 因之一。
22. 障碍物类型 障碍物类型 障碍物类型 障碍物类型 检测工具 检测工具 检测工具 检测工具 地平面上的 导盲杖 竖立在地面上的 导盲杖，超声波 举例 举例 举例 举例 悬空的 悬空的 悬空的 悬空的 超声波 辅助硬件：导盲杖，超声波 3. 3. 3. 3. 检测障碍物功能 检测障碍物功能 检测障碍物功能 检测障碍物功能
23. 需求：先做一个走直线的实验 和盲人出行一样，帮助盲人走直线的一般方法是： 1.导盲犬 2.导盲道 3.其他人帮忙 4. 4. 4. 4. 直线行走 直线行走 直线行走 直线行走功能 功能 功能 功能
24. 要获得当前面对的方向： 4. 4. 4. 4. 直线行走 直线行走 直线行走 直线行走功能 功能 功能 功能 4.1 4.1 4.1 4.1 姿态法实现 姿态法实现 姿态法实现 姿态法实现
25. 使用设备： 无线高速动作捕获传感器 返回数据类型 4. 4. 4. 4. 直线行走 直线行走 直线行走 直线行走功能 功能 功能 功能 4.2 4.2 4.2 4.2 获得姿态 获得姿态 获得姿态 获得姿态
26. • 四元数（Quaternions）:是最简单的超复数。 形如： 其中: 1 2 2 2 − = = = = ijk k j i -j = ik j = ki -i = kj i = jk -k = ji k = ij zk yj xi w Q + + + = 4. 4. 4. 4. 直线行走 直线行走 直线行走 直线行走功能 功能 功能 功能 4.3 4.3 4.3 4.3 四元数 四元数 四元数 四元数
27. 表示一个物体围绕一个轴的旋转，可以应用在 计算机图形学和航天航空学上： 1 * * ' − = Q V Q V 1 * * ' − = Q V Q V 4. 4. 4. 4. 直线行走 直线行走 直线行走 直线行走功能 功能 功能 功能 4.4 4.4 4.4 4.4 四元数 四元数 四元数 四元数
28. 再回到这一幅图： 4. 4. 4. 4. 直线行走 直线行走 直线行走 直线行走功能 功能 功能 功能 4.5 4.5 4.5 4.5 直线行走实现 直线行走实现 直线行走实现 直线行走实现
29. 项目演示
30. 系统不足 • 过马路时 – 告知红绿灯的当前状态 • 坐公交车时 – 提示汽车进站、出站以及其车次 但是这些需求可以由一些基础设施实现
31. 过马路 • 新型的红绿灯有声音 提示当前状态 • 斑马线盲道
32. 公交车 • 大连市“天耳系统” – 站点名字 – 车次信息 – 公交进、出站
33. 结论 • 没有一种机器可以完全代替人的眼睛。 • 失去了光明是一种无以言表的痛苦，而且 人群正在不断的扩大。 • 这类人群需要全社会的关怀。我们单单一 个系统，不能彻底帮助盲人安全地走到熙 熙攘攘的人群里。这个工作需要全社会共 同努力。
34. 谢谢观看