盲人的春天——视觉导航与虚拟陪同系统

盲人的春天——视觉导航与虚拟陪同系统

做者 | 葛松 林衍旎 许胜勇

世界卫生组织陈述展现，中国有700多万盲人[1]。但在北京、上海等大城市，公家场所已经很少看到盲人。次要原因是盲人很难适应富贵而复杂的现代城市活动，好比在没有陪同的前提下单独乘坐公交车、地铁，盲人也难以在功用八门五花的现代商城里单独完成购物、食饭和娱乐等日常活动。

除了人们熟悉的盲文、手杖和导盲犬等搀扶帮助盲人和视觉障碍人群的路子，科学家、工程师和医生也结合起来通过两大类手艺途径研发了多款复杂的人工视觉辅助系统[2]。第一类试图用高科技手段重建后天失盲者的部门视觉，并由受试者本身完成图像揣度而做出响应动作。第二类是运用现代传感手艺获取情况信息，并转化成指令后传输给盲人，协助盲人动作。

第一类人工视觉辅助安装次要包罗视网膜植进安装和大脑视觉皮层植进安装。前者称为“人工视网膜植进手艺”（或“视网膜假体”）[3]，核心器件的植进位置分为视网膜前、视网膜下、脉络膜上等。以2013年获准上市的Argus II人工视网膜系统[4]为例，操纵外部摄像机捕获图像并处置、压缩编码，用植进视网膜前的微电极阵列输出电脉冲。每个电极的输出电脉冲可激发受试者视网膜上响应位置的神经结细胞，经由视觉神经束传送激发神经信号到视觉皮层、产生一个暗中布景中的漫射白光斑。该系统的电极阵列像素为60，受试者在经数月操练可模糊辨识诸如门框的一些高比照度物体外形。因器件工艺复杂、价格高贵（大约15万美圆）、现实效果欠佳，Argus II系统已于2019年停行销售。而全球列国研发的其他十多种人工视网膜安装，大都处于试验阶段，鲜有后续停顿[2]。在大脑视觉皮层，或者在视神经束侧面植进电极阵列引发视觉响应的研究，也都处于早期阶段[2]。

第二类人工视觉辅助系统，次要长短植进式、可穿戴安装。好比早期的声纳探测设备[5]、超声波手杖[6]，以及2021年斯坦福大学研发的装备GPS和陀螺仪的盲杖[7]等。那些安装功用相对简单、指令模糊，不克不及适应现代城市复杂的情况和路况，因而难以普及。2012年的“谷歌眼镜”在摘集情况图像后，共同微型芯片处置器、AI图像解读软件和天然语音输出功用，具备了批示盲人部门日常生活的功用[8]。此外，还有“舌感视觉”的有趣测验考试，操纵安设在舌头外表的微电极阵列停止图形化刺激、让受试者“辨识”外界物体外形[2]。当然，如许的安装障碍了说话和饮食，也不随便普及。

展开全文

图1“长途盲人导航与陪同”手艺途径示企图

可输出触觉振动编码的可佩带振动安装可贴附在头部、颈部、腰部、手腕、脚踝等多处。图2是一张佩带我们的“导航与陪同安装”、眼睛被全数遮挡的一位实地测试人员在超市购物的照片，她佩带的振动安装在鸭舌帽下柔性的内胆里，包罗的11个振动马达被安拆在差别头顶方位。佩带测试安装的受试者在外看上与几乎一般路人无异。

图2 测试人员佩带“虚拟陪同安装”、眼睛被全数遮挡，在一个小超市购物

那里简单阐明本系统中，后台人员指令摘用触觉编码体例引导前方利用者动作的原因。寡所周知，触觉在神经系统进化过程中占据重要位置。早于视觉系统，触觉在生物体觅觅食物、躲避损害、求偶、逃生等功用里发扬了决定性感化。而人体全身皮肤任何位点的触觉感知都与大脑皮层负责触觉的区域构成逐个对应关系，在触觉皮层的三维地图上占据一个并世无双的坐标点。操纵那个特征，在身体的头部、颈部等区域安拆贴附皮肤的振动马达或者刺激电极阵列安装，就能够构成具有“空间矢量”特征的触觉编码[9]。

以半球形的头皮触觉安装为例，研究发现头皮区域的触觉空间辨认率在2~3 cm，比背部略好。基于头顶半球形皮肤相关于眼睛的固定空间方位，佩带者可以天然辨认安拆在差别位置的振动马达所表达的前、后、左、右等触觉编码，并构成肢体动做快速响应。利用者颠末10分钟操练，其动作准确性即可超越九成。而仅内置4个振动马达的颈环安装，就能够通过“空间矢量”形式加上时间序列的触觉编码，向利用者准确、高效传输动作指令、符号信息和文字信息[9]。如许的触觉指令具有隐蔽功用，能够零丁利用，也能够与语音指令并用。

几种利用场景简介

该系统先由在读大学生在校园里做了大量测试，测试场景包罗走廊、操场、校园巷子等。在系统优化和触觉指令优化之后，我们得到一位31岁的全盲意愿者协助，在北京海淀区某大街人行道上做了现实测试。该意愿者因患有先本性白内障，一岁时手术失败致全盲，目前在一家推拿院工做。他在佩带头部触觉指令拆之后，在路边空地颠末半小时熟悉指令的操练进修，就在实在的人行街道处做L型（曲行加转弯测试）道路行走测试，由我们团队的后台长途发出动作指令，获得了称心的测试成果。意愿者行走过程中，需要遁藏来往的行人、制止与停靠的车辆、路边的台阶和树木等碰碰，也要及时转弯。该盲人佩带系统安装实测视频如下。尝试表白，盲人能够准确承受触觉指令，而且根据指令指示动作，以在一些路况简单的道路上平安行走。

比力有挑战的是在全盲前提下，佩带系统安装，由长途后台发出触觉编码指令，来协助利用者在现实生活场地骑自行车。我们在校园里做了测试，在有若干曲角转弯的路段、狭隘弯曲的公园巷子等场地，多名受试者均能顺利完成骑行，未发作摔倒碰碰。图3是此中一个现场照片。

图3 在北京某大学校园测试长途盲人导航系统骑自行车

其他已经做了大量测试的利用场景包罗超市购物、咖啡厅买咖啡和找座位等。好比，超市购物涉及的指令除了和行走避障，还有左转、右转、蹲下、挑选商品等。咖啡厅买咖啡并就座，涉及到的指令除了和行走避障测试不异的导航指令，还有左转、右转、拿取、手前后摆布挪动指令。该系统也能用于准确引导手部运动。现实场景测试包罗取水、搭积木、拼图、打扑克牌等，均获得称心效果。

展看

据统计，全球中度或重度目力受损或失明者人数已超2亿，因而搀扶帮助他们参与各项社会活动、进步生活量量，具有重要的现实意义，任重道远。相关于见诸报导的超声手杖、超声鞋、舌上触觉阵列辨识物体外形等手艺计划，以及将视觉图像实时处置后语音输出指令的盲人眼镜系统，本文提出的将视觉图像转化成触觉编码指令并辅以语音描述的长途导航系统，更具有效性和平安性，系统其实不高贵，有普及妥帖的浩荡前景。

1.WHO, “Vision Impairment and Blindness,” 2018 [M/OL][2021-10-17].

2.林衍旎,葛松,杨娜娜,等.人工视觉辅助系统：现状与展看.生物化学与生物物理停顿,2021,48(11):1316-1336

4.Humayun M S, Dorn J D, Da Cruz L, et al. Interim results from the international trial of second sight'svisual prosthesis. Ophthalmology, 2012, 119(4): 779-788

5.Brabyn J A. New developments in mobility and orientation aids for the blind. IEEE Trans Biomed Eng, 1982, 29(4): 285-289

6.Hoyle B, Waters D. Mobility AT: the batcane (UltraCane) //Hersh M A, Johnson M A. Assistive Technology for Visually Impaired and Blind People. London: Springer London. 2008: 209-229

7.Patrick S, Arjun T, Mykel J K. Multimodal sensing and intuitive steering assistance improve navigation and mobility for people with impaired vision. Sci Robot, 2021,6(59):eabg6594

8.Pedersen I, Trueman D. Sergey Brin is Batman: google's project glass and the instigation of computer adoption in popular culture. In CHI '13 Extended Abstracts on Human Factors in Computing Systems (CHI EA '13). Association for Computing Machinery, New York, NY, USA, 2013:2089-2098

9.Lin Y N, Li Y C, Ge S, et al. Three-dimensional encoding approach for wearable tactile communication devices. Sensors, 2022, 22(24): 9568