日期:2021-08-18 点击数:4238
以VR/AR/MR为代表的虚拟成像技术打破了数字虚拟世界与物理真实世界的界限,通过智能可穿戴交互设备能够基于具体场景及时、准确地给出相关信息及相应解决方案。(Virtual Reality)虚拟现实、AR(Augmented Reality)增强现实、MR(Mixed Reality)混合现实[1],这些技术在医学成像、外科手术、临床治疗、远程医疗、医学/健康教育等方面彰显价值,并进一步推动精准医疗。7月19日,第六届淘宝造物节上惊艳全场的“穿梭”沉浸式影像检查室和替代传统黑白胶片的电影级三维影像,是虚拟成像技术在医疗服务领域应用场景的一次华丽亮相。
VR/AR/MR在医疗服务领域的研发热点
超声检查是最安全且成本较低的医学诊断手段之一。基于AR的超声扫查引导平台能够针对超声扫查中的定位和图像采集问题,提供可在手持设备上运行的实景AR扫查指引,实现及时、标准化的超声图像采集和筛查a。
MR技术将计算机虚拟模型映射到用户所看到的真实世界场景中并与真实环境相混合,在不影响对真实环境的感知的同时开启了全息化视野。与3D打印技术相比,MR技术在时效性上优势明显——获取CT/MRI图像的DICOM格式数据后,制作3D打印模型至少需要10小时,而生成MR图像则只需数分钟[2]。此外,MR技术可用于图像观察部位的各种渲染、放大、切割和选择性可视化,从而使诊断更准确,治疗方案制定更快速。
当基于VR/AR/MR的全息可视化技术与医学影像数据进行融合时,传统的平面影像将转变为全息可视化投影,可将平面上的医学图像三维立体地呈现在医生所处的现实空间中,并使360°全方位观察、测量、操作成为可能。医生可以在虚拟模型上全面观察病变的细节、手术部位的解剖结构特征和周围毗邻组织,并且通过现实视角观察实际的外科手术情况,极大地提高了手术的安全性和精准性。在临床各亚专科,则有望将MR技术应用于手术方案规划和术中手术路径引导,提高手术的安全性和精准性。而将术前规划及术中导航与手术机器人相结合实现精细化手术操作,更将成为未来一大趋势。
研究表明,与使用文字和视频学习相比,VR的沉浸式培训可以显著提高教学效率[3]。借助MR/VR“化平面为立体”的能力将大大提升解剖学、外科学等课程的教学与学习效率。将MR生成的能表现各种症状与体征的“真实”患者全息图像用于临床情境模拟,有望取代笨重的模拟人装置,医学生能在无风险的情况下以高保真的方式接触临床实践[4]。初学复杂的临床操作时,佩戴AR眼镜后眼前呈现操作步骤的图文描述,依靠语音识别进行画面切换,能解放双手,有助于操作过程的连贯性。
除了对医生、医学生的教育培训外,VR/AR对医患沟通亦有帮助。例如,AR结合3D打印技术使患者佩戴AR眼镜后能直视病灶的位置和毗邻组织器官,将该技术用于术前谈话能提高患者的参与度和对谈话内容的理解力,有利于医患双方平等地进行信息交换。该技术用于术后跟踪、慢病管理,能让患者切身观察到修复过程并积极配合治疗。VR/AR的沉浸感、交互性,以及身临其境的真实感受,帮助患者理解复杂信息,熟悉治疗方案和预后自我管理要点,在患者教育领域具有强大的应用潜力。同时,在医疗消费新形式下,医疗机构愈加重视住院患者满意度,基于VR/AR的患教形式必将提升患者就医体验。
远程医疗主要包括远程会诊、远程手术、远程监控和慢病管理等。5G网络的高速率、大容量、低时延的特征为VR/AR/MR等新技术的应用提供了保障。医疗工作者通过佩戴智能眼镜以第一视角的方式实时向系统端直播现场视频,同时通过语音指令实现拍摄、病历调取,并以双向语音视频方式与远程专家进行交流。
远程手术的概念起源于20世纪70年代,美国航天局尝试解决对患病或受伤的宇航员进行手术的问题,通过操控机器人进行远距离手术随之兴起。近年来AR技术以其便捷性和相对较低的成本赋予了远程手术新的定义。在AR辅助下,两名外科医生或手术团队使用iPad或笔记本电脑等设备可以远程合作进行手术,允许专家指挥手术进程,为患者集结优势资源。全球各地的医师通过加入远程协作平台观看手术AR直播有助于交流经验、提高技能。
总之,虚拟成像技术有了5G网络的加持,在增加了可视度的同时减少了延迟风险,大大提高了远程诊断的准确性,这使远程医疗上了一个大的台阶。
2019年全国精神疾病流行病学调查结果显示,除痴呆外,我国精神疾病的终生发病率为16.6%[5]。精神疾病作为社会问题日益凸显,带来重大公共卫生负担。认知行为疗法和暴露疗法等是多种精神障碍疾病的主要治疗方式,但需要患者自行想象各种场景,受到主观能动性的影响,治疗效果因人而异。
VR技术在辅助治疗精神疾病方面有着很大优势。VR的虚拟环境能改善心理治疗环节中的不确定性。借助VR眼镜,患者能方便地进入医生设定的虚拟场景,在沉浸感中努力克服自身心理障碍。心理治疗的核心是让患者进入导致不利情绪的环境,并学习不同的思维、感觉和行为方式。VR可以模拟各种情况,并反复进入模拟环境,这对心理健康的治疗比较有效。有科学研究表明,VR有助于缓解某些恐惧症,帮助精神障碍患者在公共环境中减少偏执和焦虑以及社交焦虑b。
VR的治疗手段疗法可以单独使用,也可以作为一种额外的创新工具并推进现有的认知治疗。随机对照实验中,接受VR治疗的恐高症被试有了大幅度的缓和,平均减少幅度达到68.0%b。
在国外,VR被用于治疗退伍老兵的创伤后应激障碍(PTSD)、残障人士的幻肢痛、儿童多动症、自闭症、认知功能障碍等,对改善恐高症、幽闭恐惧症、飞机恐惧症亦有效。据网上公开信息,在我国,VR在精神疾病已经开花落地,借助沉浸式体验治疗社交恐惧症、孤独症的VR系统已在临床试用。作者从位于上海的大朋VR了解到,大鹏VR已经与北京安定医院、上海精神卫生中心、湖南湘雅医院进行了为期4年的VR精神状态评估方面的合作,已经为五千多人次进行了高准确率的临床精神状态评估。此外,经过专家认证的内置真人实景拍摄短片的“VR戒毒系统”已在浙江省戒毒所积累了数万人次病毒成瘾者的使用记录,效果显著,并向全国推广。
VR/AR头显正被用于通过VR/AR硬件或软件帮助改善世界各地人们的视力,帮助改善眼肌失衡和其他状况,其允许人们在家中复制临床治疗,为患者和诊所提供了一种具有成本效益的解决方案。
VR目前已经被用于识别斜视(眼肌失衡)、评估双眼视觉、治疗和抑制弱视(视力模糊)、治疗散光问题(无法将两只眼睛对准同一位置),另有公司通过将现实世界的视频投射到视网膜的工作部分来恢复视力已经恶化到无法修复的人的视力。
VR作为一种补救措施,也为视力已经无法恢复的人带来帮助,通过专为有眼睛和视力问题的人设计的头显,患有黄斑变性、青光眼或视网膜色素变性的人可以戴上头显观看自己喜欢的电视节目。它具有内置的调整功能,使他们能够放大和缩小以满足他们的观看需求。
已研发出能通过分析光线来诊断用户眼部健康的AR光学显示系统,借助可穿戴设备还原更加健康的视觉,用于治疗色盲、近视、远视、老花眼、散光、斜视弱视、高阶像差、眼压、屈光不正等多种眼部问题c。
屏幕是病原体聚集和传播的重要媒介,在疫情防控的需求下,对医疗机构的屏幕进行定期清洁大幅增加了保洁人员的工作量。将空中成像技术应用于门急诊大厅的医疗自助机可实现疫情期间智能、无接触的特殊需求,并将在后疫情时代持续提供高效、卫生的交互方式。借助虚拟屏幕、三围重建、多分屏挂片等技术,用户无需双手触碰“实体”屏幕即可隔空完成办卡发卡、充值缴费、就诊签到、凭证打印、发票打印等流程。同样地,借助虚拟屏幕构建的无接触情境也可满足手术室等其他对无菌技术要求的场所下的人机交互需求。
此外,VR对改善认知功能障碍、中风康复、术后或化疗患者症状缓解等也有用武之地。
科技赋能精准医疗已成创新趋势
医疗健康赛道一直是创新科技深耕的垂直领域。AI、云、大数据、5G、智能机器人等纷纷被应用于医疗健康行业,在药物研发、辅助诊疗、健康管理、医疗机器人、可穿戴设备、虚拟助手等领域纷纷崭露头角。VR/AR/MR+医疗的产品直接面对医务人员和患者,以临床实际需求为导向。依托5G和云技术,VR/AR/MR结合大数据、AI、手术机器人等前沿科技,能极大赋能精准医疗,提供精确临床解决方案。尽管目前虚拟成像技术在医疗领域的应用刚刚起步,但VR/AR/MR+医疗有望在不远的将来为医疗服务领域带来颠覆式变革。科技赋能精准医疗既是需求,亦是趋势。
VR/AR/MR+医疗的商业模式逐渐受资本市场认可
近年来主打“VR/AR/MR+医疗”业务的企业如雨后春笋般崛起,融资活动频繁。根据青亭网不完全统计,2020年度全球有13家企业获得融资用于VR/AR+医疗服务项目的研发(AR3家、VR10家)d。在刚刚过去的2021年7月,全球又有3起VR/AR+医疗领域融资并购e。据Markets & Markets分析,到2022年,全球医疗情景模拟软件和装备的全部市场份额将从2017年的12亿美元上升至25亿美元[6]。放眼香港联交所,已有以虚拟成像技术赋能精准医疗为产品的公司按18A规则递交招股书。
创新落地之路的机遇与挑战并存
实际临床和患者体验的需求、科学技术的进步、国际/国内资本的助力等综合因素为科技创新赋能精准医疗带来了机遇。医疗领域的创新技术壁垒高、产品费用大,加上长期以来形成的医疗习惯和观念需要时间进行改变,致使一些解决方案仍停留于临床阶段或商业化初期。同时,集采带来的潜在不确定性、各方对医疗新技术的不合理定位以及患者个人信息安全等问题也可能成为创新落地的障碍因素。通过在应用场景的整合中及时获取用户反馈, 将VR/AR/MR与医疗云、大数据、临床决策支持系统、医疗机器人等串联起来,也许能够叩开医疗行业一扇别有洞天的大门,迎接一个庞大的市场。
“以医疗数据为基础的科技创新,让临床经验得以更系统地积累、分享、传承。前沿医疗科技让临床医务工作者站在前人经验的肩膀上实施更为有效的、体验更好的医疗服务。医疗大数据、虚拟现实技术、人工智能乃至医疗机器人等科技手段为医生赋能,为患者提供更为精细、准确的医疗。为未来培养出更优秀的医务工作者,为更深层次的医疗科技变革做好准备,我们仍然肩负使命。”——张纪阳,复旦大学附属中山医院,大数据人工智能中心主任
关注公众号回复“进群”即可加入群聊
主办单位:深圳市增强现实技术应用协会
地址:深圳市宝安区兴东社区南天辉创研中心6楼
电话:18938893801 Email:Vip@szar.org.cn
《中华人民共和国电信与信息服务业务经营许可证》编号: 粤ICP备18013217号
关注微信公众号
手机查看