日期
09/07
2022
咨询
  • QQ扫一扫

  • Vision小助手
    (CMVU)

虹科AR医疗解决方案应用大盘点
收藏
2022-09-07 14:51:16来源: 中国机器视觉网

近几年,新冠肺炎疫情席卷全球,迫使医院、护理机构和其他医疗卫生从业者不得不开辟一种新途径来应对物理接触不便所带来的种种困难。远程医疗这种方兴未艾的患者护理和治疗方式,在疫情环境下得到了公众愈加广泛的认识与认可,许多医疗中心开始探索来自AR领域远程协助的魅力,利用AR硬件设备(眼镜)与软件应用开展医疗卫生工作,在不影响治疗、护理质量的情况下更加安全高效地为患者提供服务。

AR+医疗,创造医学未来

1.让医疗也能“免提”

2.让专家无处不在

3.让优质医疗培训遍地开花

4.助力医疗行业突破性发展

让医疗也能“免提”

医生最关心的是病人,AR智能眼镜让医生可以完全解放双手并专注于他们的工作。这意味着医生可以随时在智能眼镜上保存患者的统计数据并进行相关的注释说明,并且不用停下与患者的沟通或检查。这消除了对大量屏幕和监控设备的需求,也可以确保患者的敏感数据能够保密。

可以通过语音命令控制的免提智能眼镜使医护人员能够在需要的时候随时访问虚拟屏幕上的信息,而无需用手去操作其他设备、纸质文档等。这种信息获取与记录的自由对于无菌手术室以及其他对环境有着高要求的应用场景可以说是非常友好了。

让专家无处不在

有了AR智能眼镜,获取医疗专业知识从未如此简单。医疗现场的医护人员可以与专家连线分享她对患者情况的看法,提供一手资料,并在专家指导下找到并执行治疗的最佳方法。这种专业知识的“分散传播”实际上就是一种分享知识和提高医疗质量的行之有效的方式。

紧急手术不会因为需要转移到特定地点进行而被耽误,找专家就像开启一个线上会议一样简单。在任何地方都可以接受来自专家的服务,这样大大减少了医生与患者的出行成本,更大大提高了医疗护理的效率与质量。

让医疗教育变得简单高效

AR眼镜的视频流拥有通过内置的4K自动对焦摄像头实时查看对方所见的能力。智能眼镜不仅消除了手术室内对额外技术人员或连接显示器的笨重设备的需求,也减小了让实习医师进入手术室造成无菌条件被破坏的风险。

同时,先进的视频流功能让学习者能够从外科医生的角度实时、高清地体验正在发生的事情。在某些情况下,观看者甚至可以控制摄像机,这给未来的医学教育提供了更广泛的思路。

微信截图_20220907145930.png

医生通过AR眼镜传递手术现场情况

让医疗更具突破

使用智能眼镜进行虚拟协作除了有以上众所周知的传统好处外,还让医疗卫生事业的发展有了更具突破性的可能。智能眼镜可以配合一定软件实现人体映射,因此外科医生可以看透手术单、皮肤和骨骼,更好的了解患者情况以及手术该如何进行, AR眼镜可以显示接下来的手术步骤,集成的传感器也会在手术过程中提供实时帮助。AR+医疗的未来,创造性与突破性共存。

虹科AR医疗案例

1.台湾奇美医院的远程医疗

奇美是台南地区的创新者,引进了机器人手术,并拥有最先进的血管造影和放射治疗系统。同时奇美也是台湾急救服务的先驱。近年来,为了进一步提升自己的医疗效率与质量,奇美采用了另一个高科技工具:虹科 Vuzix AR 智能眼镜。

◆ 急诊室应用

急诊室是最忙碌的医疗场所,以往,每次患者到达后,开展急救的过程都是一样的:评估现状,收集信息,开始治疗,共享信息,在多数情况下会由专家来接管患者的最终治疗与护理。

在整个急救过程中,两个关键要素是信息和时间。医生需要信息来迅速妥当地处理患者的紧急情况。几分钟时间的耽误对于像是中风或心脏病来说就是致命的,关乎患者的生与死,每分钟都必不可少。这就让虹科 Vuzix AR智能眼镜有了用武之地。AR技术的应用使参与治疗的医护人员之间实现了以第一视角进行实时视频沟通的可能。

在传统的紧急情况下,患者在转往医院的过程中会得到医护人员的简单治疗,而专家、急诊医生只能在医院里等待患者的到来。但是, 有了智能眼镜,医生可以在患者到达医院之前开始对其进行治疗。当医护人员和急诊医生都佩戴智能眼镜时,急诊医生可以以医护人员的第一视角实时看到病人,了解患者的真实情况并与护送患者的医护人员达成一些治疗手段和方式并远程主导治疗开展,以便争取宝贵的救命时间。

此外,奇美医疗中心也服务于农村地区,许多患者来自其位于嘉里和柳营的附属医院。戴智能眼镜时, 各附属医院的急诊医生可以安排不同院区的多个部门同时进行会诊,这样无论专家身处何处都可以看到患者,不同院区的医生可以详细讨论患者的病情,从而给患者提供最高效合适的治疗方案。

微信截图_20220907145616.png

佩戴在防护设备上依旧合适的智能眼镜

◆ 手术室应用

任何外科手术都是通过团队合作完成的,包括外科医生、护士,有时甚至需要技术人员的协作。通常,如果外科医生想寻求专家的帮助,但是该专家可能不在现场,按照以往可能医生会用手机视频的方式来联系专家,但因为光线不均匀导致画面不清晰,视频角度受限,以及在联系时无法用双手进行操作等原因,效果并不理想。

借助AR智能眼镜,专家可以在千里之外实时参与手术,他可以准确地看到外科医生所见,了解患者的病情,并与外科医生交流下一步的手术方案。在手术完成后,外科医生,专家和原来的主治医生还可以从不同地方继续观察和交流患者的康复情况,实现全流程的远程医疗。

微信截图_20220907145706.png

◆ 医疗教学应用

知识共享对于医学的发展至关重要,在奇美医疗中心,虹科智能眼镜除了上述用途以外,还用于培训初级医师。

培训外科医生时,最好的方法就是通过实时视频传输进行教学,但是录制和流式传输手术视频的成本很高且耗时,通常视频质量还很差。但是,当每个人都戴着虹科AR智能眼镜时,实习生、初级医师可以准确,实时地看到外科医生的操作,还可以提出问题与外科医生进行交流。当初级医师自己操刀时,高级医师可以使用智能眼镜的第一视角和出色的音频交流功能在手术室外的任何场所提供详细的指导,比如症状识别,伤口缝合,导管植入等。总之,AR眼镜与技术让医疗教学在任何时间任何地点都能进行,并且让参与各方都可以解放双手、全身心的参与每场培训。

微信截图_20220907145842.png

一名医生指导初级医师控制心室辅助设备

2.ReSurge采用AR技术提供手术援助

微信截图_20220907150054.png

你看见我看见的了吗?

ReSurge International是一个全球性的外科培训非营利组织,其使命是在当今世界的发展中国家及地区开展高质量的外科和麻醉项目。他们也将通过AR智能眼镜来实现自己的“Surgical Sight program”(外科视力计划),通过增强现实(AR)技术让世界上的外科界更加紧密地联系在一起。

眼镜使用的“融合现实”,让学员可以在戴上眼镜的时候真实的感受来自数千里外的导师的指导,如下图所示。通过这种方式,ReSurge的导师将确切地看到手术室中的外科医生(学员)所看到的内容,让他们有机会参与进整个手术过程并进行实时指导和教学。

微信截图_20220907150113.png

通过这个开创性的计划,世界各地的外科导师和学员可以使用虹科 Vuzix AR智能眼镜和AR软件应用进行实时虚拟培训和操作。这样的培训方式支持学员学习基本的救生技能并培养他们的自立能力。之后他们可以把学到的知识分享出去,并自行培训外科医生,从而产生变革的涟漪,拯救无数的生命。

3.Enhatch用XR流技术提升手术水平

微信截图_20220907150129.png

增强现实 (AR) 在医疗领域迅速普及,除了AR智能眼镜的应用外,沉浸式流媒体技术发挥的作用也不可小觑。它提供了在移动 AR 设备上可视化复杂手术的 3D 数据所需的能力和速度——让外科医生能够在保持对患者高度关注的同时随时访问患者的关键信息。

美国医疗技术公司Enhatch的联合创始人兼首席执行官Peter Verrillo说:“我们希望为患者提供更好的手术,同时也希望通过减少外科医生对于设备或患者情况了解等的认知负担来给医生减轻压力”。Enhatch创建了业内首个智能手术生态系统,将公司、技术和外科医生联系起来以简化临床工作流程、提升病患护理质量。

佩戴增强现实耳机,外科医生可以实现用语音对患者的信息数据进行查看与记录,无需离开手术区域,甚至无需将视线从患者身上移开。在手术期间,他们可以与非侵入式 UI 元素交互,以访问患者的数据记录、3D 模型或其他术前记录。Peter Verrillo 曾表示做到以上这些的挑战是将这些非常复杂的数据呈现到医生的面前。

这就展示了远程渲染的强大功能。Enhatch的软件平台自动将术前图像(如X射线,CT扫描和MRI)转换为精确的3D模型。对于一次手术,这通常意味着需要处理数千兆字节的数据,大大超过了许多移动AR设备的性能容量。要使其正常工作,需要减少多边形并过度简化模型。而这意味着需要更多的处理工作,甚至最终可能产生不太准确的可视化结果,这对一场手术来说是绝对不行的。

微信截图_20220907145508.png

Enhatch通过将虹科XR流媒体组件ISAR SDK集成到其解决方案中,让医生能够轻松的访问关于患者的有价值的数据。虹科ISAR SDK是一种开发人员工具,可实现整个AR和VR应用程序从云或本地基础设施到HoloLens 2,Meta Quest 2,平板电脑或智能手机的远程渲染和实时流式传输。因此,XR流媒体解决方案允许可视化和操作3D内容,大大超出了许多移动设备的性能规格。

Peter Verrillo 表示:“AR的美妙之处在于将虚拟世界和现实世界融合在一起,以获得更成功的临床结果, XR流媒体技术让外科医生能够分析复杂的3D医疗数据,而不用将注意力从患者身上移开,最终,在手术室中使用增强现实是医疗保健的未来。”