NVIDIA推出AI医疗健康机器人开发平台

tG9JGEd7

医疗科技的未来是机器人化——医院将全面自动化，由 AI 驱动的手术系统、机器人助手和自主患者护理彻底改变现有医疗模式。
        构建 AI 驱动的机器人系统面临几项关键挑战。首要挑战是将数据收集与专家见解相融合，另一项挑战则是为逼真的解剖结构、传感器和机器人创建详细的生物力学仿真，这些仿真对于生成合成数据和训练机器人至关重要。确保从虚拟部署无缝过渡到现实场景同样关键，此外还需在操作过程中管理高带宽、多模态传感器 AI 的超低延迟问题。

        这些技术瓶颈凸显了对整体性框架的需求——该框架需包含三个核心计算模块：用于训练先进模型的 AI 计算，用于在高保真虚拟环境中开发和验证机器人行为的仿真计算，以及用于临床环境实时执行的运行时计算。
        NVIDIA Isaac for Healthcare是一款用于 AI 医疗健康机器人的开发者框架，能帮助开发者应对这些挑战。Isaac for Healthcare 适用于医疗健康特定领域，基于 NVIDIA三台计算机实现物理 AI。
        该框架包含用于采用 MONAI 提供预训练模型和代理式 AI 框架，其中 MAISI、Vista-3D 等模型可生成仿真工作流所需的解剖合成数据；其次，它包含用于仿真的NVIDIA Omniverse（包括NVIDIA Isaac Sim和NVIDIA Isaac Lab），开发者可以导入医疗设备/机器人、传感器及解剖结构，以构建具有物理精确性的虚拟环境，让机器人系统能安全地学习技能；第三，它包含NVIDIA Holoscan，用于实现在机器人端部署和进行实时传感器处理。
        该框架能够提供数字原型设计、硬件在环（HIL）产品开发测试、用于 AI 训练的合成数据生成、策略训练，以及实时部署等，适用于各类型医疗机器人，包括：
        手术与介入机器人
        影像诊断机器人
        康复辅助与服务机器人
        NVIDIA 三台计算机解决方案，正在为医疗健康领域的下一代 AI 机器人发展提供支持
        Isaac for Healthcare：
        引领医疗 AI 机器人技术新浪潮
        Isaac for Healthcare 通过数字孪生与物理 AI 技术的融合，为医疗领域提供以下核心能力：
        针对下一代医疗机器人系统、传感器及器械的数字化原型设计。
        利用高保真仿真环境生成的真实数据与合成数据训练 AI 模型。
        在具备硬件在环（HIL）的数字孪生环境中验证 AI 模型。
        通过在数字孪生环境中实现对机器人系统的扩展现实（XR）和 / 或具备触觉反馈的远程操作，收集用于通过模仿学习来训练机器人策略的数据。
        利用 GPU 并行计算来训练强化学习和模仿学习算法，提升机器人灵巧操作能力（比如在机器人辅助手术的场景中）。
        通过硬件在环数字孪生系统，对机器人进行持续测试（CT）。
        构建从仿真到现实的部署应用，实现物理手术机器人的落地。
        最新版本重点推出两大端到端参考工作流：手术子任务自动化与自主机器人超声扫描，全面覆盖外科手术和医学影像机器人应用场景，旨在加速实现用户特定场景下的自主机器人能力开发。
        下文将详细解析这两大工作流的技术实现。
        机器人手术子任务自动化工作流
        本工作流为开发者构建和部署手术子任务自动化解决方案提供标准化模板。通过整合数字孪生、强化学习与模仿学习、高保真合成数据生成以及实时机器人评估等技术，该方案为 AI 驱动的手术自动化提供了可扩展的实施路径。
        该工作流基于 ORBIT-Surgical 项目开发，该项目由 NVIDIA、PAIR 实验室（多伦多大学与佐治亚理工学院联合实验室）及 AUTOLAB（加州大学伯克利分校）共同推进，并得到苏黎世联邦理工学院的研究协作支持。
        ORBIT-Surgical 现正迁移至 Isaac for Healthcare 平台，并逐渐演变为机器人手术子任务自动化工作流。未来，来自学术界、产业界和临床医疗机构的现有合作伙伴及新伙伴，将共同协作推动该工作流的进一步发展。
        Isaac for Healthcare 工作流 1——机器人手术子任务自动化，帮助开发者构建手术子任务自动化策略
        约翰霍普金斯大学和斯坦福大学的合作团队，将一个经过数小时手术视频训练的视觉语言模型（VLM）与达芬奇研究套件（dVRK）集成，该系统可自主执行三个关键手术任务：小心提起身体组织、使用手术针和缝合伤口（如上图所示）。
        借助这一工作流，开发人员可以将自己的手术机器人、传感器、器械和患者模型引入 NVIDIA Omniverse，创建高保真手术数字孪生模型。这使他们能够在不接触患者的情况下，对缝合、切割和组织操作等复杂手术过程进行仿真，同时大规模生成大量基于物理原理的、逼真的合成数据，用于训练机器人策略。
        然后，这些合成生成的数据集将在 Isaac Lab 中用于训练强化学习和模仿学习流程，或者微调现有的通用视觉语言动作模型（例如 π0），以使手术机器人能够掌握人类外科医生的技能和灵活性。
        最后，在数字孪生中经过充分训练的策略，实现了从仿真到现实的过渡，并部署到一台物理手术机器人上（本例中为 dVRK）。
        Isaac for Healthcare 在手术子任务自动化工作流中的关键能力包括：
        自带（BYO）组件：使用自定义机器人、器械、耗材和解剖结构
        具备仿真环境：逼真、基于物理的数字孪生模型
        数据生成和收集：合成数据以及专家示范操作数据
        策略训练：用于技能获取的强化学习和模仿学习
        评估和测试：在数字孪生中进行基于 HIL 测试的基准测试
        Sim2Real 迁移：将 AI 从仿真环境部署到真实手术中
       
        Isaac for Healthcare 机器人手术子任务自动化工作流是一个主要基于 NVIDIA Omniverse 和 NVIDIA Holoscan 构建的框架
        BYO 解剖学
        该流程创建逼真解剖模型的步骤如下：从 AI 辅助的合成 CT 生成（使用NVIDIA MAISI）和分割操作（使用NVIDIA VISTA3D或 Auto3DSeg）开始，随后进行网格转换、网格清理和优化、逼真纹理处理，最终将所有带纹理的器官组装成统一的 OpenUSD 文件。
        该工作流能够创建针对特定患者的模型，用于罕见或复杂病例的仿真。这一点尤为重要，因为此类病例的真实患者数据往往非常稀缺，这就使得仿真成为了用于培训和术前准备的极为宝贵的工具。
        逼真人体器官模型可在 GitHub 获取：
        https://github.com/isaac-for-healthcare/i4h-asset-catalog
        BYO 机器人 / 仪器
        该工作流基于达芬奇研究套件（dVRK）开发，但所提供的模板能够推广应用到其他机器人平台。导入手术机器人的流程需要遵循 Isaac Sim 通用导入指南。详细指导请参考 Isaac Sim URDF 导入教程。
        Isaac Sim 4.5 提供了简化的工作流，通过将机器人 CAD 模型转换为 USD 格式来准备仿真模型。转换为 USD 后，可进行关节装配的关键步骤，包括添加关节物理特性和定义机器人的运动学属性。完成这些关键准备工作后，您的机器人模型即可集成到仿真场景（数字孪生模型）中，以物理精确的方式与器官或其他物体交互。
        BYO 传感器
        该工作流为 AI 策略学习提供多种感知模式。开发者可集成不同的成像传感器（如立体相机、内窥镜相机、深度传感器）来定制 AI 感知流程。
        专家示范数据采集
        （通过远程操作技术）
        该工作流还提供方案/示例，支持通过不同手术任务的远程操作，生成高质量示范数据，这些数据对于训练和评估手术机器人中的 AI 模型至关重要。
        各种外围设备，包括键盘、空间鼠标、游戏手柄、VR 控制器和达芬奇研究套件（dVRK）的主工具操作器（MTM），都可以与数字孪生体进行通信，并提供输入指令，来控制 Cartesian 空间中的机器人。
        策略学习
        对于任务自动化，支持各种先进的强化学习和模仿学习算法，例如 Action Chunking Transformer（ACT）和 https://arxiv.org/abs/2303.04137，以便获取高效的手术技能。
        自主机器人超声工作流
        超声成像具有无创、便携和安全等优势。然而，要获得高质量的超声图像需要熟练的超声技师操作。但是由于训练有素的专业人员面临日益短缺的情况，超声成像充分展现了任务自动化在扩大医疗服务可及性、支持及时准确诊断方面的潜在优势。
        该参考工作流提供了一个可复现、可定制且模块化的框架，通过 AI、数字孪生和更广泛的三台计算系统框架，构建超声机器人自动化方案。该工作流的主要功能大多与机器人手术子任务自动化工作流重叠，因此本文仅重点阐述超声工作流特有的核心能力。
        Isaac for Healthcare 工作流 2——自主机器人超声，使开发者能够开发机器人超声自动化策略
        使用此工作流，开发者可以将机械臂、相机传感器、超声探头和患者模型导入 NVIDIA Omniverse，以创建高保真超声检查的数字孪生模型。开发人员可以构建逼真的解剖模型和虚拟探头，对超声波与不同密度组织的相互作用进行仿真，生成丰富的训练数据集。
        这种方法使开发人员能够在不受物理实验室限制的情况下，探索不同的扫描角度、压力水平以及解剖结构的变化情况。开发者可以利用 Isaac Lab，获取来自仿真和专家示范操作的数据，以采用强化学习或模仿学习，训练机器人系统进行最佳定位，并调整超声波探针的方向以捕获高质量图像。
       
        Isaac for Healthcare 自主机器人超声工作流框架
        Isaac for Healthcare 的
        早期采用者与生态系统合作伙伴
        Isaac for Healthcare 正通过与手术机器人、介入机器人、影像机器人以及机械臂供应商等领域的领先机构合作，加速 AI 驱动的医疗机器人的发展。
        在手术机器人领域，Virtual Incision正在评估 Isaac for Healthcare 在手术合成数据生成（SDG）方面的能力，以开发其未来手术机器人系统的自主任务能力，并利用真实仿真环境提升手术精度。
        Moon Surgical正在对自主机器人设置进行原型设计，使机器人能够动态适应外科医生的技术和手术流程，从而提高手术的精准度和效率。
        在介入机器人领域，Neptune Medical使用 NVIDIA Omniverse 和 Isaac Sim 设计与仿真机器人内窥镜检查，以增强诊断能力。
        XCath正字利用 Isaac for Healthcare 为其血管介入机器人、治疗设备和人体血管系统创建全面的数字孪生，在其基于导管的机器人系统中实现自主导航的运动规划和控制。
        Kinova和Franka等领先机械臂提供商，正在通过在 Isaac for Healthcare 中提供可直接用于仿真的预构建机械臂，推动开发者生态系统的发展。
        结合全面的参考工作流，这些解决方案为开发者提供了坚实的技术基础，使他们能够快速制作原型，并将自主功能部署到医疗设备中，推动医疗机器人领域的创新发展。
        立即开始
        借助全面的资源套件来探索Isaac for Healthcare，这些资源能够加速由 AI 驱动的医疗机器人的开发进程。
        从手术子任务自动化工作流（Surgical Subtask Automation Workflow）或自主机器人超声工作流（Autonomous Robotic Ultrasound Workflow）中进行选择，以启动您的项目。
       
                                       
                                            声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。                        举报投诉                    
                    

                           

•                                 机器人                                                                                                                                                                                                        机器人                                            
                                              +关注
                                         
                                         
                                                                                                                                      关注
                                                  212                                            
                                                                                              文章
                                                  29183                                            
                                                                                              浏览量
                                                  210676                                            
                                         
                                      
                                  
  
•                                 NVIDIA                                                                                                                                                                                                        NVIDIA                                            
                                              +关注
                                         
                                         
                                                                                                                                      关注
                                                  14                                            
                                                                                              文章
                                                  5179                                            
                                                                                              浏览量
                                                  105321                                            
                                         
                                      
                                  
  
•                                 医疗健康                                                                                                                                                                                                        医疗健康                                            
                                              +关注
                                         
                                         
                                                                                                                                      关注
                                                  2                                            
                                                                                              文章
                                                  280                                            
                                                                                              浏览量
                                                  26137                                            
                                         
                                      
                                  
  
•                                 AI                                                                                                                                                                                                        AI                                            
                                              +关注
                                         
                                         
                                                                                                                                      关注
                                                  87                                            
                                                                                              文章
                                                  33319                                            
                                                                                              浏览量
                                                  273735                                            
                                         
                                      
                                  
                          
  

                                       

                                                原文标题：NVIDIA 推出 AI 驱动的医疗机器人开发平台 NVIDIA Isaac for Healthcare
                            文章出处：【微信号：NVIDIA-Enterprise，微信公众号：NVIDIA英伟达企业解决方案】欢迎添加关注！文章转载请注明出处。
                        
               
                                                            收藏                        0人收藏                                                                                                                                                                                                扫一扫，分享给好友
                                       
                                        复制链接分享
                                    
                                
                           
                        
                    
                                                        
                                                    评论

               

林超文PCB设计：PADS教程，PADS视频教程	郑振宇老师：Altium Designer教程，Altium Designer视频教程
张飞实战电子视频教程	朱有鹏老师：海思HI3518e教程，HI3518e视频教程
李增老师：信号完整性教程，高速电路仿真教程	华为鸿蒙系统教程，HarmonyOS视频教程
赛盛：EMC设计教程，EMC视频教程	杜洋老师：STM32教程，STM32视频教程
唐佐林：c语言基础教程，c语言基础视频教程	张飞：BUCK电源教程，BUCK电源视频教程
正点原子：FPGA教程，FPGA视频教程	韦东山老师：嵌入式教程，嵌入式视频教程
张先凤老师：C语言基础视频教程	许孝刚老师：Modbus通讯视频教程
王振涛老师：NB-IoT开发视频教程	Mill老师：FPGA教程，Zynq视频教程
C语言视频教程	RK3566芯片资料合集
朱有鹏老师：U-Boot源码分析视频教程	开源硬件专题

                                                                                    发布评论请先 登录
               
                                                    相关推荐
                                                
            NVIDIA Isaac 是英伟达推出的综合性机器人开发平台   

    NVIDIA Isaac 是英伟达推出的综合性机器人开发平台，旨在通过 GPU 加速、物理仿真和生成式
                    发表于 04-02 18:03                •317次阅读            
   
                                        【书籍评测活动NO.58】ROS 2智能机器人开发实践   

    平台的移动互联网时代，下一个以机器人为核心的智能机器人时代，是否也会遵循这样的逻辑？随着ROS 2的诞生，智能机器人开发迎来新篇章 ，它不
                    发表于 03-03 14:18                           
   

                                        NVIDIA发布Cosmos平台，加速物理AI开发   

    )和机器人等物理AI系统的快速发展。 Cosmos平台的核心在于其强大的生成式世界基础模型，能够模拟和预测复杂环境中的各种物理现象。结合高级tokenizer，Cosmos能够高效地处理和分析大量数据，为物理
                    发表于 01-13 11:06                •634次阅读            
   
                                        NVIDIA通过加速AWS上的机器人仿真推进物理AI的发展   

    。 Field AI 正在构建使机器人能够自主管理各种工业流程的机器人大脑；Vention 创建了简化机器人任务开发工作的预训练技能；Cob
                    发表于 12-09 11:50                •565次阅读            
   
                                        使用NVIDIA Jetson打造机器人导盲犬   

    Selin Alara Ornek 是一名富有远见的高中生。她使用机器学习和 NVIDIA Jetson边缘 AI 和机器人平台，为视障人士打造了机
                    发表于 11-09 13:51                •528次阅读            
   
                                        利用NVIDIA Isaac平台构建、设计并部署机器人应用   

    任务等功能。AI 在这一变革中发挥着关键作用，提高了机器人的性能。通过集成 NVIDIA AI 加速，机器人可以更高的精度和效率处理
                    发表于 11-09 11:41                •1374次阅读            
   

                                        使用机器学习和NVIDIA Jetson边缘AI和机器人平台打造机器人导盲犬   

    Selin Alara Ornek 是一名富有远见的高中生。她使用机器学习和 NVIDIA Jetson 边缘 AI 和机器人平台，为视障人士打造了
                    发表于 11-08 10:05                •657次阅读            
   
                                        NVIDIA提供一套服务、模型以及计算平台 加速人形机器人发展   

    的发展，NVIDIA 于今日宣布，为全球领先的机器人制造商、AI 模型开发者和软件制造商提供一套服务、模型以及计算平台，以
                    发表于 07-31 10:41                •999次阅读            
   

                                        NVIDIA 加速人形机器人发展   

     —SIGGRAPH— 当地时间 2024 年 7 月 29 日— 为加速全球人形机器人的发展，NVIDIA 于今日宣布，为全球领先的机器人制造商、AI 模型
                    发表于 07-30 09:15                •875次阅读            
   
                                        Al大模型机器人   

    金航标kinghelm萨科微slkor总经理宋仕强介绍说，萨科微Al大模型机器人有哪些的优势?萨科微AI大模型机器人由清华大学毕业的天才少年N博士和王博士团队开发，与同行相比具有许多优
                    发表于 07-05 08:52                           
   
                                        NVIDIA Isaac 机器人平台利用最新的生成式 AI 和先进的仿真技术，加速 AI 机器人技术的发展   

    观众展示了用于人形机器人学习的通用基础模型 Project GR00T（代表通用机器人 00 技术）。Project GR00T 利用 NVIDIA Isaac 机器人平台的各种工具来
                    发表于 06-04 18:00                •7923次阅读            
   
                                        NVIDIA三大平台引领AI机器人新时代   

    随着科技的不断进步，AI机器人已成为制造业转型升级的重要驱动力。NVIDIA凭借其Omniverse、Metropolis和Isaac三大平台，正在与富士康、比亚迪电子、西门子、泰瑞达
                    发表于 06-04 14:57                •934次阅读            
   

                                        NVIDIA宣布全面推出 NVIDIA ACE 生成式 AI 微服务   

    采用 NVIDIA 宣布全面推出 NVIDIA ACE 生成式 AI 微服务，以加速新一代数字人的发展，并将在
                    发表于 06-04 10:18                •838次阅读            
   
                                        全球机器人开发领域采用NVIDIA 机器人开发和生产   

    机器人开发领域的领先企业正在采用NVIDIA Isaac机器人平台来研究、开发和生产下一代 AI
                    发表于 06-03 18:25                •1487次阅读            
   
                                        使用NVIDIA Isaac Manipulator生成抓取姿势和机器人运动   

    NVIDIA 宣布与 Intrinsic.ai 就工业机器人任务的基础技能模型学习展开合作。
                    发表于 05-17 10:33                •1868次阅读