合成数据加速用于 X 射线图像阐发的基于ML的可妥帖算法开发
编纂 | 萝卜皮
人工智能（AI）如今能够主动解读医学图像。然而，人工智能在介进图像阐发方面的潜在用处在很大水平上仍未开发。那是因为对实时过程中搜集的数据停止过后阐发具有根本和现实的局限性，包罗道德考虑、费用、可扩展性、数据完全性和欠缺根本事实。
近日，约翰斯·霍普金斯大学（Johns Hopkins University）的研究人与证明了从人体模子创建传神的模仿图像是一种可行的替代计划，是对大规模原位数据搜集的填补。在实在合成数据上操练 AI 图像阐发模子，连系现代范畴泛化手艺，能够生成在实在数据上操练的机器进修模子，其性能与在切确婚配的实在数据操练集上操练的模子相当。
研究人员展现了被称为 SyntheX 的 X 射线图像阐发模子传输规范，因为在更大的数据集上操练的有效性，以至能够胜过实在数据操练的模子。SyntheX 供给了一个显著加速基于 X 射线的智能系统的概念、设想和评估的时机。
此外，SyntheX 供给了测试新仪器、设想互补手术办法和想象新手艺的时机，那些手艺能够改进成果、节约时间或削减报酬错误，而无需考虑实时人类数据搜集的伦理和理论考虑。
该研究以「Synthetic data accelerates the development of generalizable learning-based algorithms for X-ray image analysis」为题，于 2023 年 3 月 20 日发布在《Nature Machine Intelligence》。
展开全文
机器人手艺和人工智能 (AI) 的朝上进步使自主手术系统更接近现实。然而，开发此类系统的人工智能骨干目前取决于在常规手术期间搜集操练数据。与分流或诊断设置比拟，那仍然是在介进临床情况中普遍利用 AI 系统的更大障碍之一，因为介进数据的获取和正文是时间密集且成本昂扬的。
那是因为根据定义，它们与现代临床理论不相容，并且此类数据并不是来自常规护理。此外，那些新系统不容易获得批准，因而不容易或敏捷引进临床理论。离体尝试不会遭到同样的伦理约束；然而，它成本昂扬且需要成熟的原型，因而无法很好地扩展。
那些战略的一个有前途的替代计划是模仿，即从人体模子中模仿生成介进操练数据和图像。模仿为培训人类和机器外科医生供给了一个丰富的情况，并回避了在摸索护理原则之外的法式时呈现的伦理考虑。也许最重要的是，计算机模仿手术沙箱能够在研究阶段实现快速原型造造。仿实范式价格低廉、可扩展且信息丰富。固然术中数据是在高度非构造化和不受掌握的情况中生成的，而且需要手动正文，但仿实能够为手术的每个元素供给详尽的空中实况数据，包罗东西息争剖姿势，那关于 AI 开发长短常贵重的。
然而，模仿在一个关键方面可能达不到实正的手术：实在性。实在数据和模仿数据之间的特征差别凡是被称为“范畴差距”。人工智能模子对来自差别范畴的数据施行的才能，即与操练数据的范畴差距，被称为「范畴泛化」。范畴差距是有问题的，因为 AI 系统的懦弱性有据可查，跨范畴差距表示出极大的恶化。即便是简单的差别，例如噪声统计、比照度程度和其他细节，也可能会发作那种情状。那种适用于所有机器进修使命的不幸情状激发了 AI 范畴对模仿到现实 (Sim2Real) 迁徙的研究，即域迁徙办法的开发。
在那里，约翰斯·霍普金斯大学的研究人员介绍了一个框架 SyntheX，用于开发用于 X 射线图像阐发的通用 AI 算法，该算法仅基于从带正文的计算机断层扫描 (CT) 模仿的合成数据。SyntheX 利用来自 CT 的 X 射线图像构成的实在模仿并利用域随机化来操练 AI 模子，创建的 AI 模子在域偏移下连结其性能，从而可以对在现实世界中获取的临床 X 射线停止评估和摆设。研究人员展现了 SyntheX 在三个临床利用中的适用性和有效性：髋关节成像、手术机器人东西检测和 2019 年冠状病毒病 (COVID-19) 病灶朋分。
图示：SyntheX的整体概念。（来源：论文）
到目前为行，还没有研究利用跨范畴切确婚配的数据集来隔离范畴泛化的影响。那项工做还展现了一种可行且具有成本效益的办法来操练 AI 图像阐发模子以对合成数据停止临床干涉，其性能可与多种利用中的实在临床数据操练相媲美。别的，模子的性能跟着合成操练样本数量的增加而大幅进步，那凸起了 SyntheX 的关键优势：为模子操练或预操练供给大量正文优良的数据。
图示：临床使命。（来源：论文）
利用合成数据操练机器进修算法正遭到越来越多的存眷。在一般计算机视觉中，Sim2Real 问题已针对主动驾驶感知和机器人操做停止了普遍摸索。在诊断医学图像阐发中，基于 GAN 的新样本合成已被用于加强磁共振成像、超声、视网膜、皮肤病变和 CXR 图像的可用操练数据。在计算机辅助干涉中，Sim2Real 问题的早期胜利包罗对内窥镜图像和术中 X 射线的阐发。那里的比照研究表白 Sim2Real 优于 Real2Real 操练，从而在 X 射线范畴验证了那种办法。
图示：切确掌握的髋关节成像 X 射线数据库。（来源：论文）
髋关节成像消融尝试可靠地量化了域间隙对各类 Sim2Real 模子传输办法的现实数据性能的影响。那是因为所有凡是稠浊此类尝试的肆意因素都得到了切确掌握，因为差别的图像模仿规范是不婚配的独一来源，图像外看发作了改变。该团队掌握的肆意因素包罗剖解学、成像几何、空中实况标签、收集架构和超参数。所有尝试的操练样本数量不异。利用域随机化和自适应手艺不会创建额外的样本，而只会改动像素级此外样本外看。特殊是，在模仿中从头创建的视点和 3D 场景与实在图像完全不异，目前为行，那是尚未实现的。研究人员得出以下结论：
1、利用 DeepDRR 框架对操练数据停止基于物理的传神模仿，与在不太现实（即纯朴或启发式模仿规范）上操练的模子比拟，模子能够更好地泛化到实在数据域。毫不希罕，那表白尽可能密切地婚配实在图像域间接有利于泛化性能。
2、当在婚配数据集上操练模子时，现实模仿与强域随机化 (SyntheX) 相连系，与更佳域自适应办法（带域随机化的 CycleGAN）和实在数据操练相媲美。然而，因为 SyntheX 在操练时不需要任何实在数据，因而那种范式比域适应具有明显的优势。详细来说，它节约了在开发早期获取实在数据或设想施行自适应的其他机器进修架构的工做量。那使得 SyntheX 关于新型仪器或机器人组件的开发特殊有吸引力，因为在概念化的早期无法简单地获取其实在图像。
图示：朋分和地标检测的定性成果。（来源：论文）
利用 DeepDRR 的传神模仿在计算上与纯朴模仿一样高效，两者都比蒙特卡罗模仿快几个数量级。此外，利用 DeepDRR 的实在模仿在 Sim2Real 性能和独立数据生成和操练方面带来了浩荡的益处。那些发现令人鼓励，并有力地撑持了以下假设：对 3D CT 模仿的合成射线照片停止操练是实在数据操练的可行替代计划，或者至少是预操练的有力候选者。
与获取实在患者数据比拟，生成大规模模仿数据更乖巧、更省时、成本更低，而且制止了隐私问题。在实在情况中扩展操练数据成本昂扬或不成能，但比拟之下，利用数据合成很随便实现。在操练期间拜候更多差别的数据样本有助于收集参数优化找到更不变的处理计划，而且传输效果更好。
论文链接：
相关报导：