首页 » 国外科研 >

人工智能使用深度学习将2D图像转换为3D [视频]

2021-09-08 11:50:10来源:

代表Deep-Z的例证,一种基于人工智能的框架,可以在数字重新聚焦2D荧光显微镜图像(底部)以产生3D切片(左侧)。

洛杉矶研究团队加州大学设计了一种延长荧光显微镜的能力的技术,这使科学家可以精确标记在特殊照明下发光的染料的活细胞和组织。研究人员使用人工智能将二维图像转换成堆叠的虚拟三维切片,显示在生物体内的活动。

在一项研究中发表于2019年11月4日的全新方法,科学家们还报告说,他们的框架称为“深Z”,能够在图像中修复错误或像差,例如当样本倾斜或弯曲时。此外,它们证明该系统可以从一种类型的显微镜中采用2D图像,并且实际上创建样品的3D图像,就像通过另一个更先进的显微镜一样获得。

“这是一种非常强大的新方法,通过深入学习能够执行现场标本的3D成像,最少的暴露于光线,这可能对样品有毒,”UCLA Chancellor的电气电脑教授大型州大肠杆菌纳米系统研究所的工程与副主任。

除了从潜在的损伤剂量的光线施用标本外,该系统还可以提供生物学家和生命科学研究员,研究人员是3D成像的新工具,比当前方法更简单,更快,更便宜。纠正像差的机会可能允许科学家研究生物体,从图像中收集数据的数据,否则将无法使用。调查人员还可以获得对昂贵和复杂的设备的虚拟访问。

该研究在较早的技术ozcan和他的同事中建立了允许它们以超级分辨率渲染2D荧光显微镜图像。这两种技术通过依靠深度学习来推进显微镜 - 使用数据来“训练”神经网络,这是一种由人类大脑启发的计算机系统。

使用来自扫描荧光显微镜的实验图像教导深Z,这拍摄于多个深度的照片,以实现样品的3D成像。在数千次训练中,神经网络学会了如何在样本内的不同深度下拍摄2D图像和推断精确的3D切片。然后,盲目地测试了框架 - 用非训练的图像喂食,虚拟图像与从扫描显微镜获得的实际3D片相比,提供了优异的匹配。

Ozcan和他的同事们将深Z应用于C. Elegans的图像,这是一种蛔虫,这是神经科学的常见模型,因为其简单且良好的神经系统。将蠕虫的2D电影转换为3D,框架框架,研究人员能够跟踪蠕虫体内的近神经元的活性。从不同深度拍摄的C.杆杆线虫的一个或两个2D图像开始,Deep-Z产生虚拟3D图像,使团队能够识别蠕虫内的敏感神经元,匹配扫描显微镜的3D输出,除了较少的光线暴露之外生物体。

研究人员还发现,Deep-Z可以产生来自2D表面的3D图像,其中样品倾斜或弯曲 - 即使仅具有与样品表面完全平行的3D切片训练。

“这个功能实际上是非常令人惊讶的,”伊希武师是公布的联合第一个作者的UCLA研究生。“用它,你可以通过对图像充满挑战的曲率或其他复杂拓扑来看看。”

在其他实验中,深Z用来自两种类型的荧光显微镜的图像培训:宽场,其将整个样品暴露于光源;和共聚焦,它使用激光通过部分扫描样品部分。Ozcan及其团队表明,他们的框架可以使用样品的2D宽野显微镜图像来产生与用共聚焦显微镜拍摄的三维图像。

与广域相比,这种转换是有价值的,因为共聚焦显微镜创建具有更加敏锐的图像,与宽领域相比。另一方面,宽野显微镜以较少的费用且具有较少的技术要求捕获图像。

“这是一款通常适用于各种显微镜的平台,而不仅仅是广泛的共聚焦转换,”UCLA助理辅助教授电气电脑工程教授亚金士·亚金里··伊尔·里富森表示。“每次显微镜都有自己的优缺点。通过此框架,您可以使用AI以数字方式连接不同类型的显微镜来获得两全其美。“

###

参考:“使用深度学习的荧光显微镜图像三维虚拟重焦”由伊希吴,亚金兰王,李w·罗,蚊帐,赖恩······罗拉,基督教普拉利拉,艾迪戈·奥兹卡纳,2019年11月4日,自然方法。 DOI:
10.1038 / S41592-019-0622-5

其他作者是研究生洪达王和伊林罗,博士后同胞Eyal Ben-David和Laurent Bentolila,California纳米系统研究所的先进光学显微镜和光谱实验室,所有UCLA;和以色列耶路撒冷大学希伯来大学的基督徒Pritz。

该研究得到了科学集团,国家科学基金会和霍华德休斯医学院的支持。成像在CNSI的先进光学显微镜和光谱实验室和Leica Microsystems卓越中心进行。