深度学习技术在黑暗中揭示“看不见”的物体

葡萄酒杯上的小瑕疵或隐形眼镜上的小折痕很难辨认出来,即使在良好的光线下。在几乎完全黑暗的情况下,这种透明特征或物体的图像几乎不可能被破译。但是现在,麻省理工学院的工程师们已经开发出一种可以揭示vwin手机版这些现象的技术。”看不见的物体,在黑暗中。

在今天发表的一项研究中物理评论信,研究人员从这些物体的图像中重建了透明物体,在几乎漆黑的环境中拍摄。他们用一个深度神经网络,“一种机器学习技术,包括训练计算机将某些输入与特定输出相关联——在这种情况下,黑暗,透明物体和物体本身的颗粒状图像。

该小组训练了一台计算机来识别10多个,000个透明玻璃状蚀刻,基于这些图案的极微粒图像。这些照片是在非常低的照明条件下拍摄的,每像素大约有一个光子-比照相机在黑暗中记录的光要少得多,密封房间。然后他们给电脑展示了一幅新的颗粒图像,不包括在培训数据中,发现它学会了重建黑暗遮蔽的透明物体。

深度学习技术在黑暗中揭示“看不见”的物体
从原始透明蚀刻(最右侧)中,工程师们在黑暗中(左上角)制作了一张照片,然后尝试使用基于物理的算法(右上角)重建对象,然后是经过训练的神经网络(左下角)。在把神经网络和基于物理的算法结合起来产生最清晰的结果之前,原始物体的最精确复制(右下角)。
由研究人员提供

结果表明,深层神经网络可以用来照亮生物组织和细胞等透明特征。在光线很少的情况下拍摄的图像。

“在实验室里,如果你用光爆炸生物细胞,你燃烧它们,没有什么可以想象的,“乔治·巴巴斯塔斯说,麻省理工学院机械工程教授。“当涉及到X射线成像时,如果你让病人暴露在X光下,你增加了他们患癌症的危险。我们要做的是,你可以得到同样的图像质量,但与患者接触较少。在生物学方面,当您想对生物标本进行取样时,可以减少对它们的损害。”“

Barbastathis的论文合著者是主要作者Alexandre Goy,Kwabena Arthur还有帅丽。

深度黑暗学习

神经网络是一种计算方案,其设计目的是松散地模拟大脑神经元共同工作以处理复杂数据输入的方式。神经网络是通过连续的“层”数学操作。每个计算层计算给定输出的概率,基于初始输入。例如,给狗一个形象,神经网络可以识别动物的特征。更确切地说是一只狗,最终,猎犬A深“神经网络包含许多,输入和输出之间更详细的计算层。

研究人员可以“火车”这样的网络可以更快、更准确地执行计算,通过给它提供成百上千的图像,不仅仅是狗,但是其他动物,物体,还有人,以及每个图像的正确标签。有足够的数据可供学习,神经网络应该能够正确地分类全新的图像。

深度神经网络在计算机视觉和图像识别领域得到了广泛的应用。最近,Barbastathis和其他人开发了神经网络来vwin手机版重建用大量光线拍摄的图像中的透明物体。现在他的团队是第一个在实验中使用深层神经网络来揭示在黑暗中拍摄的图像中不可见物体的人。

“看不见的物体可以用不同的方式显现出来,但它通常需要你使用充足的光线,“巴比塔说。“我们现在要做的是可视化那些看不见的物体,在黑暗中。所以这就像是两个困难的结合。但是我们仍然可以做同样数量的启示。”“

光的法则

小组查阅了10个数据库,000集成电路(IC)每一个都被蚀刻成不同的复杂的水平和垂直线条图案。

“当我们用肉眼看的时候,我们看不到太多-它们看起来就像一块透明的玻璃,“戈伊说。“但实际上有非常精细和浅的结构仍然对光有影响。”“

而不是蚀刻10个,在无数的玻璃载玻片上贴上000个图案,研究人员使用了相空间光调制器,“一种在单个玻璃载玻片上显示图案的仪器,其光学效果与实际蚀刻载玻片相同。

研究人员建立了一个实验,在这个实验中,他们将一台摄像机对准一个装有光调制器的铝制小框架。然后他们用这个装置复制了10个数据库中的000个IC模式。研究人员覆盖了整个实验,所以它被遮挡在光线下,然后用光调制器在每个图形中快速旋转,类似于幻灯片传送带。他们拍摄了每个透明图案的图像,在几乎完全黑暗的情况下,生产“盐和胡椒”像电视屏幕上的静态图像。

研究小组开发了一个vwin手机版深度神经网络来识别黑暗图像中的透明图案,然后分别向网络中的10个,相机拍摄的000张颗粒照片,以及它们相应的模式,或者研究人员所说的地面真相。”“

“你告诉电脑,“如果我把这个放进去,你把这个拿出来,“戈伊说。“你这样做10,000次,训练结束后,你希望如果你给它一个新的输入,它能告诉你它看到了什么。”“

“比婴儿还糟,“巴贝斯塔斯此起彼伏。“通常婴儿学习得更快。”“

研究人员将相机设置成稍微偏离焦点的图像。似乎有点违反直觉,这实际上可以使透明对象聚焦。或者,更确切地说,散焦提供了一些证据,以探测到的光中的波纹的形式,可能存在透明对象。这样的波纹是一个视觉标志,神经网络可以检测到,作为一个物体在图像颗粒度的某个地方的第一个迹象。

但是散焦也会产生模糊,这会影响神经网络的计算。为了解决这个问题,研究人员在神经网络中加入了一条描述光行为的物理定律,以及当相机散焦时如何产生模糊效果。

“我们所知道的是光在样品和照相机之间传播的物理规律,“巴比塔说。“最好在模型中包含这些知识,所以神经网络不会浪费时间去学习我们已经知道的东西。”“

锐利图像

10号训练完神经网络后,000张不同IC图案的图像,团队创造了一个全新的模式,不包括在原始培训集中。当他们拍下图案的时候,在黑暗中,把这个图像输入神经网络,他们比较了神经网络重建的模式,无论是否有物理定律嵌入到网络中。

他们发现两种方法都很好地重建了原始的透明图案,但是“物理信息重建”产生了更尖锐的,更精确的图像。另外,这个重建的模式,从一张在几乎完全黑暗中拍摄的图像中,比一个物理信息的相同模式的重建更明确,在大于1的光线下成像,亮了1000倍。

研究小组用一个全新的数据集重复了他们的实验,超过10个,000幅更为普通和多样的物体图像,包括人,地点,还有动物。培训结束后,研究人员给神经网络提供了一个全新的图像,在黑暗中拍摄,一幅透明的蚀刻画,画面中的吊舱停靠在码头上。再一次,他们发现,物理信息重建产生了更精确的原始图像,与没有嵌入物理定律的复制品相比。

“我们已经证明,深度学习可以揭示黑暗中无形的物体,“戈伊说。“这一结果对于医学影像学降低患者接触有害辐射具有重要的现实意义。以及天文成像。”“

这项研究得到了支持,部分地,通过智能高级研究项目活动和新加坡国家研究基金会。

留下答复

请输入您的评论!!
请在此处输入您的姓名

此网站使用Akismet来减少垃圾邮件。了解如何处理评论数据.