散射成像：又爱又恨的散射

邵教授专栏 · 发表于 2022-9-15 15:15

EDA365欢迎您登录！

您需要登录才可以下载或查看，没有帐号？注册

x

本帖最后由邵教授专栏于 2022-9-15 15:14 编辑

十年前，如果有人盯着你说：“我能透视毛玻璃墙，快把你卫生间的门换了吧。”你一定瞪着这个骨骼清奇的家伙瞅半天，这不是睁着眼睛胡说八道吗？然后一甩手把门关上。“你就是躲在房间里，我隔着门也能知道你在干什么。”这时候，估计你会想什么时候社会变得这么宽容？竟然放这样的家伙出了精神病医院！

你看，在不同维度思考的人，看问题就是不一样。你怎么不想想：万一这家伙说的是对的呢？事实可以证明：这个骨骼清奇的家伙说的是对的！这不是科幻，是真实的物理现象，近几年，我们多把它称为“散射成像”。第一个透视毛玻璃的现象通常被称为透过散射介质成像，第二个隔门成像则被称为非视域成像。今天，我们就来讲一讲散射成像的故事。

1、无处不在的散射

9 M( S2 n! f+ A% f7 o

散射，在光学领域里是个让人又爱又恨的东西，也是每年研究生复试几乎必问的题目，比如：天空为什么是蓝的？早晚为什么是红色或橘黄色的？答：“蓝天是因为在空气中分子散射太阳光线中蓝色部分的能力高于其散射红色光线的能力。日暮时分看到落日呈现红色与橘黄色，是因为蓝色光被散射并且朝着视线以外的方向传播。”学生正得意的时候，考官又冒出一句：散射有哪些类型？上述问题是瑞利散射还是米氏散射？
如果再问问拉曼散射、布里渊散射和康普顿散射等非弹性散射，恐怕会有很多学生憋出内伤——名字都认识，但确实不知道你在说啥！

夕阳中的光散射

那么，一起来看看生活中随处可见的散射吧。大多数时候，我们认为散射是不利的，因此总是想办法努力去减小散射的影响。比如光学系统设计中的去杂散光，在镜筒的设计中经常会采用螺纹和表面涂层方法，也经常使用遮光罩。空气和水都是比较强的散射介质，随着距离的增加，散射会减弱光的传播，从而导致“看不远”。

丁达尔效应

生活中也离不开散射，比如“丁达尔效应”就是一种很常见的散射现象。我们之所以能看到激光发出去的那道光束就是源于这种效应，如果在真空没有散射的情况下，打开波长为632.8 nm的氦氖激光器，我们从侧面就看不到红色的光束，什么都看不到。

空气中颗粒对激光的散射

以上基本都属于生活常识类问题，下面我们要讨论散射成像的问题。谈散射成像绕不开光场调控，可以说没有散射光场的调控，就没有现在的散射成像。

2、从散射重聚焦发展起来的透过散射介质成像

1 _' B" k9 M. W

透过散射介质的聚焦过程/ G6 }5 g, h8 g

2007年，荷兰科学家A.P.Mosk的一篇“Focusing coherent light through opaque strongly scattering media”拉开了光透过散射介质后光场调控的序幕，从此国内外很多学者都开始了相关的研究工作。2010年，Mosk发表在Nature Photonics上的“Exploiting disorder for peRFect focusing”再次引起轰动，主要讲述的是利用光场调控的方法，突破原透镜衍射极限10倍的重聚焦。2009年底，我在ArXiv上看到这篇文章的预刊版，那时候我在佐治亚理工学院访问，学校图书馆的数据库很全，也是在那个时候我才敢去阅读Science和Nature上的论文。国内最早开展这方面工作的课题组有中山大学的周建英老师、华侨大学的蒲继雄老师和我，但直到2017年，我们三人才有机会见面并成为挚友。我们来看一看，散射光场调控与散射成像到底是什么关系。

一个散斑的诞生

   当点光源经过毛玻璃投射到观测屏上时，我们看到的将不是一个点，而是一块亮斑。根据光路可逆原理，这块亮斑上的每一个点反方向传播，经过毛玻璃后能够会聚到原先的点光源处。这个过程称为“时间反演”（Time Reversal）。如果我们把光换成雷达信号或者声信号，故事到这里就结束了。然而，我们面临的是光，光的探测都是基于光电效应的，也就是探测得到的是能量——振幅的平方，丢失了相位信息。

   讲到这里，你是不是就能想到：如果能够获得相位信息，就可以透过毛玻璃成像了！于是，相位恢复就成了散射成像领域里的核心技术。

   从这个过程中，我们可以看到，这既是光场调控的基础，也是成像的基础。从数学的角度来分析这个问题：毛玻璃是一种振幅和相位复合调制的元件，可以描述为复数矩阵的形式，我们称为传输矩阵；如果能够找到其共轭矩阵与之相乘，结果是一个单位阵，因此，平行光从透镜出来经过毛玻璃复数调制时，再经过一个能表征其共轭矩阵的空间光调制器后，就能够实现重新聚焦。

   同样，如果把成像看成一个线性模型，也就是卷积的形式，也可以写成矩阵相乘的形式。一个目标x经过传输矩阵T，在像面上得到了强度分布y，是不是可以写成y=Tx。其实，这个公式是错的，因为x是实数，T是复数，而y依然是实数，这不太可能。原因是什么？探测器上接收的是光强，而不是光波函数，没有了相位信息，正确的写法应该是y=|Tx|2。看起来是不是感觉复杂了不少？但在数学上，我们有办法解决这些问题。

散射成像的传输矩阵解释

   读到这里，应该意识到：传输矩阵是散射介质的数学表示形式，得到传输矩阵，就意味着聚焦和成像没有问题了。那如何获得传输矩阵呢？答案是测量，似乎目前只有测量这一种办法，而且，测量很复杂，耗时很长。这说明测量只适用于静态散射介质，典型的像毛玻璃，而我们经常面对的云雾、烟尘、水和生物组织等具有时变特性的动态散射介质，如果不能实时测量，就意味着这种方法很难实用。于是，传输矩阵的高速测量方法也出现了，典型代表为法国Sylvian Gigan教授于2016年采用高速MEMS器件和FPGA方法实现了在生物组织中帧频上万次的调制，从而可以在短时间内获得生物组织的传输矩阵。

   人类的不满足是促进科技发展的动力。传输矩阵的测量太复杂，而且精度上也受很多因素影响，在成像方面严重受限，于是，出现了以光学记忆效应为基础的散射成像方法。

      时间回到2012年，意大利科学家Jacopo Bertolotti从历史的仓库里扒拉出来了一个1988年由加利福尼亚大学的Shechao Feng首次提出、同年Isaac Freund试验验证过的光学记忆效应的“金箍棒”，拉开了散射自相关成像的序幕。

扫描散斑相关成像（Nature, 2012, 491(7423)）

光学记忆效应的“金箍棒”是什么？光学记忆效应分为很多类，如角向光学记忆效应、平移光学记忆效应、旋转光学记忆效应、轴向色谱光学记忆效应等等。是不是有点云里雾里？万变不离其宗，记忆效应总是在描述散射介质对照明光场中的某些参量变化时，如角度、位移、光谱等改变的情况下，散射系统中存在的不变量，如散斑的空间关联性。

散射介质的角向光学记忆效应

   最为人们津津乐道的“角向光学记忆效应”，是指当光束通过很薄的散射介质时，不同角度的入射光具有很强的相关性，当改变光束的入射角度，输出散斑的结构不会发生改变，只会产生整体的横向移动。

   我们来深度解读角向光学记忆效应。首先，角向光学记忆效应只适用于一个小角度的变化范围，视场角很小；然后，“当改变光束的入射角度，输出散斑的结构不会发生改变，只会产生整体的横向移动”实际上是告诉我们它满足线性关系，这就意味着我们可以用点扩散函数研究成像问题了。

   Jacopo Bertolotti首次利用该特点实现了透过散射介质的非侵入成像，其基本思路为在光学记忆效应范围内扫描入射光束，透过散射介质后对隐藏在其后的荧光目标进行激发，所产生的荧光信号再次通过散射介质后被探测器接收。该方法被“Physics World”评为2012年度十大突破之一。

   突破一般都不好用，这种方法需要扫描入射光束，很费时，根本不可能实时成像。2014年，以色列科学家Ori Katz和Sylvian Gigan把这项工作推向了一个新的高度，只需要一帧散斑图像就可以成像！这就意味着可以实时成像了。

基于单帧散斑的非侵入散射成像(Nature photonics, 2014, 8(10): 784-790)

简单分析一下散射自相关成像的原理。既然在光学记忆范围内，散射成像可以描述成目标函数与点扩散函数卷积的线性形式，
即：I=o *S其中I为散斑图像，O为目标，S为点扩散函数。
函数两边做自相关运算，便有了：

C是一个常数。

散斑相关成像流程

到这里，是不是就能看出点端倪了？散斑的自相关是什么？是傅里叶频谱啊！这就好玩了，如果把傅里叶相位补上，那目标不就能解算出来了吗？于是，散斑自相关成像自然就变成了一个相位恢复的问题。

散射成像近几年火得不得了，原因是不仅仅有物理学者参与，而且有一大堆数学家也参与进来了，他们发现相位恢复在数学上是一片尚未开发的处女地，他们从压缩感知领域迅速转移到相位恢复领域，并预言未来十年最火的领域就是相位恢复。其实相位恢复是1972年的Gerchberg Saxton最早提出来的一种方法。

相位恢复过程

这里讲一个小故事。2006年Donoho，Candes，Romberg和Tao提出了著名的压缩感知理论，其本质是解Ax=b这样的线性方程组，而这个问题实际是上世纪80年代数学家已经提出了这样的问题。赶时髦绝对不仅仅是时尚界和年轻人的事儿，学术界同样流行。计算机的计算能力提升使得他们有机会把剩饭再拿出来炒一炒，起了Compress Sensing这样一个时髦的名字，并火了10多年。

3、开挂的散射成像

4 M) m7 w8 J9 D, O& r

   基于单帧散斑自相关的方法提出以后，由于概念新颖、非侵入式成像、时间分辨率高和系统设计简单的特点，成为了散射成像研究的热点。这方面的研究工作越来越多，神乎其神的成果也就屡见不鲜。于是就有了本文开头的一幕，也有了神乎其吹的、华而不实的各种成果。

   其实，我们更应该来分析一下这里的散斑是什么。Speckle这个词最早是指被激光照明的物体，其表面呈现颗粒状结构。一开始，散射成像采用的是赝热光源——激光经过旋转毛玻璃，属于非相干光，成像探测器上得到的与上面说的Speckle看起来很像，也被称为散斑。

   散射成像中的散斑有哪些特点呢？应该说光谱敏感性和全息特性是其最明显的特征。

散射介质的光谱响应

首先，我们应该看到的是散斑成像多采用单色光，甚至经常是频宽非常窄的激光，这是因为散斑具有非常强的光谱敏感性，光谱的些微变化就会引起散斑的变化，即散射介质是非常好的“色散”材料，只是这种色散是在更高维度上的进行的。因为这个特点，我们不得不牺牲太阳光这么明亮的自然宽谱光源，采用窄带滤波的方法，也就是加一片通常只有10 nm左右带宽的滤波片做成像实验，能量利用率很差。但是，事物都是具有两面性的，做光谱研究的科学家恰恰就利用了这一特点做出了具有皮米（pm）量级的高精度光谱仪。

散斑“全息”特性

然后来看散斑的全息特性。在散斑图像中选取一小块做自相关，你会发现也能重建出图像，只是分辨率差一些。这不是全息吗？既然是全息，那就应该有三维特征，也就是说能够成三维的像，而这些工作是都已经在实验室里验证过的。是不是很有趣呢？这实际上也告诉我们，散斑场是目前信息最丰富的光场之一，散射也是非常好的光场调制方法。因此，有人用散射介质做结构光调制，进行超分辨率成像。其实这里还有一个特点需要我们去发掘，那就是遮挡隐藏的目标是否也可以成像？因为散射成像做的人很多，成果也非常显著，难以一一列举，所以，本文重点介绍我们课题组开展的相关工作。前面说了，散斑自相关是建立在线性成像模型的基础上的，那么除了能直接通过自相关获得目标傅里叶幅值信息以外，能否从散斑中获得更多信息？也就是从非线性的角度如何来看这些问题。当我们做散斑高阶相关时，即傅里叶域中的双谱，可以确定性地恢复目标的傅里叶相位信息，而这些恰恰能够帮助我们识别目标的准确方向，并且利用这一特点，可以对目标进行“彩色”成像。

双谱分析方法再现(Optics Letters, 41(21), 2016; Optics and Lasers in Engineering, 124, 2020,)

我们提出了另一种基于单帧散斑的点扩散函数估计的方法，在保持散射成像方法本身高时间分辨率的特点的同时从相机接收到的散斑图像中估计散射成像系统的点扩散函数。

单帧非侵入散射PSF估计（Optics Letters, 2020, 45(19)）

光学记忆效应带来了散射成像的高时效性，却也有很大的限制，那就是光学记忆效应的范围太小，视场很小，应用严重受限。针对此问题，我们采用两种不同的矩阵分解的方式对超过记忆效应范围的目标进行成像，其中基于独立成分分析的方法能够帮我们将混合在一起不同光学记忆效应的散斑各自分离，进而各自通过散斑相关方法重建不同光学记忆效应范围的目标。

宽视场多目标散射成像（Optics Letters, 2020, 45(10)）

另外，结合随机照明以及非负矩阵分解的方法，我们实现了对超过光学记忆效应的连续目标的成像，并且采用了完全非侵入式的实验结构进行验证。这可以说是一个里程碑式的进展，也是计算照明为散射成像搭建起了高维度联系的桥梁，正如前面几篇文章所说，高维度是解决问题的必经之路！

非侵入式宽视场复杂目标成像（Nature Communications, 2022, 13(1)）

透过散射介质成像还有一个重要影响因素就是信噪比，因为目标透过散射介质以后信号比较弱，因此散斑自相关所得信号的对比度会直接受到环境光的影响。为了解决这个问题，我们提出了基于泽尼克多项式拟合以及低秩稀疏分解的散射成像方法，结合相位恢复算法，在强背景光干扰条件下的外场实验中验证了方法的有效性。

强干扰环境下的散射成像（Optics Letters, 2021, 46(18)）

以上都是透过散射介质成像的例子，那么，反射可不可以呢？当然可以，这就是现在大家熟知的非视域成像了。中科大的徐飞虎教授已做出了公里级的非视域成像装备，离应用越来越近。在高精度非视域成像方面，也可以实现毫米级成像分辨，较先前的工作，分辨率提升了一个数量级。我们在实验室里，利用墙面的反射从理论上也验证了被动非视域成像的可行性。

远距离非视域成像结果（PNAS, 2021, 118(10).）

高精度非视域成像结果（Phys. Rev. Lett, 2021, 127(5): 053602.）

4、被炒作的散射成像

散射成像到底能干什么？既然是散射，那么就应该能穿云透雾了？是不是也能穿透生物组织，以后用光照着胸膛，能够看到心脏了？是不是能实现远距离的水下成像了？是不是真的可以从门缝透过光看到室内的场景呢？是不是隔着街区躲藏的恐怖分子真的就一览无余地呈现在你眼前呢？

+ T! i# t; K( B, v, G0 f% z$ V# X

敢这么想，至少说明我们还有梦！

1 H* O5 ]# U7 s% u) Y( u) r7 A8 F

   2016年，我在一次内部会议上讲了散射成像的应用前景，结果被“高人”否定，然后“高人”自己开干了。从此，散射成像的炒作愈演愈烈。这时候，其实你会发现，当别人说不好的时候，不是真的不好，而是你做就是不好。

   2018年，我们又发现某著名的期刊上刊登了一篇文章，用毛玻璃做了彩色成像的实验，然后就说今后这种无透镜成像将颠覆代替现有的拍照模式！

   然后，又有“经过深度学习，毛玻璃能识别数字”等等报道，屡见不鲜。神奇吗？

   那么，散射能不能实现穿云透雾成像？是不是真的是无透镜？这种无透镜成像是否真的可以代替彩色相机？这还需要回过头来看看散射成像的机理。

   首先，要看散射介质和光学记忆效应的条件是什么？薄散射介质！薄，意味着什么？我们看看云雾、烟尘、水和生物组织等，都不是薄的，而是厚介质，而且是很厚很厚的介质，也就是说，光在这类介质中传播需要经历若干次散射，早已忘记了原先出发的方向。这意味着，你前面玩的那些金箍棒在这里都是纸老虎，统统不能发挥作用。即使是薄介质，光学记忆效应的范围、宽光谱和传输矩阵测量等问题不解决，这些神乎其技的技术只能也应该待在实验室中。

然后，要看透过毛玻璃是不是真的是无透镜？这个问题从Ori Katz的那篇论文里就能找到答案：毛玻璃起了一个等效透镜的作用，甚至成像公式与薄透镜也是一样的。我们再看一开头我们说的那篇2010年Mosk发表的论文，之所以能超越原镜头的衍射极限，是因为在镜头中添加了随机散射介质，实质上改变了原先镜头的结构，从而出现了新的超越了原镜头的衍射极限。这就是说，物理原理真的没有变，变的是我们的思维模式。

透过散射介质的超分辨率成像（Phys. Rev. Lett 106, 193905 (2011)）

再次，来看看彩色成像的问题。这个问题其实更简单，相关运算得到的不是强度信息，也不带任何光谱信息，文章的所述的方法无非法是用红绿蓝三种光源分布照明，红绿蓝目标各自重建，然后合成一幅图，就号称实现了彩色成像，应该说吹牛炒作的成分更大一些。如果让他拍一拍自然场景，他能做出来，我甚至敢跟你打赌。其实，我们在看各种散射成像，无一例外的都是给的简单数字、字母等作为目标输入的，对复杂场景无能为力就是因为成像的原理是自相关。最后，我们来看那个深度学习的例子，深度学习依靠的是大量的已知数据，不具备推演功能，并且其物理解释也不明晰。其实，不同目标经过毛玻璃后的散斑不同，无需重建，只需要从散斑自身就能判别出来。2015年时，我们就做过根据散斑变化实现对运动目标跟踪的实验。

利用散斑互相关以及缩放比信息实现对隐藏目标的三维跟踪(Applied Optics, 2018, 57(4): 905-913.)
( S. ?) B! I1 C2 [) k) p

5、散射成像的未来

那么，我们该怎么看待散射和散射成像呢？答：客观、理性。

我们应该看到散射是最复杂的光场调控方式，它的应用范围极广，但也有很多问题需要解决。举一个例子，计算光学系统设计中可以引入散射光场的调制手段，玩好物理光场这根金箍棒，这个思想，我们在第二篇“光场：计算光学的灵魂”中已有论述。散射不仅可以调制幅值、相位、偏振等信息，而且具有光谱分辨率高的特点，怎么充分利用散射的高维度调制，是未来重点的研究方向。我们前面讲的那些散射介质都是自然介质，现在微纳加工技术日趋成熟，我们应该分析散射的特点，像超材料和超表面一样，制备特殊的散射介质，更有希望推广散射成像步入更宽广的应用领域。

自适应光学成像技术及结果

   还有自适应光学的例子。由于介质内部折射率的不均匀分布，入射光在通过介质传输信号时会产生像差或者散射，从而直接影响成像质量，这种问题在天文成像或者生物成像中都会存在。解决此类问题的有效手段是自适应光学。

   受介质影响的入射光波前可以通过直接波前感知或间接波前感知的方式进行测量。直接波前感知是指通过引导星和波前传感器通过单次记录直接测量波前，具有较高的时间分辨率。间接波前感知则不需要引导星，而是通过图像评价方式迭代优化波前，直至收敛到最优解。波前测量值最终被送至变形镜或空间光调制器等调制设备，以矫正扰动的波前，提升成像质量。

   此类方法广泛应用于天文成像或生物成像中，比如观测星体或对生物体中的树突棘或微管进行成像。但是，如何加速光场测量与调制以适应具有更强散射且时变特性的动态散射介质，仍然是我们要考虑的问题。

      另外，散斑的形成机理和条件尚不明确，尤其是厚的、动态散射介质，跟毛玻璃不一样，它们的时变特征非常明显，静态介质的方法大多时候不再适用，如果真的解决了这些问题，那么穿云透雾、透过烟尘、水下远距离成像等将不再遥远，而这些，归结到一点，还是复杂物理光场的获取和解译问题。