MIT透视相机仅凭阴影隔墙观物，NASA把这个黑科技用于火星探测器

IUQ安检之家

IUQ安检之家
【导读】MIT的研究人员开发了一种系统，该系统可以看到拐角处的情况，从而可以帮助汽车避免碰撞。AI会绘制光强度随时间的变化，具体变化可以表明另一辆车正在从看不见的区域驶来。该方法通过分析连续图像的几何形状来估计运动，这与NASA在火星探测器上使用的技术相同。IUQ安检之家

IUQ安检之家
视野盲区是开车最致命的隐患之一。相信大家一定看过不少有关大车因为视野盲区，导致车辆在转弯过程中致死致伤等交通事故发生，触目惊心。IUQ安检之家

而小型车的视野盲区也不容忽视。例如下图，横穿马路的小孩被A柱完全挡住了，很有可能驾驶员没有注意到而造成不可挽回的后果。IUQ安检之家

IUQ安检之家

于是很多汽车开始使用全视角车载摄像头，通过系统处理后，将多个摄像头的影像一体化展示在车载显示器上，直接开启上帝视角，在很大程度上解决了视野盲区的问题。IUQ安检之家

但车身带来的视野盲区问题其实是比较容易解决的，而且在自动驾驶来说就根本就是小菜一碟。然而在车辆行驶过程中，各种地形和障碍物造成的视野遮挡才是最可怕的存在。IUQ安检之家

例如前方大车的遮挡、穿越马路时隔离带的遮挡、穿越小区时楼宇墙壁的遮挡等等。这种情况下，单靠全视野摄像头是不够的。随着人工智能技术的发展，现在我IUQ安检之家
们可以非视线成像技术，制造了一个“透视相机”，实现隔墙观物、影中窥人。IUQ安检之家

IUQ安检之家
MIT非视线成像“透视相机”：隔墙观物、影中窥人！IUQ安检之家

2012年，MIT计算机视觉科学家安东尼奥·托拉尔巴（Antonio Torralba）在西班牙海岸度假时，发现他酒店房间墙壁上的杂散阴影似乎不是由任何东西投射出来的。IUQ安检之家

托拉尔巴意识到，墙壁上的变色斑块根本不是阴影，而是窗外庭院的一个微弱的倒立成像。窗户充当了一台最简单的针孔相机，光线穿过一个小开口，在另一侧形成倒立的成像。IUQ安检之家
 IUQ安检之家

IUQ安检之家

IUQ安检之家
受到这一现象的启发，托拉尔巴和他的同事，麻省理工学院教授比尔·弗里曼（Bill Freeman）将其称之为无意识的“意外相机”：窗户、角落、室内植物和其他常见物体，都可以生成周围环境的微妙图像。IUQ安检之家

IUQ安检之家

托拉尔巴和弗里曼关于“意外相机”的论文开始引导研究人员研究周围的角落和推断不直接可见的信息，称为“非视线成像”（non-line-of-sight imaging）。IUQ安检之家

他们的解决方法是，在数学上将图像转换为正弦波。至关重要的是，在变换空间中，信号不会受噪声干扰，因为正弦波代表多个像素的平均值，噪声在这些波中传播。因此，研究人员可以检测从视频序列某一帧到下一帧之间的正弦波位置的变化，加以放大，然后将数据转换回来。IUQ安检之家

IUQ安检之家

通过在角落（1）附近拍摄阴影半影，可以获得有关角落周围物体的信息（2）。当隐藏图像区域中的物体移动时，它们向半影投射的光线相对于墙壁扫过不同的角度。这些细微的强度和颜色变化通常是肉眼看不到的（3），但可以通过算法来增强。图示为从半影的不同角度投射的光的原始视频显示一个人在移动（4）以及两个人在角落处移动（5）。IUQ安检之家

让自动驾驶能隔墙视物IUQ安检之家

已经几个团队在研究让AI驱动的自动驾驶车辆能够拥有穿墙视物的能力，例如斯坦福大学的科学家就使用激光创建了一个系统，该系统可以检测拐角处的物体。IUQ安检之家

不过MIT著名的计算机科学和人工智能实验室（CSAIL）推出的新系统ShadowCam更简单，只需寻找地面上光线和阴影的细微变化，就可以为自动驾驶汽车提供前方拐弯处周边路况信息，例如是否有车辆经过。