自然界中动物的视觉系统通常高度适应其生存环境，而人类世界中数字成像系统在被广泛应用于各种场景的情况下，却被设计成只模拟人眼。尽管这种通用设计在有些场合很成功，但是，我们不禁要问：对于一个特定的任务，什么样的相机设计才是最佳的呢？为了回答这个问题，在过去的二十年里，人们开始探索针对特定领域的计算相机。通过联合设计相机光学和图像处理算法，计算相机能比传统通用成像系统在特定任务上具有更优的性能。计算相机已经在一系列应用中展现出其能力。如拓展景深，超分辨，宽动态范围成像等。
博览:2018 ACM Trans. Graph.消色差拓展景深和超分辨成像的光学和图像处理端到端优化
技术背景：
自然界中动物的视觉系统通常高度适应其生存环境，而人类世界中数字成像系统在被广泛应用于各种场景的情况下，却被设计成只模拟人眼。尽管这种通用设计在有些场合很成功，但是，我们不禁要问：对于一个特定的任务，什么样的相机设计才是最佳的呢？为了回答这个问题，在过去的二十年里，人们开始探索针对特定领域的计算相机。通过联合设计相机光学和图像处理算法，计算相机能比传统通用成像系统在特定任务上具有更优的性能。计算相机已经在一系列应用中展现出其能力。如拓展景深，超分辨，宽动态范围成像等。
当前不足：
过往在计算相机上的探索是启发式的，并没有考虑后处理后的图像质量。没有一种端到端的方法来联合优化成像光学元件的参数和数据处理算法，为特定任务找到最佳计算相机的任务仍然难以实现。
文章创新点：
基于此，斯坦福大学的Vincent Sitzmann和Gordon Wetzstein等人提出了一种从成像的各个器件环节到最终的图像重建算法都考虑在内的端到端优化方法。并将该端到端框架应用于消色差拓展景深和快照超分辨成像。优化完成的衍射元件用光刻技术加工，折射透镜用金刚石车削加工。经实验验证，实际效果与模拟效果相符。
原理解析：
(1) 成像模型。首先以近轴光学的方式，不考虑离轴像差，用平面波看作为一个无穷远处的点光源，其经过光学元件的相位调制后，用波动光学理论在自由空间传播到图像传感器表面得到的光强作为点扩散函数。只考虑点扩散函数为平移不变的情况，这样可以简化问题。图像源与点扩散函数卷积，在图像传感器每个像素上随波长和时间积分，加上传感器的读取噪声，最终成像。图像重建可以看作为求解一个Tikhonov正则化最小二乘问题。
(2) 端到端优化框架。用随机梯度法优化有一个光学元件的计算相机。将成像模型的每一步描述为一个可微的模块。光学元件的光学高度分布h是一个优化变量，光学元件的尺寸、图像传感器像元尺寸、传输距离z和图像传感器读取噪声水平等，均为超参数。在一个RGB图像数据集上优化模型。损失函数为均方根误差。
(3) 消色差拓展景深。在成像建模的时候，考虑多色和多深度的场景：将整个光谱离散成三个波长(460,550和640nm),场景深度设计成五个深度(∞,2,1,0.67和0.5m)。从1244张高分辨率图像数据集中进行图像采样，随机对图像分配五个深度中的一个，而三个波长同时考虑。应用上述成像模型成像。
实验效果：
附录：
(1) 波动光学点扩散函数建模。光学元件对复数波场的相位延迟与其厚度h成正比：
入射波场经光学元件出射后的场为：
出射场在自由空间传播一段距离z：
点扩散函数在这里用一个平面波描述无穷远处的一个点源，经过光学元件后，在自由空间传播一段距离z，到达图像传感器表面得到：
(2) 从PSF到图像。获得点扩散函数以后，图像传感器每一个彩色通道感应的光强可以看作各个波长下图像与点扩散函数的卷积并乘以图像传感器的光谱灵敏曲线的积分。在这里认为PSF是平移不变的，只考虑近轴情况，离轴像差不考虑。
(3) 传感器上建模。传感器上接收到的图像建模为每个像素上的积分加上高斯读取噪声。
(4) 通过求解一个Tikhonov正则化最小二乘问题重建。
当PSF离散化大小与图像传感器像素大小匹配时，像素积分算子S为恒等式，可以在圆形边界条件的简化假设下用维纳滤波以封闭形式解决问题(7)，维纳滤波操作为：
(5) 端到端优化。优化求解loss函数为：
参考文献：Vincent Sitzmann, Steven Diamond, Yifan Peng, Xiong Dun, Stephen Boyd, Wolfgang Heidrich, Felix Heide, and Gordon Wetzstein. 2018. End-to-end optimization of optics and image processing for achromatic extended depth of field and super-resolution imaging. ACM Trans. Graph. 37, 4, Article 114 (August 2018), 13 pages.
DOI：https://doi.org/10.1145/3197517.3201333
关于昊量光电：
上海昊量光电设备有限公司是国内知名光电产品专业代理商，代理品牌均处于相关领域的发展前沿；产品包括各类激光器、光电调制器、光学测量设备、精密光学元件等，涉及应用领域涵盖了材料加工、光通讯、生物医疗、科学研究、国防及更细分的前沿市场如量子光学、生物显微、物联传感、精密加工、先进激光制造等；可为客户提供完整的设备安装，培训，硬件开发，软件开发，系统集成等优质服务。
您可以通过昊量光电的官方网站www.auniontech.com了解更多的产品信息，或直接来电咨询4006-888-532。
本文章经光学前沿授权转载,商业转载请联系获得授权。
展示全部 
