# Cameras，Lenses and Light Fields

# Camera

# Pinholes & Lenses Form Image on Sensor

针孔成像。

# Shutter Exposes Sensor For Precise Duration

快门：控制光线进入相机的时间。

# Sensor Accumulates Irradiance During Exposure

传感器：用于接受经过快门传递进相机的光线照度（Irradiance）。

# Why Not Sensors Without Lenses

如果没有透镜，传感器上每个点接收到的照度，可能来自任何的方向。这样会使得最终的成像非常的模糊。

# Field of View（FOV）

# Effect of Focal Length on FOV

$$FOV = 2 \arctan \left( \frac{h}{2f} \right)$$

# Focal Length vs Field of View

由于视场与传感器大小和焦糊都存在关系，为了方便。传感器大小统一按照 35mm（36x24mm） 的格式。

• 17mm 焦距的广角镜头 $104^{\circ}$ 。
• 50mm 焦距的正常镜头 $47^{\circ}$ 。
• 200mm 焦距的长焦镜头 $12^{\circ}$ 。

手机上定义的焦距实际上是按照 35mm 传感器换算得到的焦距，实际上手机的传感器并非 35mm 的格式。

# Effect of Sensor Size on FOV

传感器越大对应的视野也就越大。

# Maintain FOV on Smaller Sensor

# Exposure

• $H = T \times E$ 。
• Exposure = time x irradiance
• Exposure time（T）
  • Controlled by shutter。
• Irradiance（E）
  • Power of light falling on a unit area of sensor。
  • Controlled by lens aperture and focal length。

# Exposure Controls in Photography

# 光圈大小（Aperture size）

控制光线进入的量，从而影响曝光。

# F-Number（F-Stop）：Exposure Levels

写作 $FN \quad or \quad F/N$：其中 N 表示：

$$N: \frac{\text{焦距}}{\text{光圈的直径}}$$

# 快门开放时间（Shutter speed）

控制光线进入的时间，从而影响曝光

# Side Effect of Shutter Speed

• 运动模糊：快门速度越慢，光线进入时间越长，导致捕捉到了部分运动轨迹，而使得图片模糊。

# Rolling shutter：由于快门打开是一个过程，并非瞬间完成，所以会导致某些高速运动的物体发生扭曲。

不同位置的图像记录的并非同一时间的光照。

# 感光度（ISO gain）

类似后期处理的东西，用于对最终的曝光值做一个放大或者缩小的操作。

# Exposure：Aperture、Shutter、Gain（ISO）

# Constant Exposure：F-Stop vs Shutter Speed

如下的 F-stop 和 Shutter speed 可以得到一致的曝光。

但是大光圈会导致 「景深」（Depth of field），过长的曝光时间也会导致 「运动模糊（Motion blur）」，需要进行权衡。

# High-Speed Photography

高速摄影 ：正常的曝光 = 极快的快门速度 x （大光圈 or 高感光度）

# Long-Exposure Photography

延迟摄影：正常的曝光 = 极慢的快门速度 x （小光圈 or 低感光度）

# Thin Lens Approximation

# Ideal Thin Lens —— Focal Point

• 平行光会被透镜汇集到一点。
• 焦点的点光源通过透镜会变成平行光。

# The Thin Lens Equation

• 物距（$z_o$）：物体距离透镜中心的距离
• 像距（$z_i$）：所成像距离透镜中心的距离
• 焦距（$f$）：平行光经过透镜后汇聚到的点距离透镜的距离。

$$\frac{1}{f} = \frac{1}{z_i} + \frac{1}{z_o}$$

# 透镜方程推导

$$\frac{h_o}{z_o - f} = \frac{h_i}{f} \quad \quad \frac{h_o}{f} = \frac{h_i}{z_i - f}$$

$$\frac{h_o}{h_i} = \frac{z_o - f}{f} \quad \quad \frac{h_o}{h_i} = \frac{f}{z_i - f}$$

$$\frac{z_o - f}{f} = \frac{f}{z_i - f} \quad \to \quad f^2 = (z_o - f)(z_i - f) \quad \to \quad z_oz_i = (z_o + z_i)f \quad \to \quad \frac{1}{f}=\frac{1}{z_i}+\frac{1}{z_o}$$

# Defocus Blur

# Computing Circle of Confusion（CoC）Size

• Focal Plane：物体本身的位置，该位置会被完美的投影到图片上。
• Image：通过透镜投影物体所成的最锐利的像。
• Object：远离「Focal Plane」的物体
• Sensor Plane：传感器成像平面，最终投影的图像会被映射到上面。

对于 Object 的物体，最终会被强行「放大」到「Sensor Plane」上，导致物体出现模糊的效果。

物体本身的模糊程度实际上和类型的直径 $A$ 有关。

$$\frac{C}{A} = \frac{d^{\prime}}{z_i} = \frac{|z_s - z_i|}{z_i}$$

$$C = A \frac{|z_s - z_i|}{z_i} = \frac{f}{N} \frac{|z_s - z_i|}{z_I}$$

光圈越大，所成的像也就越模糊。

# Renderings with Lens Focus

通过透镜的方式渲染图片，可以得到各种的效果：

# Ray Tracing for Defocus Blur（Thin Lens）

• 定义一些列的和透镜成像有关的数值。

  • 透镜的焦距
  • 透镜的直径
  • 传感器大小
  • 物体距离透镜的水平距离 $z_o$ 。

• 就可以计算出最终所成的像的像距是 $z_i$ 。

• 假设传感器上存在一个点 $x^{\prime}$ 。

• 连接 $x^{\prime}$ 和透镜的中心，会得到一个物体上的点 $x^{\prime \prime \prime}$ 。

• 任取透镜上的一个点 $x^{\prime \prime}$，可知，该点也必定会穿过 $x^{\prime \prime \prime}$。

# Depth of Field（FYI）

# Circle of Confusion for Depth of Field

定义了在焦点附近一段距离范围内的「CoC」，该范围内的「CoC」对于物体的成像没有较大的影响。

而对于物距最终投影成像，并且在该「CoC」范围内的物距范围，则称之为景深（Depth of Field）。

$$DOF = D_F - D_N$$

$$D_F = \frac{D_S f^2}{f^2 - NC(D_S - f)} \quad D_N = \frac{D_S f^2}{f^2 + NC(D_S - f)}$$

# Light Fields / Lumigraph

# 全光函数（Plenoptic Function）

用于描述人眼能够看到的所有内容的集合。

# Grayscale snapshot

假设人眼位置固定，可以看向任何的方向，方向用 $\theta, \phi$ 来表示。

那么往任意方向能够看到的值记作 $P(\theta, \phi)$ 。

# Color snapshot

如果能够知道每个方向的光线的波长 $\lambda$ 。那么，就可以得到各种各样的颜色 $P(\theta, \phi, \lambda)$ 。

# A movie

给观察的内容增加一个时间维度 $t$ ，那它就可以描述一部电影 $P(\theta, \phi, \lambda, t)$ 。

# Holographic movie

如果观察点本身也可以运动，那么就可以描述一部全息电影 $P(\theta, \phi, \lambda, t, V_X, V_Y, V_Z)$ 。

# Ray

光线的定义，一个三维坐标 + 一个水平方向 + 一个垂直方向：$P(\theta, \phi, V_X, V_Y, V_Z)$

# Ray Reuse

另一种定义方式，通过定义两个个二维的点 。

「二维的点」其实是「三维物体」表面的展开。类似模型的 $u,v$ 贴图。

# Only need plenoptic surface

描述物体在其包围盒上各个点对应的任意方向上的发光情况，就能反过来定义一个物体在各个位置被观察到的情况。

# Light Fields

用于描述在任何位置，去往到任何方向的光照强度。

# Synthesizing novel views

由此，观察点在任意位置，都能通过记录在物体表面各个方向上的光照强度，从而得到观察内容。

# Lumigraph / Lightfield

其实并不需要记录物体上每个点的各个方向的光线，我们只需要记录该物体的包围盒表面上各个位置的各个方向的光照。

只要观察点不在包围盒内。

# Lumigraph —— Organization

设想以下，如果包围盒上一个点和外围与包围盒平面平行的平面上某点的连线，其实就可以确定一条光线。

因此，可以通过两个相互平行平面上的两个点，来确定一条光线的起点和方向。

• 第一个点在物体的包围盒 $u,v$ 贴图上。
• 第二个点在平行于物体包围盒的平面上 $s,t$ 上 。

换一个方式理解：

• 第一种观察可以看作是：一个观察点在不同的方向，看向观察物体的同一个点得到的一组图像。
• 第二种观察可以看作是：物体的某个细节，在「物体不同位置」的「某个方向上」的光线强度。

# Stanford camera array

第一种的效果就类似多个不同方位的摄像机对物体进行拍摄，最终得到多张不同角度的物体图像。

# Integral Imaging

本质上就是把单位接受到的「Irradiance」转化成各个不同方向的「Radiance」。

# Light Field Camera

# The Lytro Light Field Camera

先拍照，再来对拍照结果调整聚焦。

光场照相机和普通相机的区别在于：

• 光场照相机把普通相机的传感器上每个像素点都替换成了一个透镜。并把传感器向后挪了一点。
• 一个像素原本记录的「Irradiance」，根据不同的角度被拆分成了多个。

# 如何得到普通的照片❓

由于每个透镜内都记录了各个方向上的光线。所以可以在成像的时候，筛选出不同方向的光线从而实现调整拍摄角度的效果。

变化焦距的功能也是类似的，由于记录了某个焦距下的光场，所以再表换焦距后，可以以相应的计算变换后的光场，从而得到变焦后的成像。

# 光场照相机的缺点：

• 由于之前的每个像素点记录的是该点各个方向「Irradiance」的平均值。现在变成记录整个点的各个方向「Irradiance」。假设相同大小的传感器，光场照相机所表示的像素将会更小。
• 把像素替换成一个个透镜本身也是一项高成本的工作。
• 要有透镜数量和透镜大小的权衡。